モデル劣化は突然ではなく、監視が遅れて見える

OpenAI Evals、Anthropicの研究、Hugging Faceのleaderboard、arXivの評価研究が示すのは、データ、タスク、利用者行動が変わるとモデル品質も徐々にずれるということです。