模型很少在某一天突然壞掉。更常見的是資料變了、使用者問法變了、任務邊界變了，但團隊還在看上一次測試分數。OpenAI 評測、Anthropic、Hugging Face 與 arXiv 評測文獻都把焦點拉回持續監控。
> ALTOS LAB 判斷: 真正的模型監控要及早看見它今天開始不穩，而不只證明昨天正常。
[IMAGE:opening]
先守住這三個控制點
- 把固定測試集、真實樣本與人工覆核結果分開看
- 每週追蹤失敗類型，不只看平均分數
- 當資料來源或產品流程改版時，同步重跑關鍵評測
把固定測試集、真實樣本與人工覆核結果分開看
OpenAI 評測, Anthropic, Hugging Face, arXiv 在這篇的角色是把決策順序拉清楚：資料、權限、審核、回復，缺一項就先留在試點。ALTOS LAB 會把這張清單放在產品 kickoff 的第一頁，因為第一週寫不清楚，第三個月就會變成客服、法務與營運一起補洞。
先從一條真實工作流開始
實務上，先挑一條每週都會發生的流程。不要從最大的願望開始，從一個會留下資料、會有人覆核、會影響客戶體驗的任務開始。團隊要能說出輸入從哪來、輸出給誰看、哪一步由人確認、出錯時退回哪個版本。
先拿一個場景演練
請用客服回覆草稿或 CRM 資料整理做第一輪演練。產品負責人先寫下資料來源，營運負責人標出人工審核點，工程負責人確認哪些動作只讀、哪些動作需要二次確認。ALTOS LAB 在專案現場會把這張表貼在任務旁邊，讓每次討論都回到同一組證據，而不是回到誰比較樂觀。
ALTOS LAB 現場筆記
這篇專欄的重點不在名詞，而在上線前的操作次序。ALTOS LAB 會要求團隊把「想做什麼」拆成「誰能讀資料、誰能按送出、誰能否決、誰能復原」。四個答案都清楚，工具採購才有討論價值。
OpenAI 評測, Anthropic, Hugging Face, arXiv 提供的是外部框架；公司內部要補的是現場版本。請把它寫進產品文件、權限表和客服回報流程。當一線同事遇到異常時，他們需要看到的是下一步，不是抽象原則。
來源怎麼進入決策
把來源文件當成檢查題庫，而不是口號。每一個新功能進入試點前，都要能對回至少一個外部來源與一條內部規則。這樣做的好處很直接：管理者不用靠感覺批准，產品團隊也不用在事故後重建脈絡。
下一步要看的是團隊能不能把模型問題和流程問題分開。否則分數下降時，大家只會爭論模型壞了，卻找不到是哪個輸入或任務變了。
[IMAGE:mechanism]
把判斷放進四格矩陣
| 檢查點 | 合格訊號 | 未合格訊號 |
|---|---|---|
| 資料 | 來源、時間與版本可追溯 | 只知道資料在某個工具裡 |
| 權限 | 讀取、建議、送出分層 | 試點一開始就能改正式資料 |
| 審核 | 有最後負責人與代理人 | 只寫由團隊共同負責 |
| 回復 | 有停止條件與回復版本 | 只能靠人工慢慢修 |
每週追蹤失敗類型，不只看平均分數
接下來要看哪個訊號
下一步要看的是團隊能不能把模型問題和流程問題分開。否則分數下降時，大家只會爭論模型壞了，卻找不到是哪個輸入或任務變了。
本週先做一件事
本週先把一條流程寫成四行：資料來源、負責人、停止條件、回復版本。寫完再決定工具，速度會慢一點，但後面不會用會議補制度。
當資料來源或產品流程改版時，同步重跑關鍵評測
