你幫部門做了一個回覆客戶來信的 AI 助手，每次調整完，都拿一組固定的題目測一輪。這次有好幾題分數掉下來，你打開它的說明，開始想要再補哪一句話。
先停一下。分數低只代表結果跟你期待的不一樣，原因不一定在它的回答上。評分可能看錯了，它要用的工具可能壞了，它該讀的附件也可能根本沒打開。
阿里雲的 Agent 手冊在講怎麼處理壞案例（badcase）時，直接寫了一句：不要看到低分就馬上改提示詞。它建議一個低分案例至少把幾樣東西放在一起讀：原始問題、AI 的回答、評分給的逐項判斷和理由；要追原因，再看它執行的過程，查了什麼資料、呼叫了哪個工具、有沒有報錯。總分告訴你先看哪裡，理由告訴你扣分站不站得住，過程告訴你為什麼會這樣。
低分案例 │ ▼ 評分理由說缺的東西，回答裡真的沒有？ │否 ──→ 評分錯了：修標準或對應，同一批重評 │是 ▼ 過程紀錄裡，工具有沒有報錯、事情有沒有做成？ │有錯 ──→ 執行壞了：修工具或流程 │正常 ▼ 它拿到的材料齊不齊、讀不讀得到？ │不齊 ──→ 先補材料，再判斷答得好不好 │齊 ▼ 答案真的錯 ──→ 這時才改指令，一次只改一樣
低分的四種來源
手冊在示範裡讓兩道題分別拿了 0.25 和 0.5 分。它說，有用的是逐項解釋指出了哪些重點沒有涵蓋，團隊才能分辨缺的是知識、回答的組織，還是題目的標準本身，不用籠統地怪模型不夠強。
「它說完成了」這一類最容易誤判。手冊舉的例子是退款：工具回傳「缺少退款原因」，助手卻回覆「申請已提交」。這時候改它的說話方式沒有用，要先看它收到錯誤之後做了什麼。手冊的說法是，工具收到請求、任務執行結束、業務目標達成，是三件不同的事。
「評分錯了」這一類，手冊點出兩種常見的接錯。一種是評分該拿到的是最終回答，卻接到了中間某一步工具的輸出，它當然判你漏了。另一種是共用了一份不適用的標準，問「有哪些功能」的題，被拿去用「怎麼操作」的標準打分。
材料也是同樣的道理。手冊舉的例子是，要判斷報銷金額對不對，評分的一方要看得到票據和填報結果，只收到一個檔案連結或一句「已完成」，不夠下判斷。助手那一端也一樣，附件沒讀進去，它答得再空泛，也還不能算到它的能力頭上。
下面這張分診表，是我照手冊第 19、22 章的做法整理成一般人用得上的版本：
| 你看到的症狀 | 可能的原因 | 先查什麼 | 該動哪裡 |
|---|---|---|---|
| 講了概念，少了步驟或該有的內容 | 答案真的不完整 | 標準有沒有要求這項、回答是不是真的漏了 | 改指令或補資料 |
| 回答明明有寫，評分說沒有 | 評分套錯題，或評分拿到的不是完整回答 | 評分收到的內容、這題用的是哪份標準 | 修標準或對應方式，同一批重評 |
| 它說「已完成」，事情沒發生 | 工具失敗、權限不足、逾時 | 工具回了什麼、最後有沒有產生結果 | 修工具或流程，讓它照實回報失敗 |
| 同一個錯誤原樣重試好幾次 | 不會從失敗恢復 | 每次重試的參數有沒有變 | 調整重試和停止的條件 |
| 回答空泛、答非所問 | 材料沒讀到：附件打不開、資料過期、範圍抓錯 | 它拿到哪些材料、附件讀不讀得到 | 先補材料，再判斷答得好不好 |
| 同一題分數忽高忽低 | 評分不穩，或每次執行的條件不同 | 同一份回答重評幾次，分數動不動 | 評分會飄先修評分，不飄再看執行 |
| 回答變長，分數跟著變高 | 評分在看長度 | 多出來的內容有沒有對應到評分要求 | 不算改善 |
作者整理，非官方。這張表裡，只有第一列輪到改指令，其他幾列改指令都是改錯地方，分數就算回升也說不出為什麼。
確定是答案的問題，也要一次只改一樣。手冊提醒，同時換模型、改提示詞、加技能，分數變了也解釋不了是哪一項的功勞。結果出來之後，也不要臨時改變計分方式。
拿來改的題，不能拿來驗收
還有一個更隱蔽的問題。你盯著那幾題，看它怎麼答、照著改指令，改了幾輪終於全部通過。這只能證明它會這幾題。
手冊在講題庫時，把這條寫成一項簡單但重要的安排：參與改寫提示詞的題，要跟最後獨立檢查效果的題分開。你反覆看過它的回答、並且據此改過指令的題，就已經參與調整，要另外留新的驗證題。它的選題表也特別列了「換個問法、多輪追問」這一類，用來檢查助手是不是只適應了一種問法。
我把題目分成三格放：
| 放在哪 | 可以怎麼用 | 什麼時候換格 |
|---|---|---|
| 練習題 | 看它怎麼答，照著改指令 | 一直都是練習題 |
| 考試題 | 改完才拿出來考，只看結果 | 你看過回答並據此修改，就降成練習題，另補新題 |
| 原本會的題 | 每次改完都重跑，抓退步 | 退步了就移到練習題去修 |
作者整理，非官方。手冊的流程也是這個順序：小批試過，擴大到過去的回歸題，最後再驗一批沒有參與這一輪修改的題。正式比較期間，題庫不再增加或修改。
遇到低分，可以先把案例交給另一個 AI 分診：
下面是一個 AI 助手測試時拿到低分的案例。先不要提出任何修改建議。 請先把它歸到下面四類之一，並引用材料裡的原句當依據： A. 答案真的錯或漏了（評分標準有要求，回答確實沒有） B. 評分錯了（回答有寫，評分說沒有；或用了別題的標準） C. 執行壞了（工具報錯、沒產生結果，回答卻說完成） D. 材料不全（附件沒讀到、資料過期、範圍抓錯） 材料不夠判斷時，回答「無法判斷」，並列出還缺什麼。 最後只針對你判定的那一類，提出一項修改，不要同時改好幾樣。 題目：（貼上） AI 的回答：（貼上） 評分結果與理由：（貼上） 執行紀錄或工具回傳（有的話）：（貼上）
下次分數掉下來，先打開那幾題的評分理由，確認扣分說缺的東西真的不在回答裡，再決定要不要動指令。
站內延伸
- 測試題庫怎麼建、改完怎麼重跑 → 找方法AI Agent 測試
- 評分的 AI 本身可不可信 → 叫 AI 挑最好的版本，它為什麼總挑長的？
- 驗收交給沒參與產出的那一方 → 對抗式驗收
來源： aliyun/ai-agent-handbook 第 19、21、22 章（Apache-2.0；22.3「不要看到低分便立即改 Prompt」與四列分診表、示範題 0.25 與 0.5 分；19.4 退款工具失敗卻回覆已提交、原樣重試同一錯誤、工具接收請求與業務目標達成不是同一件事；22.4 一次先只改一項；22.6 同一份回答重複評分看波動、輸出變長不代表改善、結果出來後不臨時改統計方式、最後驗未參與修改的獨立樣本；21.4 選題表；21.6 調整用題與驗證用題分開、比較期間凍結題庫；簡體中文改寫）。分診表與三格題庫為作者整理。