你寫了三個版本的活動文案，請 AI 挑一個最好的。它挑了第一個，理由寫得頭頭是道。你把順序倒過來再問一次，它挑的還是排在第一的那份，只是現在排第一的換成了另一個版本。
批改也會遇到類似的事。十份心得交給它打分，分數最高的幾份剛好都是字數最多的。或者你請它比較你寫的和它寫的兩份草稿，它覺得自己那份比較完整。
這不是你多心。2023 年加州大學柏克萊分校等校的研究團隊發表過一篇論文，專門檢查拿大型語言模型當評審這件事，點名了三種偏誤：位置偏誤（偏好某個位置的答案）、冗長偏誤（偏好比較長的回答，就算它沒有比較清楚或比較正確）、自我偏好（偏好自己產生的答案）。
挑一小批，你先判好（好、壞、邊界都要有）
│
▼
AI 評同一批 ──→ 跟你判的對不上？──是──→ 修評分標準
│否 │
│ ←── 重評同一批 ←────┘
▼
換順序評一次、灌水評一次
│
▼
結論翻了，或分數變高？──是──→ 只評一次的結果不能用
│否
▼
放手大批評，高分的也抽幾份看
三種偏心，論文怎麼量出來
位置偏誤的量法很簡單：同樣兩份答案，換順序各評一次，看結論有沒有跟著順序走。論文用的是兩份很接近、有時連人都分不出好壞的答案；當時的 Claude-v1 用預設提示時，有 75% 的情況偏向排第一的答案；三個受測的評審裡，只有 GPT-4 在換順序後維持同一個結論的比例超過六成。
冗長偏誤，他們設計了一招「重複清單」：挑 23 個含編號清單的答案，請 GPT-4 把清單換句話說，再接在原清單前面。資訊一點都沒有多，只是變長。結果 Claude-v1 和 GPT-3.5 都有 91.3% 的情況判定變長的那份比較好，GPT-4 是 8.7%。
自我偏好比較難下定論。論文觀察到，跟人類評審相比，GPT-4 給自己的勝率高了 10%，Claude-v1 高了 25%；但作者自己說資料有限、差距不大，無法確定這算偏誤。
這些都是 2023 年的模型，現在的評審不一定還是這樣。我把這組數字當成提醒：偏誤量得出來，而你手上這個評審有沒有，也只有量過才知道。
先考評審，再讓它考別人
阿里雲的 Agent 手冊在講「黃金資料集」（一組經過人確認、有判斷標準的題目）時，第一個用法就是檢查評分標準靠不靠得住：拿人工確認過的好回答、壞回答、邊界回答給評分的 AI 評，看它跟業務人員判得一不一樣。壞回答拿了高分，先修評分這一端，修完再評同一批。
放到一般人的情境是這樣：交出一整批作業或一整串版本之前，先挑一小批，你自己先判。awesome-generative-ai-guide 的評估入門課建議，一開始從 10 到 20 個「絕對不能錯」的例子做起。然後讓 AI 評同一批，對照你的判斷。
光看「它跟我一樣幾題」還不夠，要故意出幾道陷阱。同一對答案換順序再評一次；把一份普通答案灌水加長再評一次；如果裡面有它自己寫的版本，換另一家 AI 來評。這三招剛好對應上面三種偏誤。
同一門課也提醒，評分標準寫得再詳細，也不保證 AI 會照人的意思解讀，認真的校準要拿幾百個例子跟人工評分比，花上幾週到幾個月。你不用一開始就做到那麼重，只是要知道，小批對照是起點。
Anthropic 的 cookbook 在講評分者時有一句很實際的觀察：評分者預設的失敗方式是什麼都放行。標準只寫「確認有談到某件事」，它掃到那一段就打勾。所以你的評審指令要它每個判斷都指出依據在答案的哪一句，指不出來就判不通過。
這個評審能不能信
| 檢查 | 怎麼做 | 出現這個結果 | 代表什麼 |
|---|---|---|---|
| 換位置 | 同一對答案，順序對調再評 | 結論跟著順序換 | 有位置偏誤，比較題不能只評一次 |
| 灌水 | 普通答案加一段重複內容再評 | 分數變高 | 它在看長度，標準要寫明多出來的不加分 |
| 自己評自己 | 它寫的版本和別人的放在一起評 | 每次都挑自己的 | 換另一家 AI，或至少開新對話評 |
| 對照你判過的題 | 先挑一小批你判好的題給它評 | 你判壞的它給高分 | 先修評分標準，再評同一批 |
| 要它附依據 | 每個判斷指出答案的哪一句 | 指不出來或引錯句 | 它在猜，這次結果不能用 |
| 同一份評兩次 | 固定一份答案，重複評分 | 分數跳來跳去 | 判斷不穩，單次分數不能拿來排名 |
作者整理，非官方。六項都做過、沒有一項出問題，是綠燈：可以讓它大批評，高分的也要抽幾份自己看，手冊也提醒只看低分會漏掉評分者沒發現的嚴重問題。有幾項沒做，是黃燈：結果只能當初篩，最後的決定你自己來。任何一項出問題，是紅燈：這一批分數先不要用，改完標準重考一次。
要讓 AI 比兩份答案時，可以貼這段：
你是評審。請依下面的評分標準，判斷兩份答案哪一份比較好。規則： 1. 答案的長度和排列順序都不影響判斷。多出來但沒有新資訊的內容，不加分。 2. 每個判斷都要引用答案裡的原句當依據；找不到依據的項目，判不通過。 3. 先逐項寫理由，最後才寫結論。 4. 結論只能是「A 較好／B 較好／打平」其中一個。 評分標準：（貼上） 答案 A：（貼上） 答案 B：（貼上）
評完以後，開一個新對話，把 A、B 對調再貼一次。論文採用的保守做法是：兩種順序都選中同一份，才算它贏；結論不一樣，就當打平。
換順序那一招最省事：同一對答案，順序對調再問一次，結論翻了，這次的評分就先別拿去用。
站內延伸
- 驗收要交給沒參與產出的那一方 → 對抗式驗收
- 測出低分時先分清是哪裡壞了 → AI 助手分數變低，先別急著改指令
- 想用 AI 批改作業 → 找方法AI 作業批改
來源： Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena（2023；位置、冗長、自我偏好三種偏誤的定義，表 2 位置偏誤、表 3「重複清單」23 題失敗率，自我偏好勝率差與作者的保留，換位置評兩次的保守做法；受測為 Claude-v1、GPT-3.5、GPT-4）；aliyun/ai-agent-handbook 第 21、22 章（Apache-2.0；用人工確認的好、壞、邊界回答校準評分，壞回答拿高分先修評分，高分樣本要抽檢，同一份回答重複評分看波動；簡體中文改寫）；anthropics/claude-cookbooks：CMA_verify_with_outcome_grader（評分者預設失敗方式是全部放行，要它產出證據）；ai_evals_for_everyone 第 9 章（從 10–20 個絕對不能錯的例子開始；詳細標準不保證照人意判斷，校準要幾百例、數週到數月）；Agent-Skills-for-Context-Engineering：advanced-evaluation（偏誤與對應緩解：換位置評兩次、生成與評分用不同模型）。檢查表與燈號為作者整理。