假設週一早上，主管轉來兩則新聞。一則說某個模型在排行榜拿了第一，另一則說某個台灣團隊做的模型，繁體中文分數比它的原版高。主管只問一句：「我們要不要換？」
這兩則新聞的分數可能都是真的。麻煩在於，一個分數背後有三樣東西：一張考卷、一套考試設定、一個改考卷的人。三樣裡面換掉任何一樣，名次都可能跟著變。新聞通常只報最後那個數字。
考卷、設定、改考卷的人，三個地方都會動
考卷本身。 公開的題庫，題目可能早就被模型在訓練時看過。mlabonne 的 LLM 課程講自動化評測時，直接寫了它容易受到資料污染，而且擅長測具體任務、不擅長測抽象和創意能力。同一節還引了古德哈特定律：一個指標變成目標，就不再是好指標。考卷也會出錯。iKala 維護的繁中測驗 TMMLU+ 出了 v1.1 版，重新核對後改了 197 題的答案，刪掉 539 題有缺陷或無解的題目。我的推論：拿新舊兩版考出來的分數放在一起比，意義不大，看分數前要先問是哪一版。
考試設定。 iKala 的評測工具可以設定考前先給模型看幾題範例，說明文件裡的例子是 5 題；跑開放模型時，還要自己填入那個模型的對話格式標記。DAIR.AI 的提示工程指南有個單次小示範：好判斷的句子，範例比例偏一邊也沒被帶偏；換成一句難判斷的話，把前面的範例改成 8 句正面、2 句負面，模型的答案就從「負面」變成「正面」。Anthropic 有一份範例筆記本，談的是代理搜尋類跑分（DeepSearchQA、BrowseComp）怎麼重現：這類分數第三方跑出來比官方低，常見原因是執行設定不同，Claude 模型卡上這類分數是在最高的思考強度檔位跑的。我的推論是其他跑分也可能有類似情況，你平常用的設定如果比較省，就不一定拿得到新聞上的分數。
改考卷的人。 選擇題有標準答案；寫信、摘要這類題目，常常是請另一個模型打分。台灣的 taide-bench 用 GPT-4 當評審，評的是中翻英、英翻中、摘要、寫文章、寫信。LLM 課程提醒，模型評審跟人的偏好相關度高，但會偏袒自己的輸出、分數也不一定穩定。那份筆記本也建議評審模型要固定，用受測的模型自己來評，分數就沒辦法跨模型比較。
「排行榜」也有好幾種。課程對人工評估（從隨手試用、照準則標註到競技場投票）的說法是：比較適合主觀任務，對事實正不正確比較不可靠。很多人喜歡它的回答，跟它答得對不對，是兩件事。
換一張考卷，名次可以翻過來
白龍（Bailong-instruct 7B）是 2024 年釋出的繁中模型，模型卡同時放了兩張成績表，正好可以看出考卷的影響。
在團隊自己設計的 Bailong-bench 上，它平均 9.4 分，跟 gpt-3.5-turbo-1106 一樣。這份考卷用 GPT-4 當評審，而且把「用跟使用者同一種語言回答」算進評分標準。同一張模型卡上的 MT-bench，它平均 2.3 分，gpt-3.5-turbo-1106 是 7.7 分。同一個模型，自家考卷跟 GPT-3.5 平手，換一張考卷只剩它的三成。
兩張表都在同一頁，模型卡沒有藏。我的推論是，自家考卷考的剛好是這個模型加強過的地方，換到別人出的考卷，差距才顯出來。新聞如果只引第一張表，你看到的就是「追平 GPT-3.5」。
台灣本土模型的分數，台灣的 AI：TAIDE、Breeze 一般人用得到嗎那篇拆過一次：TAIDE 模型卡比的是自己的原版，沒有跟 ChatGPT 比。看到「繁中分數比原版高」，先記得它比的對象是誰。
看到跑分新聞，先問這五個問題
看到「某模型拿第一」
│
↓
考卷像你的工作嗎？ ── 不像 → 不用急著測
│ 像
↓
誰跑的、什麼設定、誰改考卷？
│ └─ 說不清 → 只當線索
↓ 說得清
換一張考卷也贏嗎？ ── 沒資料 → 只當線索
│ 也贏
↓
用自己的 10–20 題跑一輪
│
↓
贏得夠多，再算換過去的成本
| 先問 | 為什麼要問 | 新聞沒寫時怎麼辦 |
|---|---|---|
| 這張考卷考什麼？像你的工作嗎？ | 選擇題知識測驗，跟你要它寫信、整理會議紀錄是不同的事 | 去找考卷的說明頁，看題型 |
| 分數是誰跑的？ | 自家跑的分數，設定是自己選的 | 找有沒有第三方跑過同一張考卷 |
| 用什麼設定？ | 給幾題範例、思考檔位、對話格式都會改變分數 | 當作你自己用不一定拿得到 |
| 誰改考卷？ | 模型當評審會偏心，評審跟受測者同一家更要小心 | 標準答案題比較可信，模型評分題打折看 |
| 換一張考卷也贏嗎？ | 只在自家考卷贏，可能只是考到它加強過的地方 | 只當線索，不當換的理由 |
作者整理，非官方。
讀法：第一題答「不像」，這則新聞跟你關係不大；其餘四題有兩題以上答不出來，只能當線索。五題都答得出來，也只代表值得排進你自己的測試。
用你自己的 10 到 20 題，跑一輪
awesome-generative-ai-guide 的評估課程，建議一開始用 10 到 20 個高品質的例子，挑你絕對不能出錯的情境，之後再慢慢擴充。拿來比較兩個模型也適用。以下做法是作者建議：
從最近一個月真的做過的工作裡挑題，個資和客戶名稱先遮掉。每題先寫好「好答案一定要有什麼、絕對不能出現什麼」，再丟給你現在用的和想換的那一個，兩邊用同一段提示詞、同樣的設定。答案打亂順序、拿掉模型名稱，交給懂這件事的同事評，不要叫候選模型自己來評。
候選模型要贏得夠明顯，才值得談換：贏一兩題，可能只是那天運氣好。贏了以後還有一筆帳，現有的提示詞、流程、權限設定都要跟著改，費用也可能不同，這些要寫進同一份比較裡。
想拆一則跑分新聞，可以把下面這段貼給 AI：
我貼一則 AI 模型跑分的新聞（或模型卡）給你，請逐題回答，原文沒寫的一律寫「原文沒寫」，不要推測： 1. 用的是哪幾張考卷？各自考什麼題型（選擇題、寫作、對話、程式）？ 2. 分數是誰跑的？廠商自己，還是第三方？ 3. 有寫考試設定嗎？例如給了幾題範例、用什麼檔位或參數？ 4. 誰改考卷？有標準答案，還是請另一個模型打分？評審是哪個模型？ 5. 有沒有在其他考卷上的成績？跟比較對象相比，差距多大？ 最後用一句話告訴我：這則新聞能不能當作換模型的理由。我的工作主要是：（描述你要 AI 做的事）
第一輪跑完，把題目、評分重點和結果表存在同一個資料夾。下一則跑分新聞出來時，拿同一份題目再跑一次就好。
站內延伸
- 用固定題庫驗收 AI，每次改完重跑 → 找方法AI Agent 測試
- 叫 AI 當評審會偏向哪些答案 → 叫 AI 挑最好的版本，它為什麼總挑長的？
- 換模型之前，先把選擇寫成設定 → 預設模型半年換三次：把選擇寫成設定
來源： mlabonne/llm-course（Apache-2.0；README「Evaluation」一節：自動化評測容易資料污染、不擅長抽象與創意能力，人投票競技場適合主觀任務、對事實正確性較不可靠，模型評審偏袒自己的輸出、評分不一致，古德哈特定律；2026-10-25 讀本機副本）；ikala-corp/ievals（MIT；README 的 TMMLU+ v1.1 說明：197 題答案更正、539 題刪除；MODELS.md 的 5 題範例設定與自訂對話格式標記）；taide-taiwan/taide-bench-eval（MIT；以 GPT-4 評估中翻英、英翻中、摘要、寫文章、寫信）；anthropics/claude-cookbooks：Reproducing Claude's Agentic Search Benchmark Scores（MIT；範圍限代理搜尋類跑分 DeepSearchQA、BrowseComp：第三方分數偏低常見原因是執行設定、模型卡這類分數在最高 effort 檔位、評審模型要固定）；DAIR.AI Prompt Engineering Guide：Biases（MIT；好判斷的句子沒被帶偏，難判斷的句子範例比例改成 8 正 2 負後答案改變；指南作者的單次示範）；awesome-generative-ai-guide：AI Evals for Everyone 第 9 章（MIT；從 10–20 個高品質例子開始）；Hugging Face：INX-TEXT/Bailong-instruct-7B 模型卡（2026-10-25 查閱；Bailong-bench 平均 9.4 與 gpt-3.5-turbo-1106 相同、GPT-4 評審、語言一致性列入評分；MT-bench 平均 2.3 對 7.7）。五個問題、流程圖與「用自己的題目測」的具體做法為作者整理。