技能也要考試：一鍵產出測試案例與對照組

「這個技能有用嗎？」以前只能靠感覺回答。感覺很不可靠，因為你會記得它做對的那次。

2026 年 9 月 7 日到 11 日那一週，Claude Code 上了 claude plugin eval。它做的事很單純，但方向很對：把技能拿去考試，而且同時考一份沒有裝技能的對照組，最後給你兩邊的分數差。

沒有評測                      有評測
「我覺得有用」                案例 × 3 次，取平均
記得做對的那次                跟沒裝技能的對照組比
改壞了才發現                  分數掉了就擋下來

那張報表在講什麼

先看它怎麼組成。一個測試案例就是一個資料夾：裡面有一份 prompt.md 寫這次要它做什麼，還有一個 graders/ 資料夾放評分器。評分器分兩種，一種不必叫模型——比對正規表達式、檢查某個工具有沒有被呼叫、工具呼叫的順序對不對、檔案有沒有被產生出來；另一種要叫模型，包括請一個裁判模型評分，或跟一份基準紀錄對照。不必叫模型的那幾種便宜又穩，能用就用。

跑完之後，終端機會給你一張表，欄位是案例、有裝技能的分數、沒裝技能的分數、差值、跑了幾次、花了多少錢。另外會產生一份可以直接打開的 HTML 報告和一份 JSON 結果。

兩個預設值要知道。第一，每個案例預設跑三次取平均，因為單次結果本來就會晃。第二，通過門檻預設是滿分，也就是所有案例都得拿到一百分才算過，退出碼才會是 0；接進 CI 的人通常會自己把門檻調低一點。

還有兩個容易踩的：叫模型的那類評分器每跑一次都要花錢，所以它有成本上限的參數可以設；每次評測跑在獨立的沙箱裡，只載入你要測的那個外掛，不載入你其他的設定和 MCP 伺服器——這是為了公平，但也代表「在我機器上明明會動」不算數。沙箱在原生 Windows 上沒有後端，要在 WSL2 裡跑。

不寫程式的人能拿走什麼

你可能永遠不會去跑這個指令，但這裡有一個觀念值得直接搬走：要證明某個做法有用，你得準備一組沒有它的對照。

公司裡常見的對話是「導入這個 AI 流程之後效率提升很多」。提升多少？跟什麼比？多數時候答不出來，因為沒有人留下導入前的樣本。評測工具的做法很笨但有效：同一批題目，有工具跑一次、沒工具跑一次，跑三輪取平均。

這件事你用人工也做得到，成本是一個下午。真的要拿去跟主管報告的效益數字，值得那個下午。

動手做

有在做技能的人，在外掛資料夾裡先讓它幫你草擬案例：

claude plugin eval init
claude plugin eval .

第一次跑完先看終端機那張表的差值那一欄，差值接近零就代表這個技能沒有真的改變什麼，可能是描述沒被命中，也可能是它本來就會。

沒有在寫技能、但要證明某個做法有用的人，用這段設計你自己的對照實驗：

我要證明「（填入你的做法，例如先填五格 Brief 再交辦）」真的比較好。
請幫我設計一個能自己動手做的對照實驗：
1. 挑 5 個代表性的真實任務當題目，說明挑選理由。
2. 定義 3 到 5 個可以打勾的評分項目，每項寫清楚什麼樣算通過，不要用「品質好」這種字。
3. 說明對照組怎麼做（沒有這個做法的版本），以及每題要各跑幾次才不會被運氣影響。
4. 給我一張空白的記分表格式。
不要幫我猜結果，只給實驗設計。

做對了的樣子：你手上任何一個「這樣做比較好」的說法，都指得出對照組是什麼；技能改版之後你會重跑一次，而不是憑印象；你知道分數會晃，所以看的是平均不是單次。

站內延伸

• 技能上線前的四道防線 → Skill 一旦碰到錢和對外，就要像軟體一樣測
• 驗收要交給沒參與的人 → 對抗式驗收
• 完整的測試清單 → 找方法AI Agent 測試

來源： Claude Code：Plugin evals（案例與評分器結構、六種評分器、預設跑三次、有裝與沒裝的雙臂比較、預設門檻、成本上限、沙箱只載入目標外掛、Windows 需 WSL2）；Claude Code：週報 2026-w37（2026-09-07～11 上線、eval init 會草擬案例與評分器）。

技能有沒有用，現在可以量了：同一批題目跑三次，再跟沒裝技能的對照組比分數差。真正值得搬到日常工作的不是那個指令，是那個笨方法——要說某個做法更好，先留一份沒有它的樣本。沒有對照組的效益數字，都是感覺。