技能也要考試：一鍵產出測試案例與對照組

「這個技能有用嗎？」以前我只能憑感覺回答，而我記得的多半是它做對的那幾次。

2026 年 9 月 7 日到 11 日那一週，Claude Code 上了 claude plugin eval。它做的事很單純：把技能拿去考試，同時考一份沒有裝技能的對照組，最後給你兩邊的分數差。

那張報表在講什麼

先看它怎麼組成。一個測試案例就是一個資料夾，裡面有一份 prompt.md 寫這次要它做什麼，還有一個 graders/ 資料夾放評分器。評分器分兩種。一種不必叫模型：比對正規表達式、檢查某個工具有沒有被呼叫、工具呼叫的順序對不對、檔案有沒有產生出來。另一種要叫模型，像是請一個裁判模型評分，或跟一份基準紀錄對照。不必叫模型的那幾種便宜又穩，能用就先用。

跑完之後，終端機會給你一張表，欄位有案例、有裝技能的分數、沒裝技能的分數、差值、跑了幾次、花了多少錢。另外還會產生一份可以直接打開的 HTML 報告和一份 JSON 結果。

有兩個預設值要先知道。每個案例預設跑三次取平均，因為單次結果本來就會晃。通過門檻預設是滿分，所有案例都得拿到一百分才算過，退出碼才會是 0；接進 CI 的人通常會自己把門檻調低一點。

還有兩個容易踩的地方。叫模型的那類評分器每跑一次都要花錢，所以可以設成本上限。每次評測都跑在獨立的沙箱裡，只載入你要測的那個外掛，你其他的設定和 MCP 伺服器都不會載入。這樣比較公平，不過也表示你在自己機器上能跑，不代表在這裡能過。沙箱在原生 Windows 上沒有後端，要在 WSL2 裡跑。

我們讓 AI 寫過一組測試，跑出來全部綠燈，後來才發現它篩完資料剩 0 筆，根本什麼都沒驗到就通過了。所以看這張表，我會先確認「跑了幾次」那欄有東西，再去看分數。

不寫程式的人能拿走什麼

你可能永遠不會去跑這個指令，但它背後的觀念可以直接搬走：要證明某個做法有用，就得準備一組沒有它的對照。

公司裡常聽到「導入這個 AI 流程之後效率提升很多」。提升多少？跟什麼比？多數時候答不出來，因為沒有人留下導入前的樣本。評測工具的做法很直接：同一批題目，有工具跑一次、沒工具跑一次，跑三輪取平均。

用人工也做得到，大概要花一個下午。如果這個數字之後要拿去跟主管報告，我覺得值得花。

動手做

有在做技能的人，在外掛資料夾裡先讓它幫你草擬案例：

claude plugin eval init
claude plugin eval .

第一次跑完，先看終端機那張表的差值那一欄。差值接近零，代表這個技能沒有真的改變什麼，可能是描述沒被命中，也可能是它本來就會。

沒在寫技能、但想證明某個做法有用的人，可以用這段設計自己的對照實驗：

我要證明「（填入你的做法，例如先填五格 Brief 再交辦）」真的比較好。
請幫我設計一個能自己動手做的對照實驗：
1. 挑 5 個代表性的真實任務當題目，說明挑選理由。
2. 定義 3 到 5 個可以打勾的評分項目，每項寫清楚什麼樣算通過，不要用「品質好」這種字。
3. 說明對照組怎麼做（沒有這個做法的版本），以及每題要各跑幾次才不會被運氣影響。
4. 給我一張空白的記分表格式。
不要幫我猜結果，只給實驗設計。

之後技能改版，就重跑一次，不要憑印象說「應該更好了」。看分數也看平均就好，單次的高分低分不用太在意。

報表裡的差值也可能是負的，代表裝了技能反而比沒裝差。這種結果它一樣會列在表上。

站內延伸

• 技能上線前的四道防線 → Skill 一旦碰到錢和對外，就要像軟體一樣測
• 驗收要交給沒參與的人 → 對抗式驗收
• 完整的測試清單 → 找方法AI Agent 測試

來源： Claude Code：Plugin evals（案例與評分器結構、六種評分器、預設跑三次、有裝與沒裝的雙臂比較、預設門檻、成本上限、沙箱只載入目標外掛、Windows 需 WSL2）；Claude Code：週報 2026-w37（2026-09-07～11 上線、eval init 會草擬案例與評分器）。