部門共用一個分派客戶來信的助手,好幾個人每天在用。這週開始有人說它怪怪的,該給帳務的信一直被分到別組。問了一圈,有人說上週好像有誰改過它的說明,加了一段話。加了什麼、原本長什麼樣,沒人說得出來,也沒有人留著舊的那份。
這件事麻煩在兩個地方。改完馬上對所有人生效,中間沒有試用;壞掉之後想回去,手上沒有上一版可以回。
Anthropic 的範例庫裡有一份專門講這件事。情境是一位產品經理,用 AI 把客服工單分給對的團隊。她想讓跟 API 用量有關的工單多分給平台組,於是改了指令。範例用的平台每改一次指令,就自動產生一個新的版本號,舊版本不會被蓋掉。呼叫時只給助手的名字,拿到的是最新版;指定版本號,才會固定在那一版。
範例裡發生了什麼
範例準備了 20 張已經標好正確分派的工單,四個團隊各 5 張。這是範例自己設計的測試,不是研究結果,張數也不代表你該準備多少題。第一版的成績:平台組、帳號登入組、後台介面組全對,帳務組 5 張對 4 張。
第二版加了一條規則:工單只要提到 API 用量、流量限制、配額或請求量,一律分給平台組,而且這條優先於其他考量。結果帳務組掉到 5 張對 2 張,其他三組不變。範例寫了原因:這是一個按用量計費的產品,帳務類的工單本來就會談到 API 用量。
退回去不用重新部署。第一版一直留在伺服器上,把帳務工單改指定第一版再跑一次,又回到 5 張對 4 張。
這個範例有兩點可以帶走。第一,退步出在改的人沒在看的那一組:她想改善平台組,平台組也確實沒變差,只看平台組的成績,就看不到帳務組從 4 張掉到 2 張。第二,能退得回去,是因為舊版還在,而且「大家用哪一版」是一個可以改回去的設定。
新增版本隨意,換掉大家用的那一版要審
範例也講了這個做法的缺口:這個更新動作沒有內建審核,工作區裡任何一把金鑰都能改;使用的那一端如果沒有指定版本,下一次對話就直接吃到新指令。它建議正式使用的一律固定在明確的版本號,把「大家用第幾版」那個數字當成要審核的關卡。誰都可以建第二版、第三版、第十版,這些版本沒人用,就不影響任何人;要把大家換過去,才走正常的審核。風險高的助手,先讓一小部分流量走新版,比較過再全面換。
想改指令 │ ▼ 存下現行版全文,新版另編版本號 │ ▼ 同一批題目,新舊兩版各跑一次,按類別看 │ ├─ 有任何一類變差 ─→ 不換,回頭改新版 │ ▼ 每一類都沒變差 有人審過,才把「大家用的版本」改成新版 │ ▼ 換版後持續收回報 │ └─ 出問題 ─→ 把「大家用的版本」指回舊版
你用的工具未必有版本號。沒有的話,就自己做到同樣的效果:每次改之前,把現在的指令全文另存一份,檔名帶版本號和日期;在共用的地方寫明「現在大家用的是第幾版」;能改指令的人限縮到少數幾位。這樣退版就是把舊的那份全文貼回去,不必憑記憶重寫。
下面這張表,是我照範例的流程整理成一般團隊做得到的版本:
| 時機 | 要做的事 | 做到了的樣子 |
|---|---|---|
| 改之前 | 存下現行版全文 | 資料夾裡找得到上一版,檔名有版本號和日期 |
| 改之前 | 寫下這次改哪一句、為什麼改 | 一句話講得出想修正哪一類問題 |
| 改之前 | 準備一批有標準答案的題目,每一類都要有 | 不只放你想改善的那一類 |
| 改完 | 新舊兩版用同一批題目各跑一次 | 每一類都有新舊兩個成績,分開看 |
| 改完 | 任何一類變差就先不換 | 說得出是哪一句讓那一類變差 |
| 換版時 | 有人看過成績才把大家換到新版 | 共用的地方寫著現在用第幾版、誰同意的 |
| 風險高的 | 先讓少數人或一部分案件用新版 | 比較過再全面換 |
| 出事時 | 先指回上一版,再慢慢查 | 退版不用等新版修好 |
作者整理,非官方。這張表裡最容易省略的是第三列。只拿你想改善的那類題目測,新版一定看起來比較好,範例裡帳務組的退步就是這樣藏起來的。
另外,一次只改一處。阿里雲的 Agent 手冊也這樣提醒:同時換模型、改指令、加技能,分數變了就很難解釋是哪一項造成的。一次改好幾處,退版時也不知道該退哪一段。
改之前,可以先把新舊兩版交給 AI 比對:
下面是我們共用助手的舊版指令和新版指令。先不要評論好壞,照順序做: 1. 逐句比對,列出新版新增、刪除、改寫了哪些句子。 2. 每一處改動,推想它可能讓哪些類型的提問變好、哪些可能變差,特別是我沒打算改的類別。 3. 依上一步,建議我測試時每一類至少要放哪幾種題目。 4. 幫我填一份變更紀錄:版本號、改了哪一句、為什麼改、要用哪些題目驗證、誰同意換版。 舊版指令:(貼上) 新版指令:(貼上) 這次想改善的問題:(一句話)
現在就可以先做一件事:把助手目前的指令全文複製一份,檔名寫上「第 1 版」和今天的日期,放進團隊共用的資料夾。
站內延伸
- 把助手給別人用之前,權限、資料、責任怎麼想 → 找方法AI 助手共用
- 技能用壓縮檔或私有市集發出去時的版本號 → 技能怎麼發出去
- 分數掉了,先分清是不是指令的問題 → AI 助手分數變低,先別急著改指令
來源: anthropics/claude-cookbooks:Prompt Versioning and Rollback(MIT,2026-10-25 查證;每次更新產生不可變的新版本號、只給名稱取得最新版而指定版本才固定、20 張已標答案工單四個團隊各 5 張、第一版帳務 4/5、第二版路由規則與帳務掉到 2/5、改指定第一版回到 4/5、更新沒有內建審核、正式使用固定版本並把版本號當審核關卡、高風險先導一部分流量比較);aliyun/ai-agent-handbook 第 22 章(Apache-2.0,2026-10-25 查證;同時換模型、改提示詞、加技能時分數變化難以解釋,先只改一項;保留一部分原本正常的任務才能驗證有沒有退化;簡體中文改寫)。檢查表與流程圖為作者整理;20 張工單是範例的設計,不是研究結果。