假設你讓一個 AI 代理接手部門的三件雜事:核對同事送來的請款單、回覆客戶的例行來信、把客戶資料表裡過期的地址改掉。每一步都要你按同意,你按到後來沒在看內容;乾脆全放手,月底才發現有一筆不該過的請款被它核准了。
兩種設定都會出事。要找的是中間那條線:哪幾步讓它自己做,哪幾步一定要停下來等人點頭。
全問和都不問,都是設計沒做完
Anthropic 的範例程式庫 claude-cookbooks 有一份教學,題材就是費用核銷。它開頭寫:什麼都往上送的代理讓人疲於應付,什麼都不往上送的代理很危險,所以要校準。
它的做法很單純,代理只有兩個動作可選。案子清楚的,用「決定」直接核准或退回,並寫下理由;案子模糊的,用「升級」把問題丟給人。哪些算模糊,它在給代理的指示裡點了三種:接近門檻的、類別看不清楚的、備註看起來可疑的。
規則寫在一份很短的政策檔裡,只有四行:50 以下自動核准、500 以下由主管核准、差旅和法務類一律送人看、超過 25 要附收據(範例沒寫幣別)。範例準備了 12 張收據,刻意讓每一條規則都會碰到。它對「跑得健康」的描述是:結果裡同時有核准、退回和升級,不會全部落在同一條。
這句話可以拿來檢查你的代理。我的推論是:跑完一批,如果幾乎全部都升級給你,可能是規則沒寫清楚;如果從來沒升級過,可能是門檻太鬆,或它根本沒在判斷。比例多少才算正常,素材沒有給數字,先把每次升級和退回記下來,回頭看哪一類一直重複。
要停的是那一個動作
金融科技開源基金會 FINOS 的 AI 治理框架有一節講「人工核准關卡」,補上範例沒講的部分。
它的第一條原則是:關卡管的是那一個具體動作,連同它最後的參數,而不是評估這個代理整體可不可信。例行工作自己跑,碰到規則列為要核准的動作才停。
第二條:哪些動作要核准,要事先寫成規則,用工具、動作類型、影響程度、金額門檻、對象敏感度、適用地區這些條件來分,交給代理繞不過去的系統去執行,不能留給模型自己判斷。這跟範例讓代理自己舉手並不衝突。我的判斷是分兩層:金額、類別這種寫得出來的規則,由系統擋;AI 自己舉手,只補規則沒寫到的模糊地帶,不能當唯一的一層。
實作指引裡還有一條:別只看改不改得回來。機密、資料正確性、財務損失、客戶傷害、法律效果、對外散布、時間急迫要一起看,可逆只是其中一個因素。它的例子是,付款就算追得回來,傷害可能已經造成;只讀不寫的查詢,也可能把不該給的客戶資料洩漏出去。
還有一條容易漏掉:公司明定不能放寬的限制,碰到時應該直接拒絕,不要送去給人核准。我的理解是,送去核准等於暗示按一下就能過。
停下來的那一刻,給人看什麼
位置設對了,人點頭時看到的東西也要對。框架的要求換成辦公室的情境,大致是這幾件:
- 停在動作發生之前。信已經寄出去才來問你,問了也沒用。
- 給人看最後的版本:最後的收件人、最後的金額、最後要寄出的內容,而不是 AI 一開始說它打算怎麼做。核准只對這個版本有效,內容改過就重新判斷要不要核准。
- AI 寫的理由可以附上,但要標明那是它的說法。它可能寫錯,被惡意內容誘導時也可能寫得很有說服力。
- 「退回」「停止」要跟「核准」一樣好按。
- 每一個等核准的動作都要有期限,到期就退回或往上送。沒有人回應,就當作不核准。
- 在群組按個讚、回一封信說「好」,框架認為都不夠格當核准,容易被偽造、重送,或跟實際內容對不上。核准要在看得到完整動作、記得到是誰按的地方做。
- AI 自己永遠不能當核准人;規定要兩個人看的,提出的人不能兼當第二個人。
框架也建議定期看關卡被觸發的次數和被退回的比例。同一類動作一再被退回,就拿來調整規則、改指示,或縮小代理能做的範圍。
這一步要不要人點頭
把上面的原則排成順序,代理的每一步照這張圖走一次:
AI 準備做下一步
│
是公司明定不能做的嗎?
├ 是 ─→ 直接拒絕,不送核准
└ 否
│
金額超過門檻,或動到權限、別人的資料,
或把東西送出公司嗎?
├ 會 ─→ 停下來,給人看最後版本
└ 不會
│
規則寫得清楚,而且不在模糊地帶?
├ 是 ─→ 自己做,留紀錄
└ 否 ─→ AI 舉手,等人回覆
| 等級 | 什麼樣的步驟 | 請款/回信/改資料的例子 | 停下來時給人看什麼 |
|---|---|---|---|
| 直接拒絕 | 公司明定不可放寬的事 | 規章不允許的請款類別;把客戶資料寄到外部私人信箱 | 不送核准,只回報被擋下、擋在哪一條 |
| 兩個人點頭 | 規章要求雙人覆核的 | 規章規定要二人簽核的付款 | 同下一列,而且提出的人不能當第二位 |
| 停下來等人點頭 | 金額超過門檻、動到權限或別人的資料,或對外送出 | 核准超過你們門檻的請款;寄出任何對外的信;改客戶的聯絡方式 | 最後的金額、收件人、修改前後的值;AI 的理由標明是它的說法 |
| AI 舉手問 | 規則有寫,但這一件落在模糊地帶 | 金額貼近門檻、類別看不清、備註怪怪的 | 它卡在哪一條規則、它想問的那一句話 |
| 自己做,留紀錄 | 規則清楚、只在內部、不改正式資料 | 檢查收據有沒有附、寫回信草稿、列出疑似過期的地址 | 不用停;事後查得到它做了什麼 |
作者整理,非官方。門檻金額請用你們公司自己的規章,這張表刻意不給數字。
照這張表分完,我的推論是要人點頭的會集中在送出去、金額超過門檻、動到資料的那幾步,草稿、核對、列清單可以讓它自己做。核准按到麻木的情況,站內延伸那篇另外談。
動手做
把你的流程交給 AI,請它先分級,不要替你決定門檻:
我打算讓 AI 代理處理下面這個流程,請先把它會做的每個動作逐一列出來: (貼上流程,例如:讀取請款單 → 核對收據 → 判斷是否核准 → 通知申請人) 我們公司相關的規定是: (貼上規章裡的金額門檻、需要主管或雙人簽核的情況、明定不能做的事;沒有就寫「沒有」) 請把每個動作分成五級:直接拒絕、兩個人點頭、停下來等人點頭、AI 舉手問、自己做留紀錄。輸出表格,欄位: 1. 動作 2. 分級 3. 理由:金額有沒有超過門檻、會不會動到權限或別人的資料、會不會對外送出;能不能改回來只當其中一個因素 4. 停下來時要給人看的內容(最後的金額、收件人、修改前後的值) 5. 依據我貼的哪一條規定;找不到依據就寫「規章沒寫,需要我決定」 不要自己發明金額門檻或比例,我沒給的數字一律留空。
先挑你流程裡會對外寄出或金額超過門檻的那一步,確認它停下來時,你看得到最後的收件人和金額。
站內延伸
- 按到煩了就勾「一律允許」,那一勾代表什麼 → 按到煩了就勾「一律允許」,你簽了什麼?
- 對客人的動作,哪些不能交給 AI 客服直接做 → AI 客服能改帳號,駭客也能叫它改
- 先把 AI 碰得到的範圍縮到剛好 → 找方法AI Agent 權限最小化
來源: Anthropic claude-cookbooks:Gate: human-in-the-loop with custom tools(MIT;2026-10-25 查閱;校準的說法、decide 與 escalate 兩個動作、模糊案例的三種類型)與同目錄的 example_data/gate(policy.yaml 四條規則、12 張收據、健康的一輪三種結果都會出現);FINOS AI Governance Framework:MI-24 Human-in-the-Loop Action Approval Gate(Copyright 2025 FINOS,Fintech Open Source Foundation;以 CC BY 4.0 授權;2026-10-25 查閱;Key Principles 的 Gate the Action、Policy-Driven Classification、Fail-Closed、Bounded Waiting、Named Oversight Pattern,Implementation Guidance 第 1 至 4 節:依影響分類而不只看可逆、不可放寬的限制直接拒絕、動作發生前中斷、綁定最後版本、AI 理由標為不可信、退回與核准一樣好按、聊天與信件回覆不夠格當核准、修改即新版本、期限與回饋;第 7 節 Operational Safeguards:定期檢查關卡觸發率與退回率)。本文依各授權改寫觀念並註明出處,未逐字翻譯;流程圖、分級表與提示詞為作者整理。