跳到主要內容
CAMP 04找觀念›AI 幫你跑請款,哪一步該停下來等你點頭?
第七架構:多個 AI 一起工作,怎麼指揮與驗收|第 10 篇

AI 幫你跑請款,哪一步該停下來等你點頭?

停下來問人的點,要照動作的影響來定,不要交給 AI 自己感覺。金額、對外寄出、動到權限或別人的資料,寫成規則由系統擋;AI 自己舉手,只負責規則沒寫到的模糊地帶。公司規定不能做的事,連問都不該問,直接拒絕。

2026-10-20 發布 · 2026-10-25 更新 · 作者整理:Lucas

假設你讓一個 AI 代理接手部門的三件雜事:核對同事送來的請款單、回覆客戶的例行來信、把客戶資料表裡過期的地址改掉。每一步都要你按同意,你按到後來沒在看內容;乾脆全放手,月底才發現有一筆不該過的請款被它核准了。

兩種設定都會出事。要找的是中間那條線:哪幾步讓它自己做,哪幾步一定要停下來等人點頭。

全問和都不問,都是設計沒做完

Anthropic 的範例程式庫 claude-cookbooks 有一份教學,題材就是費用核銷。它開頭寫:什麼都往上送的代理讓人疲於應付,什麼都不往上送的代理很危險,所以要校準。

它的做法很單純,代理只有兩個動作可選。案子清楚的,用「決定」直接核准或退回,並寫下理由;案子模糊的,用「升級」把問題丟給人。哪些算模糊,它在給代理的指示裡點了三種:接近門檻的、類別看不清楚的、備註看起來可疑的。

規則寫在一份很短的政策檔裡,只有四行:50 以下自動核准、500 以下由主管核准、差旅和法務類一律送人看、超過 25 要附收據(範例沒寫幣別)。範例準備了 12 張收據,刻意讓每一條規則都會碰到。它對「跑得健康」的描述是:結果裡同時有核准、退回和升級,不會全部落在同一條。

這句話可以拿來檢查你的代理。我的推論是:跑完一批,如果幾乎全部都升級給你,可能是規則沒寫清楚;如果從來沒升級過,可能是門檻太鬆,或它根本沒在判斷。比例多少才算正常,素材沒有給數字,先把每次升級和退回記下來,回頭看哪一類一直重複。

要停的是那一個動作

金融科技開源基金會 FINOS 的 AI 治理框架有一節講「人工核准關卡」,補上範例沒講的部分。

它的第一條原則是:關卡管的是那一個具體動作,連同它最後的參數,而不是評估這個代理整體可不可信。例行工作自己跑,碰到規則列為要核准的動作才停。

第二條:哪些動作要核准,要事先寫成規則,用工具、動作類型、影響程度、金額門檻、對象敏感度、適用地區這些條件來分,交給代理繞不過去的系統去執行,不能留給模型自己判斷。這跟範例讓代理自己舉手並不衝突。我的判斷是分兩層:金額、類別這種寫得出來的規則,由系統擋;AI 自己舉手,只補規則沒寫到的模糊地帶,不能當唯一的一層。

實作指引裡還有一條:別只看改不改得回來。機密、資料正確性、財務損失、客戶傷害、法律效果、對外散布、時間急迫要一起看,可逆只是其中一個因素。它的例子是,付款就算追得回來,傷害可能已經造成;只讀不寫的查詢,也可能把不該給的客戶資料洩漏出去。

還有一條容易漏掉:公司明定不能放寬的限制,碰到時應該直接拒絕,不要送去給人核准。我的理解是,送去核准等於暗示按一下就能過。

停下來的那一刻,給人看什麼

位置設對了,人點頭時看到的東西也要對。框架的要求換成辦公室的情境,大致是這幾件:

框架也建議定期看關卡被觸發的次數和被退回的比例。同一類動作一再被退回,就拿來調整規則、改指示,或縮小代理能做的範圍。

這一步要不要人點頭

把上面的原則排成順序,代理的每一步照這張圖走一次:

AI 準備做下一步
      │
是公司明定不能做的嗎?
  ├ 是 ─→ 直接拒絕,不送核准
  └ 否
      │
金額超過門檻,或動到權限、別人的資料,
或把東西送出公司嗎?
  ├ 會 ─→ 停下來,給人看最後版本
  └ 不會
      │
規則寫得清楚,而且不在模糊地帶?
  ├ 是 ─→ 自己做,留紀錄
  └ 否 ─→ AI 舉手,等人回覆
等級什麼樣的步驟請款/回信/改資料的例子停下來時給人看什麼
直接拒絕公司明定不可放寬的事規章不允許的請款類別;把客戶資料寄到外部私人信箱不送核准,只回報被擋下、擋在哪一條
兩個人點頭規章要求雙人覆核的規章規定要二人簽核的付款同下一列,而且提出的人不能當第二位
停下來等人點頭金額超過門檻、動到權限或別人的資料,或對外送出核准超過你們門檻的請款;寄出任何對外的信;改客戶的聯絡方式最後的金額、收件人、修改前後的值;AI 的理由標明是它的說法
AI 舉手問規則有寫,但這一件落在模糊地帶金額貼近門檻、類別看不清、備註怪怪的它卡在哪一條規則、它想問的那一句話
自己做,留紀錄規則清楚、只在內部、不改正式資料檢查收據有沒有附、寫回信草稿、列出疑似過期的地址不用停;事後查得到它做了什麼

作者整理,非官方。門檻金額請用你們公司自己的規章,這張表刻意不給數字。

照這張表分完,我的推論是要人點頭的會集中在送出去、金額超過門檻、動到資料的那幾步,草稿、核對、列清單可以讓它自己做。核准按到麻木的情況,站內延伸那篇另外談。

動手做

把你的流程交給 AI,請它先分級,不要替你決定門檻:

我打算讓 AI 代理處理下面這個流程,請先把它會做的每個動作逐一列出來:
(貼上流程,例如:讀取請款單 → 核對收據 → 判斷是否核准 → 通知申請人)

我們公司相關的規定是:
(貼上規章裡的金額門檻、需要主管或雙人簽核的情況、明定不能做的事;沒有就寫「沒有」)

請把每個動作分成五級:直接拒絕、兩個人點頭、停下來等人點頭、AI 舉手問、自己做留紀錄。輸出表格,欄位:
1. 動作
2. 分級
3. 理由:金額有沒有超過門檻、會不會動到權限或別人的資料、會不會對外送出;能不能改回來只當其中一個因素
4. 停下來時要給人看的內容(最後的金額、收件人、修改前後的值)
5. 依據我貼的哪一條規定;找不到依據就寫「規章沒寫,需要我決定」
不要自己發明金額門檻或比例,我沒給的數字一律留空。

先挑你流程裡會對外寄出或金額超過門檻的那一步,確認它停下來時,你看得到最後的收件人和金額。

站內延伸

來源: Anthropic claude-cookbooks:Gate: human-in-the-loop with custom tools(MIT;2026-10-25 查閱;校準的說法、decide 與 escalate 兩個動作、模糊案例的三種類型)與同目錄的 example_data/gate(policy.yaml 四條規則、12 張收據、健康的一輪三種結果都會出現);FINOS AI Governance Framework:MI-24 Human-in-the-Loop Action Approval Gate(Copyright 2025 FINOS,Fintech Open Source Foundation;以 CC BY 4.0 授權;2026-10-25 查閱;Key Principles 的 Gate the Action、Policy-Driven Classification、Fail-Closed、Bounded Waiting、Named Oversight Pattern,Implementation Guidance 第 1 至 4 節:依影響分類而不只看可逆、不可放寬的限制直接拒絕、動作發生前中斷、綁定最後版本、AI 理由標為不可信、退回與核准一樣好按、聊天與信件回覆不夠格當核准、修改即新版本、期限與回饋;第 7 節 Operational Safeguards:定期檢查關卡觸發率與退回率)。本文依各授權改寫觀念並註明出處,未逐字翻譯;流程圖、分級表與提示詞為作者整理。

← 看更多找觀念文章
取得 AI 實戰工具與更新

之後會不定期整理:新方法、指令包(Prompt Pack)、Checklist 與模板。免費、無廣告;送出後會收到一封確認信,點了連結才算訂閱成功,之後每封信都附一鍵退訂。