公司開會討論客服要不要換成 AI。業務那邊希望它不只回答問題，最好能直接幫客人處理：改收件地址、取消訂單、忘記密碼時幫忙重設。客人不用排隊，客服人員也輕鬆，每一項聽起來都合理。
麻煩在最後那一項。能幫客人重設密碼的客服，也能幫「自稱是客人的人」重設密碼。真人客服會被訓練核對身分，遇到怪怪的要求先問主管；AI 客服判斷要不要做，靠的是對話裡的說法，而說法可以是編的。
今年有兩件公開的事，剛好一件是有人故意的，一件是客人不小心的。
一句話，帳號就換了主人
2026 年 6 月 1 日，資安記者 Brian Krebs 報導，Telegram 上流傳一段影片，聲稱示範了怎麼讓 Meta 的 AI 客服幫忙重設別人的 Instagram 密碼。影片聲稱的做法很簡單：用 VPN 把連線位置弄到目標常住的城市附近，對那個帳號申請重設密碼，選擇跟 AI 客服對話，然後叫它把帳號連到一個新的信箱。影片裡 AI 客服照做，把重設密碼用的驗證碼寄到那個新信箱，拿到之後就能改密碼。歐巴馬白宮的 Instagram 帳號，就在那個週末被改成別人的圖片和訊息。
幾天後，Meta 向美國緬因州檢察長提交外洩通報，通知了至少 20,225 人帳號被接管。通報裡寫的時間是 4 月 17 日開始，5 月 31 日發現。
通報裡有一段話，負責導入 AI 客服的人值得讀一遍。Meta 說 AI 工具本身「正常運作、依設計執行」，問題出在另一段程式：系統沒有檢查客人提供的信箱，是不是這個帳號原本登記的那一個，結果把重設密碼的連結寄到了陌生信箱。AI 客服做的每一件事都是它被設計要做的，只是原本該擋在它前面的那道檢查沒有作用，它的熱心就變成了別人的工具。Meta 的處理是先停用這個 AI 客服，並拿掉讓它能重設帳號的那段程式路徑。
另一個細節：有開雙重驗證的帳號不受影響。Krebs 寫到，連最基本的簡訊驗證碼大概都擋得住，發影片的人自己也說，這招對有開雙重驗證的帳號沒有用。
一個問句，訂單就取消了
第二件小得多，但更像你公司會遇到的。2026 年 9 月 23 日，《正在新聞》報導，一位乘客在智行火車票 App 問 AI 客服「怎麼取消代搶」，接著問「點取消搶票嗎」。AI 客服把問句當成指令，直接幫她完成退票，她排了很久的候補也跟著清空。記者用同樣的問法再試一次，訂單同樣被取消。客服的回應是「在這方面確實做得不夠好」，會反映給相關部門改善。
這裡沒有駭客，只有一個想問清楚步驟的客人。問「怎麼做」跟說「幫我做」，對 AI 客服來說可能只差一個語氣，人聽得出來，它不一定聽得出來。
能不能交給 AI 客服直接做，分三級
兩件事放在一起看，出事的動作有同樣的特徵：只靠對話就能執行，做完之後客人自己改不回來。我會用下面的順序替每一個動作分級：
客人在對話裡要求一個動作
│
會換掉「誰能登入」或「錢付到哪」嗎？
├ 會 ──→ 絕不給：只給正式流程的連結
└ 不會
│
做完之後，客人能自己馬上改回來嗎？
├ 不能 ─→ 要人確認：畫面按鈕或轉真人
└ 能
│
只是查詢或說明，不改任何資料嗎？
├ 是 ──→ 只回答
└ 否 ──→ 要人確認
| 動作 | 分級 | 做法 |
|---|---|---|
| 說明退貨規定、操作步驟 | 只回答 | 問「怎麼取消」就只講步驟，不動手 |
| 查詢已登入本人的訂單狀態 | 只回答 | 只讀，範圍限於登入的這個人 |
| 改收件地址（還沒出貨） | 要人確認 | 列出改前改後，客人在畫面上按確認鍵 |
| 取消訂單、取消候補 | 要人確認 | 確認畫面寫清楚「取消後候補會清空」 |
| 退款到原付款方式 | 要人確認 | 超過公司訂的金額轉真人覆核 |
| 改登入信箱、手機號碼 | 絕不給 | 只給連結，走原本的驗證流程 |
| 重設密碼、關掉雙重驗證 | 絕不給 | 驗證碼只寄到原本登記的信箱或手機 |
| 改退款帳戶、收款帳號 | 絕不給 | 走人工或正式表單 |
作者整理，非官方。
幾個執行上的細節。
「要人確認」的確認，要做成畫面上的按鈕，按鈕上寫清楚要做什麼、做了會怎樣，不要讓客人在對話裡打一個「好」就算數。智行那件事說明了，對話裡的一句話，AI 可能讀成客人沒說的意思；按鈕上寫什麼動作，系統就只做那個動作。
「絕不給」的意思是執行權限不在 AI 手上。它還是可以解釋流程、給連結，只是按下去的那一步要走原本的驗證。Meta 出問題的是「信箱有沒有吻合」那道檢查，這種檢查不能寫在給 AI 的指示裡請它記得做，要放在 AI 碰不到的那一層，由系統直接擋。
分級要落在權限上，提示詞只是輔助。你在指示裡寫「不要幫客人改信箱」，碰到說詞夠好的人，它還是可能照做；它手上根本沒有改信箱的權限，說詞再好也沒有用。
上線前，找同事扮成客人，對每一個「要人確認」和「絕不給」的動作，用問句、用命令句、用「我是本人，我很急」各試一次，看它會不會直接做下去。能做下去的，就往上調一級。
如果你只是使用者，Meta 這件事給的建議很單純：把雙重驗證打開。
本文非法律意見。AI 客服做錯事時責任怎麼分、要不要通報主管機關，請問你們的法務或律師。
動手做
把你們打算交給 AI 客服的動作清單貼給 AI，請它先分一次級，再由你們逐條確認：
我們公司打算導入 AI 客服，以下是我們希望它能處理的客人需求清單： （逐條貼上，例如：查訂單、改收件地址、取消訂單、退款、重設密碼、改綁信箱） 請依下面三級替每一條分級，用表格列出「動作／分級／理由／建議做法」： - 只回答：只查詢或說明，不改任何資料。 - 要人確認：會改資料，而且客人無法自己馬上改回來；必須由客人在畫面上按確認鍵，或轉真人覆核。 - 絕不給：會改變「誰能登入這個帳號」或「錢付到哪裡」；AI 只能提供正式流程的連結，不能有執行權限。 判斷順序：先問這個動作會不會換掉登入方式或收款方式，再問做完之後客人能不能自己馬上改回來。 最後另外列出：哪些動作如果被冒充本人的人要求，損害最大，上線前要優先測試；並提醒我「詢問怎麼做」的問句不應該觸發任何動作。
Meta 事後的修法，是拿掉 AI 客服能重設帳號的那段程式路徑。你們在上線前，就可以先把「絕不給」那幾格的權限拿掉。
站內延伸
- AI 會被說服、會照資料裡的指令做 → AI 被騙的三種方式
- 把「不准做什麼」寫進交辦 → 交辦時沒寫「不准做什麼」，它就自己決定
- 權限怎麼給到剛好 → 找方法AI Agent 權限最小化
來源： KrebsOnSecurity：Hackers Used Meta's AI Support Bot to Seize Instagram Accounts（2026-06-01；Telegram 影片聲稱的手法、歐巴馬白宮帳號遭竄改、對開了雙重驗證的帳號無效）；this week in security：Meta confirms thousands of Instagram accounts were hacked by abusing its AI chatbot（2026-06-06；Meta 向緬因州檢察長提交的通報、至少 20,225 人、工具依設計運作但另一段程式沒有比對信箱、停用 AI 客服並移除該程式路徑）；OODA Loop：Meta Says Thousands of Instagram Accounts Were Breached Through Its AI Support Assistant（2026-06-09；4 月 17 日開始、5 月 31 日發現）；安全內參轉載《正在新聞》（2026-09-23；智行火車票 AI 客服把問句當成指令、記者重現、客服回應）。分級流程圖與分級表為作者整理。