你問它一條規定，它回得很乾脆：「可以，這種情況不需要事前申請。」你多問一句「你確定嗎？」它說「是的，我很確定。」你照做了，後來承辦人告訴你，要申請。
我們跟人說話時，習慣用口氣判斷對方有沒有把握。同事講話吞吞吐吐，你會再去問別人；講得斬釘截鐵，你就照辦。這個習慣用在它身上會出錯，因為它的口氣跟它答對的機率，兩者之間沒有對上。
研究上把這件事叫「校準」。2023 年一篇論文是這樣定義的：一個可以信任的系統，它對答案的信心應該能反映答案正確的可能性，信心低的時候就交給專家處理。對準了，它說九成把握，大概十次對九次；沒對準，「我很確定」就只是一句話。
為什麼口氣不準
第一個原因跟它怎麼學說話有關。2023 年史丹佛大學的一篇論文研究「我確定是…」「我想是…」「維基百科說是…」這類表達把握程度的句型。研究者把這些句型放在答案的開頭，讓當時的 GPT-3 等模型接著把答案填完，發現模型對它們很敏感，而且用「很確定」的語氣開頭時，正確率比用「不太確定」開頭低了 7%。他們再去翻一份常用的訓練資料，發現表示不確定的詞多半出現在問答網站的回答裡，表示確定的詞多半出現在提問裡。論文的推論是：模型對這些詞的反應，可能是在模仿人怎麼使用它們，而不是反映它自己知道多少。
我的讀法是，「我確定」這幾個字在它那裡比較像一種說話習慣，跟它有沒有把握的關係很弱，聽到時不必加分。
第二個原因跟它怎麼被評分有關。OpenAI 與喬治亞理工學院的研究人員在 2025 年的論文裡指出，大部分評量只看答對或答錯，回答「我不知道」跟答錯一樣拿零分，給一個有把握的猜測反而最划算。這樣訓練出來，它自然傾向用肯定的口氣交出答案。
它自己報的把握度，有用但有限
那直接問它「你有幾成把握」呢？研究結果比你想的好一點，但也只是一點。
上面那篇定義校準的論文測了 2023 年當時的 ChatGPT、GPT-4、Claude 這類經過人類回饋調整的模型，發現請它用文字講出自己的把握度，通常比它內部的機率數字更準，校準誤差常常可以減少一半左右。2022 年另一篇論文用的是模型內部的機率，不是它講出來的話：讓模型先作答，再讀出它判斷自己答對的機率，校準得不錯。這個數字一般人在聊天視窗裡看不到，只能當背景知道：模型內部對自己答得對不對，是有一些判斷的。
限制也寫在同一批研究裡。這些測試多半是有標準答案的知識問答和選擇題；2022 年那篇也提到，換到沒見過的任務類型，它判斷「自己知不知道」就不太準了。所以它報的數字可以拿來排查證的順序，不能拿來決定要不要查。
語氣和證據分開看
有證據 只有語氣
+-----------------+-----------------+
講得篤定 | 可以用，留下出處 | 最危險， |
| | 當作還沒查 |
+-----------------+-----------------+
講得保留 | 可以用，註明 | 它在提醒你， |
| 「待確認」 | 先查這裡 |
+-----------------+-----------------+
右上那一格最常出事，因為篤定的口氣會讓你跳過查證。下面這張表把你常看到的訊號排成三級，判斷你手上那句話落在哪裡：
| 你看到的 | 算不算證據 | 下一步 |
|---|---|---|
| 口氣篤定、用詞很專業 | 不算 | 當作還沒查 |
| 它說「我很確定」「毫無疑問」 | 不算 | 當作還沒查 |
| 你追問後它堅持原答案 | 不算 | 當作還沒查 |
| 它自己報的把握度數字 | 弱參考 | 用來排順序，數字低的先查 |
| 換個問法重問，答案都一樣 | 弱參考 | 數字、日期、法規照樣查 |
| 重問後答案不一樣 | 警訊 | 當作它不知道 |
| 你能自己驗算（加總、日期推算） | 可以 | 自己算一次再用 |
| 它標出這句來自你給的資料，原句找得到 | 可以 | 回原文讀前後文 |
| 附了外部出處，原文一字不差找得到，前後文也支持 | 可以 | 留下原文連結 |
作者整理，非官方。
怎麼逼它把沒把握的地方講出來
第一，給它說「不知道」的出口。微軟給初學者的課程把這列為降低編造的做法之一：告訴它做不到時可以回什麼。
第二，把答錯的代價寫明。前面那篇 2025 年的論文建議，出題時直接寫清楚把握門檻，例如：只在有超過 75% 把握時回答，答錯扣 2 分，答對得 1 分，回答「我不知道」得 0 分。這樣一來，沒把握時硬猜就不再划算。論文是寫給設計評量的人看的，你可以照抄進自己的問題試試。
第三，把你手上的資料放進對話，要它逐句標出哪些說法來自你給的資料、哪些來自它自己的記憶。它標的來源也可能標錯，所以標「來自你的資料」的句子，要回原文找得到那一句才算數。標成「來自記憶」的數字、日期、名稱，一律當作還沒查。
把三件事合在一起，可以這樣問：
請回答下面的問題，並遵守這些規則： 一、只在你有超過 75% 把握時給出答案。答錯扣 2 分，答對得 1 分，回答「我不知道」得 0 分。 二、回答後，把裡面每個事實說法（數字、日期、名稱、規定）逐句列出，每句標上： 依據：來自我提供的資料（附上原句）／來自你自己的記憶 把握度：0 到 100 如果這句錯了，最可能錯在哪裡 三、把握度最低的幾句排在最前面。 四、不要用「我很確定」「毫無疑問」這類語氣詞，只給把握度數字。 我的資料：（貼上，沒有就寫「無」） 我的問題：（貼上）
下次它說「我很確定」，把那句話拿到上面的表裡對一下：沒有原文、你也沒辦法自己算的，就照還沒查處理，先去找出處。
站內延伸
- 哪些句子一定要查、去哪裡查 → 找方法AI 長文事實查核工作單
- 讓另一個 AI 專門挑錯 → 對抗式驗收：產生的不檢查，檢查的不產生
來源： Tian 等：Just Ask for Calibration（arXiv，2023-05-24；校準的定義、ChatGPT／GPT-4／Claude 用文字說出的把握度通常比條件機率準、校準誤差常相對減少 50%，測試題組為 TriviaQA、SciQ、TruthfulQA）；Zhou、Jurafsky、Hashimoto：Navigating the Grey Area（arXiv，2023，v2 2023-11-13；把確定與不確定的句型放在答案開頭讓模型接續作答，主實驗為 2023 年 2 月的 GPT-3 Davinci，另以五個模型在 TriviaQA 複驗；高確定表達比低確定表達正確率低 7%，訓練資料中不確定詞多伴隨回答、確定詞多伴隨提問，推論模型可能是在模仿用語）；Kadavath 等：Language Models (Mostly) Know What They Know（arXiv，2022；以模型內部機率 P(True) 評估自己答案，校準表現不錯；新任務上判斷「知不知道」校準不佳）；Kalai、Nachum、Vempala、Zhang：Why Language Models Hallucinate（arXiv，2025-09-04；只看對錯的評分下說不知道與答錯同樣零分、在題目中寫明把握門檻與扣分的建議）；微軟 Generative AI for Beginners 第 4 課（給模型一個出口以降低編造）。以上皆 2026-10-25 查閱。語氣與證據矩陣、訊號分級表為作者整理。