你請 AI 幫你看一份申請資料合不合格,它說「符合」。過了一會兒想再確認一次,你開了新的對話、貼一樣的東西,這次它說「有兩項不符合」。你換個說法再問,它又給了第三種講法。三個答案擺在一起,你不知道該信哪一個。
你沒有問錯,每個人都會遇到這件事。原因在 AI 產生文字的方式:它一個字一個字往下接,每一步都有好幾個可能的字可以選,選哪一個帶有隨機的成分。微軟的生成式 AI 入門課程第 04 課講得很直接:同一段提示,換一個模型會得到不同的回答,同一個模型在不同時間也可能給出不同結果。
管這件事的設定叫做 temperature(溫度)。DAIR.AI 的提示工程指南說明,溫度越低,結果越固定;溫度越高,答案越多樣、越有創意。指南建議查事實的問答把溫度調低,寫詩這類創作調高。不過指南談這些設定時,是以透過程式串接(API)呼叫模型為前提。我的判斷是,一般聊天視窗多半不讓你調這個,用的是平台的預設值,所以看到的答案本來就會飄。
一篇作文評五次,等第跑來跑去
瑞典的 Johan Falk 在 2023 年出了一本寫給老師的 AI 用書《AI och skolan》,評作文那一章裡有個小測試。作者拿一篇 15 歲學生寫的核能議論文,連同九年級評分標準的相關段落一起貼給聊天機器人,直接問這篇該得什麼等第。同一段提示,GPT-4 問了 5 次,GPT-3.5 也問了 5 次。瑞典的等第從 A 到 F。
GPT-4 有 4 次說介於 E 和 C 之間、比較接近 E,1 次說接近 C。GPT-3.5 更分散:1 次給 E,2 次說符合 C 的部分標準,1 次給 C,還有 1 次給了「C–B」。作者特別提到,B 這一級的標準在提示裡已經被剪掉了,AI 還是給了出來。
作者自己也說,十次評分太少,量不出變動到底有多大;但光這樣就看得出,問題一字不改,評分也會變。而且這還沒談到評得對不對,只是在看穩不穩。
換個角度想:如果你是那位學生,同一篇作文今天拿 E、明天拿 C,這個分數對你還有意義嗎?
哪些工作可以接受「每次不一樣」
答案會飄,不代表 AI 不能用,要看是什麼工作:
| 工作類型 | 例子 | 答案不一樣是好是壞 | 怎麼用 |
|---|---|---|---|
| 發想 | 活動名稱、標題、點子 | 好事,多問幾次等於多拿幾組選項 | 多問幾次,挑喜歡的 |
| 改寫潤飾 | 信件改口氣、寫摘要 | 措辭不同無妨,重點不能變 | 檢查重點有沒有漏 |
| 整理歸類 | 意見分組、抽出待辦 | 分法可以不同,不能漏項 | 問兩次,比對有沒有漏 |
| 判斷對錯 | 合不合格、有沒有違規 | 壞事,結論必須一致 | 先問三次看燈號 |
| 評分評等 | 作文等第、績效分數 | 壞事 | 先問三次;紅燈就不用 |
| 解釋規定 | 請假辦法、補助資格 | 壞事 | 先問三次,再回原文核對 |
作者整理,非官方。
簡單說,要拿去做決定、會影響到別人的答案,三次的結論一致才算數。發想類的工作反過來,問一次就停反而可惜。
「問三次」一致性燈號
做法是同一個問題問三次。前兩次各開一個新對話,原封不動貼同樣的問題;第三次也開新對話,換個問法問同一件事。每次都要開新對話,不然它看得到前一次的回答,很容易照著前一次講。
比的時候只看結論,不看措辭。三段話寫得不一樣很正常,你要看的是「合格還是不合格」「E 還是 C」那一句。
第三次要換問法,是因為平常你不會每次都用同一句話問。如果換個說法結論就翻過來,代表答案是跟著措辭在走,背後的資料撐不住這個結論。
同一個問題
|
+---------+---------+
| | |
新對話 新對話 新對話
原問法 原問法 換問法
| | |
+---------+---------+
|
只比「結論」
|
+---------+---------+
| | |
三次一致 結論相同 結論互相
細節不同 矛盾
| | |
綠燈 黃燈 紅燈
| 燈號 | 三次的結論 | 下一步 |
|---|---|---|
| 綠 | 三次一樣 | 可以用;數字、條號、日期仍要回原文核對 |
| 黃 | 結論一樣,理由或細節不同 | 只採三次都出現的部分,只出現一次的當成待查 |
| 紅 | 互相矛盾 | 不交給 AI 單獨判斷;補上更明確的標準再試,或改由人判斷 |
作者整理,非官方。
要記得,三次都一樣只代表它穩定,不代表它答對。瑞典那位作者也是這樣分的:他只看了一致性,沒有評對錯。綠燈的意思是可以進下一步,下一步還是核對。
紅燈常出現在標準本身就模糊的題目。作文等第連老師之間都要討論,AI 會飄也不奇怪。這種題目比較適合請它指出可以改進的段落,等第留給人決定。
燈號表裡說的「補上更明確的標準」,是指把判斷依據直接貼進問題裡:依據哪一條規定、門檻是多少、什麼情況算例外。補完之後再問三次,如果還是紅燈,這題就不適合交給 AI 判斷。
三次比對要花時間,比對這一步可以交給 AI。把三次的回答貼進一個新對話:
以下是我用同一個問題問 AI 三次得到的回答(前兩次問法相同,第三次換了問法)。 請不要評論哪個比較好,只做比對: 一、用一句話寫出每次回答的「結論」。 二、三個結論的關係是哪一種:完全一致、結論相同但細節不同、互相矛盾。 三、列出三次都有提到的內容。 四、列出只出現在其中一次的內容,標明是哪一次。 我的問題:(貼上) 回答一:(貼上) 回答二:(貼上) 回答三:(貼上)
如果三次裡只有一次說不合格,就從那一次給的理由開始,回頭對照原本的規定。
站內延伸
- 想讓 AI 的答案穩一點,先把標準交代清楚 → 交辦前先填五格
- 想讓另一個 AI 專門幫你挑錯 → 對抗式驗收:產生的不檢查,檢查的不產生
- 想找適合自己的 AI 工具 → 找工具
來源: Itangalo/AI-Education(Johan Falk《AI och skolan》第 2.7 版,2023-12-09 發布;引用〈Bedöma uppsatser〉一章 2023-09-02 版中,同一篇作文同一提示讓 GPT-4、GPT-3.5 各評 5 次的結果。該書以 CC BY-SA 4.0 釋出,與本站授權不相容,本文只轉述實驗事實,未翻譯或改寫原文);DAIR.AI Prompt Engineering Guide:LLM Settings(溫度低結果較固定、事實問答建議調低、談設定時以透過 API 呼叫模型為前提);Microsoft Generative AI for Beginners 第 04 課(Model responses are stochastic,同一模型不同時間也可能不同)。工作分類表與燈號為作者整理。以上皆 2026-10-25 查閱。