跳到主要內容
CAMP 04找觀念›同一題問兩次,AI 答案不一樣,該信哪個?
第十架構:剛開始用 AI 會撞到的事|第 3 篇

同一題問兩次,AI 答案不一樣,該信哪個?

AI 每次回答本來就會有點不一樣,想標題、找點子時這是好事;但評分、判斷合不合格、解釋規定這類工作,要先問三次看結論一不一致,不一致就不能讓它單獨決定。三次都一樣也只代表穩定,不代表答對。

2026-10-18 發布 · 2026-10-25 更新 · 作者整理:Lucas

你請 AI 幫你看一份申請資料合不合格,它說「符合」。過了一會兒想再確認一次,你開了新的對話、貼一樣的東西,這次它說「有兩項不符合」。你換個說法再問,它又給了第三種講法。三個答案擺在一起,你不知道該信哪一個。

你沒有問錯,每個人都會遇到這件事。原因在 AI 產生文字的方式:它一個字一個字往下接,每一步都有好幾個可能的字可以選,選哪一個帶有隨機的成分。微軟的生成式 AI 入門課程第 04 課講得很直接:同一段提示,換一個模型會得到不同的回答,同一個模型在不同時間也可能給出不同結果。

管這件事的設定叫做 temperature(溫度)。DAIR.AI 的提示工程指南說明,溫度越低,結果越固定;溫度越高,答案越多樣、越有創意。指南建議查事實的問答把溫度調低,寫詩這類創作調高。不過指南談這些設定時,是以透過程式串接(API)呼叫模型為前提。我的判斷是,一般聊天視窗多半不讓你調這個,用的是平台的預設值,所以看到的答案本來就會飄。

一篇作文評五次,等第跑來跑去

瑞典的 Johan Falk 在 2023 年出了一本寫給老師的 AI 用書《AI och skolan》,評作文那一章裡有個小測試。作者拿一篇 15 歲學生寫的核能議論文,連同九年級評分標準的相關段落一起貼給聊天機器人,直接問這篇該得什麼等第。同一段提示,GPT-4 問了 5 次,GPT-3.5 也問了 5 次。瑞典的等第從 A 到 F。

GPT-4 有 4 次說介於 E 和 C 之間、比較接近 E,1 次說接近 C。GPT-3.5 更分散:1 次給 E,2 次說符合 C 的部分標準,1 次給 C,還有 1 次給了「C–B」。作者特別提到,B 這一級的標準在提示裡已經被剪掉了,AI 還是給了出來。

作者自己也說,十次評分太少,量不出變動到底有多大;但光這樣就看得出,問題一字不改,評分也會變。而且這還沒談到評得對不對,只是在看穩不穩。

換個角度想:如果你是那位學生,同一篇作文今天拿 E、明天拿 C,這個分數對你還有意義嗎?

哪些工作可以接受「每次不一樣」

答案會飄,不代表 AI 不能用,要看是什麼工作:

工作類型例子答案不一樣是好是壞怎麼用
發想活動名稱、標題、點子好事,多問幾次等於多拿幾組選項多問幾次,挑喜歡的
改寫潤飾信件改口氣、寫摘要措辭不同無妨,重點不能變檢查重點有沒有漏
整理歸類意見分組、抽出待辦分法可以不同,不能漏項問兩次,比對有沒有漏
判斷對錯合不合格、有沒有違規壞事,結論必須一致先問三次看燈號
評分評等作文等第、績效分數壞事先問三次;紅燈就不用
解釋規定請假辦法、補助資格壞事先問三次,再回原文核對

作者整理,非官方。

簡單說,要拿去做決定、會影響到別人的答案,三次的結論一致才算數。發想類的工作反過來,問一次就停反而可惜。

「問三次」一致性燈號

做法是同一個問題問三次。前兩次各開一個新對話,原封不動貼同樣的問題;第三次也開新對話,換個問法問同一件事。每次都要開新對話,不然它看得到前一次的回答,很容易照著前一次講。

比的時候只看結論,不看措辭。三段話寫得不一樣很正常,你要看的是「合格還是不合格」「E 還是 C」那一句。

第三次要換問法,是因為平常你不會每次都用同一句話問。如果換個說法結論就翻過來,代表答案是跟著措辭在走,背後的資料撐不住這個結論。

           同一個問題
               |
     +---------+---------+
     |         |         |
   新對話    新對話    新對話
   原問法    原問法    換問法
     |         |         |
     +---------+---------+
               |
          只比「結論」
               |
     +---------+---------+
     |         |         |
  三次一致  結論相同  結論互相
            細節不同    矛盾
     |         |         |
    綠燈      黃燈      紅燈
燈號三次的結論下一步
綠三次一樣可以用;數字、條號、日期仍要回原文核對
黃結論一樣,理由或細節不同只採三次都出現的部分,只出現一次的當成待查
紅互相矛盾不交給 AI 單獨判斷;補上更明確的標準再試,或改由人判斷

作者整理,非官方。

要記得,三次都一樣只代表它穩定,不代表它答對。瑞典那位作者也是這樣分的:他只看了一致性,沒有評對錯。綠燈的意思是可以進下一步,下一步還是核對。

紅燈常出現在標準本身就模糊的題目。作文等第連老師之間都要討論,AI 會飄也不奇怪。這種題目比較適合請它指出可以改進的段落,等第留給人決定。

燈號表裡說的「補上更明確的標準」,是指把判斷依據直接貼進問題裡:依據哪一條規定、門檻是多少、什麼情況算例外。補完之後再問三次,如果還是紅燈,這題就不適合交給 AI 判斷。

三次比對要花時間,比對這一步可以交給 AI。把三次的回答貼進一個新對話:

以下是我用同一個問題問 AI 三次得到的回答(前兩次問法相同,第三次換了問法)。
請不要評論哪個比較好,只做比對:
一、用一句話寫出每次回答的「結論」。
二、三個結論的關係是哪一種:完全一致、結論相同但細節不同、互相矛盾。
三、列出三次都有提到的內容。
四、列出只出現在其中一次的內容,標明是哪一次。
我的問題:(貼上)
回答一:(貼上)
回答二:(貼上)
回答三:(貼上)

如果三次裡只有一次說不合格,就從那一次給的理由開始,回頭對照原本的規定。

站內延伸

來源: Itangalo/AI-Education(Johan Falk《AI och skolan》第 2.7 版,2023-12-09 發布;引用〈Bedöma uppsatser〉一章 2023-09-02 版中,同一篇作文同一提示讓 GPT-4、GPT-3.5 各評 5 次的結果。該書以 CC BY-SA 4.0 釋出,與本站授權不相容,本文只轉述實驗事實,未翻譯或改寫原文);DAIR.AI Prompt Engineering Guide:LLM Settings(溫度低結果較固定、事實問答建議調低、談設定時以透過 API 呼叫模型為前提);Microsoft Generative AI for Beginners 第 04 課(Model responses are stochastic,同一模型不同時間也可能不同)。工作分類表與燈號為作者整理。以上皆 2026-10-25 查閱。

← 看更多找觀念文章
取得 AI 實戰工具與更新

之後會不定期整理:新方法、指令包(Prompt Pack)、Checklist 與模板。免費、無廣告;送出後會收到一封確認信,點了連結才算訂閱成功,之後每封信都附一鍵退訂。