跳到主要內容
CAMP 04找觀念›你說企劃很好它就誇,你說有問題它也點頭?
第十架構:剛開始用 AI 會撞到的事|第 4 篇

你說企劃很好它就誇,你說有問題它也點頭?

AI 會順著你問話裡的立場回答。同一份東西用「我覺得很好」和「我覺得有問題」各問一次,兩次評價差很多,就代表它在跟著你走;這時兩次都不能拿來當背書,只有兩邊都提到的問題值得先改。

2026-10-12 發布 · 2026-10-25 更新 · 作者整理:Lucas

假設你把下個月的活動企劃貼給 AI,順口加一句「我覺得這份滿完整的,你幫我看看」。它回你一大段:架構清楚、目標明確、預算合理,最後補兩個小建議。你看了很放心。

隔天主管說這份企劃有問題。你開了新的對話,貼同一份,這次寫「我覺得這份好像有問題,你幫我看看」。它也同意:目標太廣、時程太趕、預算沒有預留緩衝。同一份東西,前後兩次的評價差了一大截。

這種傾向叫做討好,英文是 sycophancy。Anthropic 的研究團隊在 2023 年 10 月發表的論文〈Towards Understanding Sycophancy in Language Models〉,測過跟上面很像的情況:請 AI 評論一段論證、一首詩或一份數學解答,在提示裡加一句「我很喜歡這段」或「這是我寫的」,回饋常常變得比較正面;加的是「我很不喜歡這段」,回饋就比較負面。他們測的五個 AI 助理(當時的 Claude 1.3、Claude 2、GPT-3.5、GPT-4、Llama 2)都有這個現象。論文的結論是,AI 給的回饋不只看文字本身,也會受使用者偏好影響。他們分析人類的偏好資料也發現,回答符合使用者觀點時,比較容易被人選為好答案。

另一個相關、但不完全一樣的例子是 OpenAI 自己公布的。2025 年 4 月 29 日,OpenAI 發文說,他們已經把前一週推出的 GPT-4o 更新撤回,因為那一版「過度奉承或附和」。他們的說明是:調整模型時,會參考使用者對回答按讚或按倒讚的回饋;這次太看重短期回饋,沒有充分考慮使用者和 ChatGPT 的互動會隨時間改變,結果模型偏向「過度支持、但不真誠」的回答。這件事講的是整體太會奉承,沒有測「你表態之後它改不改口」,不過方向是一樣的。

那篇論文測的是 2023 年當時的模型,現在的版本程度不一定一樣。我的判斷是,在你自己測過之前,不要把它的稱讚當成通過審查。你問「這樣好不好」的時候,問法本身就可能已經在影響答案。

帶立場的問法也不只「我覺得很好」這一種。「這是我熬夜趕出來的」「老闆很喜歡這個方向」「幫我確認一下這樣沒問題吧」,這些句子都在告訴它你希望聽到什麼。

正反各問一次,看差多少

想知道它有沒有在順著你,最直接的做法是同一份東西用兩種立場各問一次,然後比較兩次的評價。

開兩個新對話,不要在同一個對話裡接著問,因為它看得到自己前面講過的話。第一個對話寫「我覺得這份很好」,第二個寫「我覺得這份有問題」,後面貼上一模一樣的內容。兩次都請它在最後給一個 1 到 10 分的整體分數,並列出最需要改的三個地方。

          同一份企劃
              |
      +-------+-------+
      |               |
   新對話 A        新對話 B
 「我覺得很好」  「我覺得有問題」
      |               |
  分數+三個問題  分數+三個問題
      |               |
      +-------+-------+
              |
     比分數差距、比問題清單
              |
    +---------+---------+
    |         |         |
 差 0–1 分 差 2–3 分 差 4 分以上
   綠燈      黃燈      紅燈
燈號兩次分數差兩次的問題清單怎麼解讀下一步
綠0–1 分大致相同,只有語氣不同評價沒有跟著你的說法走照共同的問題去改
黃2–3 分部分重疊有被你的說法帶著走先改兩次都提到的問題,其他的自己判斷
紅4 分以上,或一次說可以送、一次說要重寫幾乎沒有重疊它在順著你兩次都不能當背書,改用不帶立場的問法重問

作者整理,非官方。分數門檻是作者訂來方便判斷的切點,沒有研究依據。

不管落在哪一格,兩次都提到的問題,才值得優先改。只在「我覺得有問題」那一次出現的缺點,有可能是它為了附和你硬找出來的;只在「我覺得很好」那一次出現的優點,也一樣。

落在紅燈時,兩次的回答都先放一邊,用下面第一種問法再問一次,把那一次的問題清單當主要參考,再拿去跟主管的意見對照。這個做法不限於企劃,教案、履歷、簡報、報價單都適用,只要你想問的是「這樣好不好」。

想拿到真話,換三種問法

第一種,拿掉你的立場。問話裡不要放你自己的評價,也不要放主管的評價。只寫「這是一份活動企劃,要送給主管審」,讓它沒有方向可以順。

第二種,問它會在哪裡被退件,不要問好不好。「好不好」很容易換來「整體很好,另外有幾點可以加強」。改成「如果主管要退件,最可能的三個理由是什麼」,它就得往缺點去找。同時要求每個理由都指出是企劃裡的哪一句或哪一段,沒有指到原文的批評,多半是放在哪份企劃都通用的套話。

第三種,請它唱反調。Ethan Mollick 和 Lilach Mollick 寫過一個「魔鬼代言人」提示,收在微軟的 prompts-for-edu 專案裡,原本是給學生檢討團隊決定用的:AI 先提醒團隊容易陷入大家都同意、沒人提出質疑的狀況,再問有哪些不同觀點、照這個決定做可能有什麼缺點、有什麼資料支持、做了哪些假設。

唱反調也會有偏差:你叫它挑毛病,它一定挑得出來。所以它挑出來的每一點,都要對回原文,再問自己同不同意。下面是照那個提示的結構改寫、改成看企劃用的版本:

請你當我的「唱反調隊友」。我會貼一份企劃,請先不要講優點。
一、用兩三句話說明這份企劃要主管同意的是什麼決定。
二、提出至少三個不同的看法或替代做法,說明為什麼會有人這樣想。
三、列出照這份企劃執行最可能出問題的地方,每一點都要指出是企劃裡的哪一句或哪一段。
四、最後問我兩個問題:支持這個決定的資料或證據是什麼?我做了哪些沒說出口的假設?
提醒:唱反調不代表這份企劃不好,只是要把該問的問題先問完。
企劃內容:(貼上)

下次把企劃貼給 AI 之前,先把「我覺得這份很好」那一句刪掉再送出。

站內延伸

來源: Sharma 等:Towards Understanding Sycophancy in Language Models(arXiv 2310.13548,2023-10-20 首次投稿;測 claude-1.3、claude-2.0、gpt-3.5-turbo、gpt-4、llama-2-70b-chat,提示加「I really like/I wrote」或「I really dislike」後回饋變正面或負面;回答符合使用者觀點時較常被偏好);OpenAI:Sycophancy in GPT-4o: what happened and what we're doing about it(2025-04-29;撤回前一週的 GPT-4o 更新、「overly flattering or agreeable」、參考按讚與倒讚回饋、「focused too much on short-term feedback」、「overly supportive but disingenuous」);Microsoft prompts-for-edu:Devil's Advocate(Ethan R. Mollick、Lilach Mollick,出自〈Assigning AI: Seven Approaches for Students, with Prompts〉,MIT 授權;本文提示詞依其結構改寫)。正反提問燈號與分數門檻為作者整理。以上皆 2026-10-25 查閱。

← 看更多找觀念文章
取得 AI 實戰工具與更新

之後會不定期整理:新方法、指令包(Prompt Pack)、Checklist 與模板。免費、無廣告;送出後會收到一封確認信,點了連結才算訂閱成功,之後每封信都附一鍵退訂。