跳到主要內容
METHOD · 資料與報表

AI 行銷 A/B 測試判讀

測試開跑前先寫好假設、只改哪一處、看哪個數字;數字回來後,AI 只拿它對照那張事前寫好的卡,沒到事前約定的量就不下結論。

直接拿快速版 Prompt ↓三分鐘版:濃縮成 5 步 ↓
情境:資料與報表也用於:決策與問題解決配方:評分選一個難度:進階|要先備料起手工具:ChatGPT
三分鐘版濃縮成 5 步;要細節再往下讀
  1. 測試開跑前寫假設卡:想驗證什麼、只改哪一處、主要看哪個數字、哪個數字不能變差,以及跟資料分析人員約定的最少寄送數與期間,寫上日期。
  2. 測試結束,從平台後台照抄每一版的數字,標明匯出日期;平台算好的比率標「平台計算」。
  3. AI 先做設計檢查:假設卡是不是早於開跑、兩版是不是只差那一處、兩版數字的口徑是否一致。
  4. AI 對照事前約定,從四種判定選一種並寫出依據;不算顯著性、不事後把資料切開找贏家。
  5. 資料分析人員確認判讀,行銷決定下一步,結果和假設卡一起歸檔。
這一篇用的是評分選一個這一招——先定比較欄位與硬門檻,原文照填、缺的標未提供,最後由人決定並留下依據。
同一招還能做這幾件事(共 10 篇):
這是資料與報表情境下的方法之一(共 14 個)· 看這個情境全部 →
一、這是什麼三十秒判斷關不關你的事

先確認這一篇解的是不是你的問題。看完這兩節如果覺得不像,就不用再往下讀——省下的時間比讀完更值錢。

01解決的工作問題

行銷常在比兩版主旨、兩版文案、兩版活動頁哪個好。後台數字一出來,哪一版高一點就被當成贏家,下一檔照著做。問題通常出在前後兩端:開跑前沒有寫下想驗證什麼、只改哪一處、要寄多少才算數;看結果時又太早看、或把資料切來切去,總能切出一群「B 版比較好」。比較穩的做法是兩段:開跑前先寫一張假設卡,寫上日期;數字回來後,AI 只做兩件事,檢查設計有沒有走樣,再拿數字對照卡上事前約定的量,從四種判定裡選一種。要多少樣本才夠,本站不提供門檻,先問資料分析人員。AI 也不替你算統計顯著性,那一步交給資料分析人員或平台本身的統計報表。

02什麼時候用、什麼時候別用

什麼情況下該用這一套

  • 電子報主旨、廣告文案、活動頁這類可以同時寄出或同時上線兩個版本的測試。
  • 測試開跑前來得及先寫假設卡,並跟資料分析人員約定最少樣本與期間。
  • 平台後台匯得出每一版的寄送數、開信數、點擊數等原始數字。

什麼情況下別用

要它直接告訴你哪一版贏
這一頁不替你宣布哪一版贏。AI 給的是四種判定之一和依據,要不要全面改用,由行銷和資料分析人員一起決定。
測試已經結束才補寫假設
看過結果再寫的假設,很容易寫成剛好符合結果。這種情況照樣可以整理數字,但判定只能是設計有問題,下一次從開跑前開始做。
要它幫你算顯著性或需要的樣本數
這一頁不教統計檢定,也不提供樣本門檻。要算的話請資料分析人員用統計工具算,或看平台本身提供的統計報表。

誰會用到

行銷
每次開測試前先寫假設卡;數字回來先跑設計檢查,再決定要不要拿去報告。
數據分析
最少樣本與期間由你在開跑前訂;AI 的判定只是初稿,數字方向符合假設時,差異夠不夠大由你判斷。
業務
比兩種開發信、兩種報價說明時也能用;名單小、寄不到約定的量時,判定會停在先不下結論。

所屬工作情境

二、整件事怎麼跑先看圖,再看逐步

先用一張圖抓全貌,再看逐步展開。圖看不懂沒關係,下一節會把每一步實際在做什麼、誰做,一條一條講清楚。

03流程圖

這張圖是整篇的骨架:輸入 → 步驟 → 困難點 → AI/Agent/Tool 介入 → 人工檢查 → 產出。紅框是最常出事的位置,綠框是不能下放的人工檢查點,粗框是中止條件。後面每一節都是在展開圖上的某一格。

AI 行銷 A/B 測試判讀:先寫假設卡,數字回來只對照那張卡
AI 行銷 A/B 測試判讀:先寫假設卡,數字回來只對照那張卡直向流程圖。輸入是開跑前寫好、有日期的假設卡,以及測試結束後從平台後台照抄的數字。第一步由人在開跑前寫假設卡,並請資料分析人員訂最少樣本與期間。第二步由 AI 做設計檢查:假設卡是否早於開跑、兩版是否只差一處、口徑是否一致。第三步由 AI 照抄數字排對照表,平台算好的比率標出來。第四步由 AI 對照事前約定,從四種判定選一種並寫依據。第五步是人工檢查點,資料分析人員確認判讀,行銷決定要不要改用。輸出是測試紀錄。右側標示四個困難點:太早看結果、一次改了兩處、事後切資料找贏家、AI 自己寫出顯著。中止條件有兩個:沒有開跑前的假設卡時不判定;要求計算顯著性或樣本數時轉給資料分析人員。檢查點有退回線回到寫假設卡,表示下一次測試重新開始。下一次測試重新寫假設卡INPUT / 輸入假設卡(開跑前寫)+ 後台照抄的數字假設卡要有日期與事前約定HUMAN / 人工步驟人寫假設卡,資料分析人員訂最少樣本與期間AI / AI 介入AI 設計檢查:日期、只差一處、口徑一致AI / AI 介入AI 照抄數字排對照表,標出平台計算AI / AI 介入AI 對照事前約定,四種判定選一種CHECKPOINT / 人工檢查資料分析人員確認判讀,行銷決定要不要改用OUTPUT / 產出測試紀錄(假設卡 + 判讀 + 決定)RISK / 困難點太早看結果RISK / 困難點一次改了兩處STOP / 中止條件沒有開跑前的假設卡 → 不判定RISK / 困難點事後切資料找贏家RISK / 困難點AI 自己寫出「顯著」STOP / 中止條件要求算顯著性或樣本數 → 轉資料分析人員
看圖重點:AI 在這張圖裡沒有一步是在算顯著性,它只拿數字去對開跑前寫好的那張卡。中間設計檢查那一步最常被跳過,兩版一旦不只差一處,後面的數字再漂亮也判不出原因。右邊第三個紅框最難發現:資料切得夠細,總會切出一群比較好的。
純文字流程表(手機/螢幕閱讀器建議看這張)
AI 行銷 A/B 測試判讀:先寫假設卡,數字回來只對照那張卡(純文字流程表)
序類型/角色流程步驟這一步的困難點/中止條件
1Human假設卡(開跑前寫)+ 後台照抄的數字
假設卡要有日期與事前約定
—
2Human人寫假設卡,資料分析人員訂最少樣本與期間
困難點/風險太早看結果
3AIAI 設計檢查:日期、只差一處、口徑一致
困難點/風險一次改了兩處
失敗與中止條件沒有開跑前的假設卡 → 不判定
4AIAI 照抄數字排對照表,標出平台計算—
5AIAI 對照事前約定,四種判定選一種
困難點/風險事後切資料找贏家
困難點/風險AI 自己寫出「顯著」
失敗與中止條件要求算顯著性或樣本數 → 轉資料分析人員
6Checkpoint資料分析人員確認判讀,行銷決定要不要改用—
7Output測試紀錄(假設卡 + 判讀 + 決定)—

回流線:資料分析人員確認判讀,行銷決定要不要改用 → 人寫假設卡,資料分析人員訂最少樣本與期間(下一次測試重新寫假設卡)

Mermaid 原始碼(貼進 Mermaid Live 或 draw.io 可再編輯)
可直接複製,改成你自己的流程
flowchart TD
    in1(["<b>Human</b><br/>假設卡(開跑前寫)+ 後台照抄的數字<br/><small>假設卡要有日期與事前約定</small>"])
    s1["<b>Human</b><br/>人寫假設卡,資料分析人員訂最少樣本與期間"]
    a1[/"<b>AI</b><br/>AI 設計檢查:日期、只差一處、口徑一致"/]
    a2[/"<b>AI</b><br/>AI 照抄數字排對照表,標出平台計算"/]
    a3[/"<b>AI</b><br/>AI 對照事前約定,四種判定選一種"/]
    c1{{"<b>Checkpoint</b><br/>資料分析人員確認判讀,行銷決定要不要改用"}}
    o1(["<b>Output</b><br/>測試紀錄(假設卡 + 判讀 + 決定)"])
    r1>"<b>Risk</b><br/>太早看結果"]
    r2>"<b>Risk</b><br/>一次改了兩處"]
    x1[/"<b>Stop</b><br/>沒有開跑前的假設卡 → 不判定"\]
    r3>"<b>Risk</b><br/>事後切資料找贏家"]
    r4>"<b>Risk</b><br/>AI 自己寫出「顯著」"]
    x2[/"<b>Stop</b><br/>要求算顯著性或樣本數 → 轉資料分析人員"\]

    in1 --> s1
    s1 --> a1
    a1 --> a2
    a2 --> a3
    a3 --> c1
    c1 --> o1
    s1 -.->|風險| r1
    a1 -.->|風險| r2
    a1 ==>|中止| x1
    a3 -.->|風險| r3
    a3 -.->|風險| r4
    a3 ==>|中止| x2
    c1 -.->|下一次測試重新寫假設卡| s1

    classDef clsIn fill:#FFFFFF,stroke:#2C4459,stroke-width:2px,color:#141E2B
    classDef clsHuman fill:#FBFCFD,stroke:#7A8CA0,stroke-width:2px,color:#141E2B
    classDef clsAI fill:#FFF6EA,stroke:#DE9A45,stroke-width:2px,color:#141E2B
    classDef clsAgent fill:#FDEBD2,stroke:#B87A2E,stroke-width:2px,color:#141E2B
    classDef clsTool fill:#EDF2F6,stroke:#2C4459,stroke-width:2px,color:#141E2B
    classDef clsCheck fill:#E8F2EC,stroke:#3F7A5A,stroke-width:2px,color:#123024
    classDef clsOut fill:#141E2B,stroke:#141E2B,stroke-width:2px,color:#F2F6F9
    classDef clsRisk fill:#FCEFEA,stroke:#C0552F,stroke-width:2px,color:#5E2110
    classDef clsStop fill:#F7E1DB,stroke:#8E2F17,stroke-width:3px,color:#5E2110
    class in1 clsIn;
    class s1 clsHuman;
    class a1 clsAI;
    class a2 clsAI;
    class a3 clsAI;
    class c1 clsCheck;
    class o1 clsOut;
    class r1 clsRisk;
    class r2 clsRisk;
    class x1 clsStop;
    class r3 clsRisk;
    class r4 clsRisk;
    class x2 clsStop;

04完整步驟圖的文字版,逐步展開

上面三分鐘版那幾步,這裡逐步展開:每一步誰做、做完會有什麼。

序誰做步驟與說明
1Human開跑前寫假設卡
寫下想驗證什麼、只改哪一處、主要數字、不能變差的數字、事前約定的最少樣本與期間,以及日期。→ 假設卡
2Human照抄後台數字
測試結束後,從後台匯出每一版的數字,標明匯出日期;平台算好的比率標「平台計算」。→ 測試結果
3AI設計檢查
檢查假設卡日期是否早於開跑、兩版是否只差那一處、兩版口徑與匯出日期是否一致,每項寫符合或不符合。→ 設計檢查表
4AI對照事前約定、給判定
照抄數字排對照表,對照事前約定的量,從四種判定選一種並寫依據;不算顯著性、不切分眾。→ 判讀初稿
5Human確認與決定
資料分析人員確認判讀;行銷決定下一步,結果和假設卡一起歸檔。→ 測試紀錄
三、動手做備料 → 指令 → 產出 → 工具

這一區是真的動手:先備料、再貼指令、然後對照產出應該長什麼樣。手上是哪一支 AI 都做得完,差別寫在最後的工具那一節。

05開始前要準備什麼標「必要」的沒備齊就先別開始

假設卡(開跑前寫)必要
想驗證什麼、只改哪一處、主要看哪個數字、哪個數字不能變差、事前約定的最少樣本與期間、寫卡日期、測試開始時間。
平台後台的原始數字必要
每一版的寄送數、開信數、點擊數、退訂數等,照後台抄,記下匯出日期;平台算好的比率照抄並標明。
資料分析人員的約定必要
最少樣本與期間由誰訂、哪一天訂的,寫在假設卡上。公司沒有資料分析人員時,先問平台客服或廠商,他們的統計報表怎麼看。
過去幾次測試的假設卡可選
有的話一起留著,下一次寫假設時可以看哪些已經測過。

餵進去的東西要長這樣

假設卡(開跑前寫,含日期與事前約定)+測試結果(每一版從後台照抄的數字與匯出日期)。

  • 假設卡一定要有寫卡日期和測試開始時間。
  • 事前約定的最少樣本與期間,寫明是誰訂的。
  • 數字照後台抄,不要先自己四捨五入或換算。
  • 平台算好的比率標「平台計算」,自己算的標「自行計算」。
  • 不貼會員名單或任何個人資料,只貼彙總數字。
【假設卡(10/6 寫,行銷與資料分析人員確認)】
測試名稱:十月會員電子報主旨測試
假設:主旨寫出具體折扣金額(B 版),會比只寫「會員限定優惠」(A 版)有更多人打開。
只改一處:主旨。內文、寄送時間、寄送名單的分法相同。
主要數字:開信率(平台計算)。
不能變差的數字:退訂數。
事前約定(資料分析人員訂):每一版至少寄送 8,000 封,測試期間 3 天,期滿才看結果。
測試開始:10/8 上午 10:00 兩版同時寄出。

【測試結果(10/11 下午 2:00 從電子報平台後台匯出)】
A 版:寄送 8,214 封;開信 1,643;開信率 20.0%(平台計算);點擊 197;退訂 12。
B 版:寄送 8,190 封;開信 1,966;開信率 24.0%(平台計算);點擊 213;退訂 15。

06Prompt(快速/完整/進階)

A 快速版貼上就能用;B 完整實戰版把角色、限制、步驟、輸出格式與驗收標準寫足;C 進階版是拿去建 GPT/Skill/Agent 的系統指令,預設收起來,要用再點開。三版都附可替換變數、使用範例與預期輸出;A 與 B 另外列出那一版特有的常見錯誤與人工確認點,C 版的那幾題指向 Agent 專篇。

三種版本共通的紅線
三版都不適合用在
  • 要 AI 計算統計顯著性或需要的樣本數時。
A
A. 快速版

測試剛結束,手上有開跑前寫好的假設卡和後台數字,想很快知道能不能下結論。

適合的工具ChatGPTClaude
👇 直接複製,{ } 換成你的內容
以下是一次行銷 A/B 測試的資料:測試開跑前寫好的假設卡,以及測試結束後從平台後台照抄的數字。請幫我整理判讀初稿:
1. 設計檢查:假設卡的日期是否早於測試開始;兩個版本除了假設卡寫的那一處,還有沒有其他不同(例如寄送時間、寄送名單);兩版數字的匯出日期與口徑是否一致。每一項寫「符合」或「不符合」,並引用我貼的資料;依據只有假設卡、測試結果看不到的,寫「符合」並註明依據只有假設卡。
2. 數字對照表:每一版列出我貼的數字,照抄,不要自己計算任何比率;平台已經算好的比率照抄並標「平台計算」。
3. 判定:只能從以下四種選一種,並寫出依據:「設計有問題,不判讀」「未達事前約定,先不下結論」「已達事前約定,數字方向符合假設(請資料分析人員確認)」「已達事前約定,數字方向不符合假設(請資料分析人員確認)」。設計檢查有任何一項不符合,或假設卡沒有寫事前約定的最少樣本與期間,一律選第一種。數字方向只看主要數字哪一版比較高。
4. 看住的數字:假設卡寫的不能變差的數字,照抄兩版,不下好壞結論。
5. 最後列出你沒有做的事。
規則:不要計算統計顯著性或信賴區間,也不要自己判斷樣本夠不夠大,只拿數字對照假設卡上事前約定的量;不要把資料再依年齡、地區等條件切開來找哪一群比較好;不要寫「B 版勝出」「建議全面採用」這類結論。
假設卡:{貼上};測試結果:{貼上}

可替換變數

變數要換成什麼
{貼上}假設卡:想驗證什麼、只改哪一處、主要數字、不能變差的數字、事前約定、寫卡日期、測試開始時間。
{貼上}測試結果:每一版從後台照抄的數字與匯出日期。
完整使用範例(照這樣填)
(照母提示詞)

【假設卡(10/6 寫,行銷與資料分析人員確認)】
測試名稱:十月會員電子報主旨測試
假設:主旨寫出具體折扣金額(B 版),會比只寫「會員限定優惠」(A 版)有更多人打開。
只改一處:主旨。內文、寄送時間、寄送名單的分法相同。
主要數字:開信率(平台計算)。
不能變差的數字:退訂數。
事前約定(資料分析人員訂):每一版至少寄送 8,000 封,測試期間 3 天,期滿才看結果。
測試開始:10/8 上午 10:00 兩版同時寄出。

【測試結果(10/11 下午 2:00 從電子報平台後台匯出)】
A 版:寄送 8,214 封;開信 1,643;開信率 20.0%(平台計算);點擊 197;退訂 12。
B 版:寄送 8,190 封;開信 1,966;開信率 24.0%(平台計算);點擊 213;退訂 15。
預期輸出範例(拿到的東西應該長這樣)
【一、設計檢查】
- 假設卡日期:10/6 寫,測試 10/8 開始。符合。
- 只改一處:假設卡寫只改主旨,內文、寄送時間、寄送名單的分法相同;兩版都在 10/8 上午 10:00 寄出。符合(依據只有假設卡:寄送名單的分法在測試結果裡看不到)。
- 匯出日期與口徑:兩版都是 10/11 下午 2:00 從電子報平台後台匯出,開信率都是平台計算。符合。

【二、數字對照表】
| 項目 | A 版 | B 版 |
|---|---|---|
| 寄送 | 8,214 封 | 8,190 封 |
| 開信 | 1,643 | 1,966 |
| 開信率 | 20.0%(平台計算) | 24.0%(平台計算) |
| 點擊 | 197 | 213 |
| 退訂 | 12 | 15 |

【三、判定】
已達事前約定,數字方向符合假設(請資料分析人員確認)
依據:兩版寄送 8,214 封與 8,190 封,都超過事前約定的每一版 8,000 封;10/8 上午 10:00 寄出、10/11 下午 2:00 匯出,期間滿 3 天。主要數字開信率 B 版 24.0%、A 版 20.0%,B 版比較高,跟假設的方向相同。方向相同不代表差異夠大,這一點要由資料分析人員判斷。

【四、看住的數字】
退訂:A 版 12、B 版 15。照抄,不下好壞結論。

【五、我沒有做的事】
- 沒有計算統計顯著性或信賴區間。
- 沒有判斷樣本夠不夠大,只對照事前約定的每一版 8,000 封與 3 天。
- 沒有計算點擊率或任何平台沒有算的比率。
- 沒有把資料依其他條件切開。
- 沒有寫哪一版勝出。

常見錯誤用法

  • 只貼後台截圖、沒有假設卡,問它「哪一版比較好」。它會直接挑一版,還補上一句聽起來很專業的理由。
  • 測試跑到第一天就貼進來。判定會停在先不下結論,有人就改問「那照目前趨勢呢」。
  • 要它把點擊數除以寄送數算點擊率。要算請在試算表算好再貼,並標明是誰算的。
  • 看到符合假設,就把「請資料分析人員確認」那幾個字刪掉轉寄出去。
這一版另外不適合
  • 沒有開跑前的假設卡、想用這份提示詞補一個結論時。
缺少資料時怎麼辦

假設卡沒有寫事前約定的最少樣本與期間時,AI 要選「設計有問題,不判讀」,並在依據裡寫明缺的是哪一項,而不是自己估一個量來判。

這一版另外要人確認
  • 開跑前寫好假設卡,跟資料分析人員約定量與期間。
  • 判定交給資料分析人員確認後,再決定要不要改用。
B
B. 完整實戰版

要測的是活動頁或廣告這類花錢較多的版本,想從開跑前的設計一路到結束後的判讀都留下紀錄。

適合的工具ChatGPTClaude試算表
👇 直接複製,{ } 換成你的內容
# 角色
你是行銷 A/B 測試的整理者。你的工作分兩段:開跑前把我的想法整理成假設卡;測試結束後,拿數字對照假設卡檢查與判定。你不算統計顯著性、不訂樣本門檻、不宣布贏家。

# 背景
- 測試對象:{電子報主旨/廣告文案/活動頁}
- 平台:{寄送或投放平台名稱}
- 這次想解決的問題:{一句話}
- 資料分析窗口:{職稱}

# 第一段:開跑前(我只貼【想法】時做這段)
1. 把想法寫成一句可以被數字推翻的假設:改了什麼、預期哪個數字往哪個方向變。
2. 列出這次只改的那一處,以及必須保持一樣的項目(內文、寄送時間、名單分法等)。
3. 指定一個主要數字、一到兩個不能變差的數字。
4. 最少樣本與期間一律寫「待資料分析人員填寫」,不要自己填數字。
5. 寫卡日期留空,由我填。

# 第二段:測試結束後(我貼【假設卡】與【測試結果】時做這段)
1. 設計檢查:假設卡日期是否早於開跑、兩版是否只差那一處、口徑與匯出日期是否一致,每項符合或不符合並引用資料;依據只有假設卡的,寫符合並註明。
2. 數字對照表:照抄,不自己算比率;平台算好的標「平台計算」。
3. 判定:只能從四種選一種:「設計有問題,不判讀」「未達事前約定,先不下結論」「已達事前約定,數字方向符合假設(請資料分析人員確認)」「已達事前約定,數字方向不符合假設(請資料分析人員確認)」。設計檢查有一項不符合,或沒有事前約定,選第一種。
4. 不能變差的數字照抄兩版,不下結論。
5. 下一次可以測的假設:最多三條,每條只改一處。

# 不可以做的事(違反任何一條就是失敗)
1. 不得計算統計顯著性、信賴區間或需要的樣本數。
2. 不得在看過結果之後,依年齡、地區、裝置等條件切開資料找贏家。
3. 不得自己補數字或估算後台沒有的數字。
4. 不得寫「勝出」「建議全面採用」這類結論。

# 輸出格式(第二段)
## 一、設計檢查
## 二、數字對照表
## 三、判定與依據
## 四、不能變差的數字
## 五、下一次可以測的假設
## 六、我沒有做的事

【想法】或【假設卡】
{貼上}

【測試結果】
{貼上}

可替換變數

變數要換成什麼
{電子報主旨/廣告文案/活動頁}測試的東西不同,必須保持一樣的項目也不同。
{寄送或投放平台名稱}數字口徑以這個平台後台的定義為準。
{一句話}例如:會員電子報打開的人變少。
{職稱}誰訂最少樣本與期間、誰確認判讀。
完整使用範例(照這樣填)
背景填法示例:測試對象=活動頁;平台=公司的網站分析工具;想解決的問題=活動頁看的人多、報名的人少;資料分析窗口=行銷部資料分析人員。開跑前先只貼【想法】跑第一段,假設卡交給資料分析人員填好量與期間、寫上日期;測試結束再貼【假設卡】與【測試結果】跑第二段,寫法照 A 版。
預期輸出範例(拿到的東西應該長這樣)
與 A 版的差別:多了開跑前那一段,假設卡由 AI 起草、量與期間留給資料分析人員填;結束後多一節「下一次可以測的假設」,每條只改一處。

常見錯誤用法

  • 第一段就叫它把樣本數填上。它會寫出一個看起來合理、但沒有人算過的數字。
  • 活動頁同一段時間又改了價格,卻沒有寫進必須保持一樣的項目。
  • 把「下一次可以測的假設」一次全部丟進同一個測試裡。
這一版另外不適合

沒有額外的,看上面「三種版本共通的紅線」那一段就好。

缺少資料時怎麼辦

測試結果只貼了比率、沒有寄送數或瀏覽數時,AI 要在設計檢查寫「缺樣本數,無法對照事前約定」,判定選設計有問題。

這一版另外要人確認
  • 請資料分析人員填量與期間、寫上日期之後才開跑。
  • 期滿才匯出數字,不要中途看結果。
C
C. 進階版(做成測試判讀助手)

行銷團隊每個月都有好幾組測試,做成助手讓假設卡格式和四種判定固定下來,不會因為趕時間被跳過。

適合的工具自訂 GPT/Claude ProjectClaude Skill
👇 直接複製,{ } 換成你的內容
# 你是誰
你是「A/B 測試判讀助手」。使用者貼上假設卡與測試結果,你做設計檢查、排數字對照表、給四選一判定。你不算顯著性、不訂樣本門檻、不宣布贏家。

# 你的資料來源
只有使用者這次貼上的內容,以及建置時附上的兩份文件:假設卡格式、公司各平台的數字口徑說明。

# 絕對規則(違反就是失敗)
1. 數字只照抄,不自己算比率、顯著性或樣本數。
2. 判定只能是四種之一:設計有問題,不判讀/未達事前約定,先不下結論/已達事前約定,數字方向符合假設(請資料分析人員確認)/已達事前約定,數字方向不符合假設(請資料分析人員確認)。
3. 不依任何條件切開資料找贏家。
4. 不寫勝出或全面採用。

# 條件判斷(依序檢查,先中的先套用)
1. 沒有假設卡 → 回覆「請先附上開跑前寫好的假設卡」,不判定。
2. 假設卡日期晚於測試開始 → 判定設計有問題,依據寫「假設卡在開跑後才寫」。
3. 假設卡沒有事前約定的樣本與期間 → 判定設計有問題。
4. 使用者要求算顯著性或樣本數 → 回覆「請交給 {資料分析窗口},或看平台本身的統計報表」。
5. 使用者要求依年齡、地區等條件切開 → 回覆「事後切開找贏家不在判讀範圍;想測某一群,請另開一個測試並先寫假設卡」。
6. 其餘 → 照格式做設計檢查、對照表、判定。

# 每次回覆的格式
【設計檢查】
【數字對照表】
【判定與依據】
【不能變差的數字】
【我沒有做的事】(固定:未算顯著性、未訂樣本門檻、未切分眾、未宣布贏家)

# 固定結尾
每次回覆最後一行固定加註:「本判定為初稿,差異是否夠大請 {資料分析窗口} 確認;是否改用由行銷決定。」

# 建置參數
假設卡格式:{附檔}
數字口徑說明:{附檔}
資料分析窗口:{職稱}

可替換變數

變數要換成什麼
{附檔}假設卡格式、各平台數字口徑說明兩份,建置時上傳為知識檔案。
{職稱}訂樣本門檻、確認判讀的人。
{資料分析窗口}同上,寫進固定回覆與結尾。
完整使用範例(照這樣填)
建置時上傳兩份文件。上線前用幾次舊測試的資料測過,刻意放幾種陷阱:一份假設卡日期晚於開跑、一份沒有寫事前約定、一份要求算顯著性、一份要求按地區切開,確認它分別判定設計有問題、判定設計有問題、轉給資料分析窗口、拒絕切開。
預期輸出範例(拿到的東西應該長這樣)
與 B 版的差別:四種判定和五種越界要求都有固定處理;口徑說明固定在助手裡,同仁不用每次說明開信率是怎麼算的。
固化成助手是另一件工程,這一頁不重講

下面這幾題每個方法都一樣,站上各有一篇:

07產出應該長什麼樣拿到的東西要長這樣

設計檢查(每項符合或不符合)、數字對照表(照抄)、四選一判定與依據、不能變差的數字、我沒有做的事。

完成品:同一組電子報測試的兩種判讀

【版本一:把後台數字貼給 AI,問「哪一版比較好」】

B 版表現明顯較佳,開信率 24.0% 高於 A 版的 20.0%,差異達統計顯著;點擊也較多。建議之後的電子報全面採用寫出具體折扣金額的主旨。

這份判讀的問題:
1. 「差異達統計顯著」:沒有人算過,也沒有寫用什麼方法,這句是 AI 自己加的。
2. 「點擊也較多」:點擊不是假設卡寫的主要數字,也不是要看住的數字;看完結果才拿它來加強結論,等於事後挑數字。
3. 退訂 A 版 12、B 版 15,沒有提到。
4. 沒有檢查兩版是不是只差主旨、期間有沒有滿。
5. 「建議全面採用」是 AI 不該下的結論。

─────────────────────────────
【版本二:照假設卡判讀】

設計檢查:假設卡 10/6 寫、10/8 開跑;只改主旨;10/11 同一後台匯出 → 全部符合。
寄送:A 版 8,214 封、B 版 8,190 封,都超過事前約定的 8,000 封;期間滿 3 天。
開信率(平台計算):A 版 20.0%、B 版 24.0%。
判定:已達事前約定,數字方向符合假設(請資料分析人員確認)。
退訂:A 版 12、B 版 15,照抄。

─────────────────────────────
【差別在哪】

版本一讀起來像一份完成的結論,裡面有一句沒有人算過的「顯著」。版本二只說到數字方向,差異夠不夠大交給資料分析人員。
輸出格式規格(要照著做的人再展開)
  • 設計檢查每一項只寫符合或不符合,並引用資料。
  • 判定只用四種之一,字面照抄。
  • 數字照抄,平台計算的比率要標出來。
  • 不出現勝出、全面採用、達統計顯著這類字眼。
  • 最後一節固定列出沒有做的事。
## 一、設計檢查
- 假設卡日期:10/6 寫,10/8 開跑。符合。
- 只改一處:只改主旨,兩版 10/8 上午 10:00 同時寄出。符合。
- 匯出日期與口徑:兩版 10/11 同一後台匯出。符合。

## 二、數字對照表
| 項目 | A 版 | B 版 |
|---|---|---|
| 寄送 | 8,214 封 | 8,190 封 |
| 開信率 | 20.0%(平台計算) | 24.0%(平台計算) |
(其餘數字照輸入列出)

## 三、判定
已達事前約定,數字方向符合假設(請資料分析人員確認)
依據:兩版都超過 8,000 封、期間滿 3 天;開信率 B 版比較高。

## 四、不能變差的數字
退訂:A 版 12、B 版 15。

## 五、我沒有做的事
- 未算顯著性、未判斷樣本夠不夠、未切分眾、未宣布贏家。

08工具怎麼挑

這幾支都做得到——差別在你手上有哪一支、資料能不能外流。標「起手」的是不知道從哪支開始時的建議,不是限定。

工具什麼時候用為什麼注意
ChatGPT ↗起手
測試結束後,對照假設卡排出判讀初稿
一組測試,想很快排出判讀初稿設計檢查、對照表、判定一次產出。它可能順手幫你算比率或寫出「顯著」;提示詞裡要寫明不計算、不判斷樣本。
Claude ↗
一次要看好幾組測試、假設卡和後台匯出都很長時
一次看好幾組測試,或假設卡與後台匯出很長長內容一次貼進來,逐組對照各自的假設卡。會員名單與個資不要貼,只貼彙總後的數字。
試算表
後台數字先貼進試算表留底,AI 只讀不算
要算比率或留底後台數字先貼進試算表,要算的比率在這裡算,公式看得到。試算表算出的比率貼給 AI 時,標明是自己算的,跟平台計算分開。
四、不要做錯這幾關不下放

這一區是踩過的坑與該守的線。標「不下放」的步驟請不要交給 AI 決定;Checklist 是拿來驗收的,不是拿來勾好看的。

09會卡住與會做錯的地方

會卡住的地方(流程困難點)

太早看結果
第一天就看後台,看到領先就宣布,沒等到約定的期間。
一次改了兩處
主旨和寄送時間都不同,分不出是哪一個造成差別。
事後切資料找贏家
整體看不出差別,就按年齡、地區一直切,切到有一群比較好為止。
AI 自己算出一個「顯著」
問它哪一版比較好,它會寫出一句「達統計顯著」,卻說不出用了什麼方法。

會做錯的地方(常見失敗方式)

提早看結果

寄出隔天看到領先就宣布。

怎麼修假設卡寫明期滿才看;期間未滿時判定一律是先不下結論。

一次改了兩處

主旨和寄送時間都不同,分不出原因。

怎麼修設計檢查逐項對照假設卡寫的只改一處;有其他不同就判定設計有問題。

事後切分眾找贏家

整體看不出差別,就一直切資料,直到切出一群比較好的。

怎麼修提示詞禁止事後切開;想測某一群,另開一個測試並先寫假設卡。

AI 寫出「顯著」

判讀裡出現達統計顯著,沒有人算過。

怎麼修提示詞禁止計算顯著性;差異夠不夠大由資料分析人員判斷。

10人工把關與安全限制

AI/Agent/Tool 介入在哪幾步

流程位置誰做什麼/怎麼做
檢查階段AI設計檢查
只看使用者貼的假設卡與結果;每項寫符合或不符合並引用資料。
對照階段AI數字對照表
照抄後台數字,不自己算比率;平台算好的標「平台計算」。
判定階段AI四選一判定
只對照事前約定的量;設計有一項不符合就選設計有問題;不寫勝出或全面採用。

這幾關不下放

最少樣本與期間
樣本要多少、期間要多長,在開跑前由資料分析人員訂。看過結果才訂的量,不能拿來判定。
差異夠不夠大
數字方向符合假設,只代表主要數字那一版比較高。差異是不是大到值得改,由資料分析人員用統計工具或平台報表判斷。
要不要全面改用
行銷看過判讀、不能變差的數字和成本之後再決定,並把理由寫進測試紀錄。

安全與權限限制

不貼個人資料
會員名單、電子郵件、手機號碼不要貼進 AI,只貼彙總後的數字。
未公開的活動內容
還沒對外的折扣、價格與活動檔期,只貼進公司允許使用的 AI 服務。
假設卡要留
假設卡、後台匯出檔和判讀一起歸檔,日後被問「當初怎麼判的」答得出來。

11Checklist 與驗收標準

做的時候逐項打勾

    做完了才檢查:全部成立才算完成

    1. 假設卡在開跑前寫好,有日期。
    2. 最少樣本與期間由資料分析人員在開跑前訂。
    3. 設計檢查每項都寫了符合或不符合,並引用資料。
    4. 數字照抄後台,平台計算的比率有標出來。
    5. 判定只用四種之一,並寫出依據。
    6. 沒有出現統計顯著、勝出、全面採用這類字眼。
    7. 沒有事後切開資料找贏家。
    8. 不能變差的數字有照抄。
    9. 資料分析人員確認過判讀,決定由行銷做並留下理由。
    五、延伸把流程走一遍,然後往下一步

    先用一個示範情境把流程從頭走一遍,再看具名機構真的做過的事,最後決定下一步往哪走。

    12示範情境

    第一天就想宣布結果,判定停在先不下結論

    這是示範情境,不是真實個案:作者為了把上面的流程走一遍而寫的設想,人物、數字與結果都是設定。目前也還沒找到可公開查證的外部案例——這類工作多半不會有人發新聞稿,找不到不代表沒人做;在找到之前,這一頁的方法就是作者自己的做法,不借別人的名義。去找靈感看其他方法的外部案例 →

    設想的狀況:一位行銷人員要測會員電子報的主旨:一版寫具體折扣金額,一版只寫會員限定優惠。這次在開跑前兩天寫好假設卡,請資料分析人員訂了每一版的最少寄送數和測試期間。寄出隔天,主管在群組問結果,後台上 B 版暫時領先。行銷把當天的數字和假設卡貼給 AI,判定是未達事前約定,先不下結論;期滿再貼一次,判定才變成數字方向符合假設,交給資料分析人員確認。

    AI 負責什麼
    • 檢查假設卡日期早於開跑、兩版只差主旨。
    • 照抄後台數字,開信率標平台計算,沒有自己算點擊率。
    • 期間未滿時判定先不下結論;期滿後判定數字方向符合假設,並寫出依據。
    • 退訂數照抄兩版,沒有下好壞結論。
    人負責什麼
    • 開跑前寫好假設卡,請資料分析人員訂最少寄送數與期間。
    • 主管問結果時,回覆期滿才會判讀。
    • 期滿後把判讀交給資料分析人員,確認差異夠不夠大。
    • 行銷決定下一檔要不要改寫法,把假設卡和判讀一起歸檔。

    照著走完會得到:這次交出去的是一張假設卡、一份判讀和資料分析人員的意見。第一天的領先沒有被拿去做決定。

    本例為說明用的設想情境,不是真實個案;數字為示範用的虛構內容。本站在美國聯邦機關 AI 使用案例清冊裡沒有找到用 AI 判讀行銷 A/B 測試的案例,也不提供改用這個做法之後成效的量化資料。

    13相關方法與下一步

    先把指標口徑對齊

    開信率、轉換率在各部門算法不同時,先把定義攤開比對。

    數字怪怪的先查

    後台數字突然暴增或掉到零,先寫異常說明,不要直接判讀。

    要證明改善成效

    不是同時跑兩版、而是改之前和改之後比,用改善前後對比的做法。

    其他相關方法RELATED METHODS

    可直接使用RELATED PROMPTS

    這個站的做法
    取得 AI 實戰工具與更新

    之後會不定期整理:新方法、指令包(Prompt Pack)、Checklist 與模板。免費、無廣告;送出後會收到一封確認信,點了連結才算訂閱成功,之後每封信都附一鍵退訂。

    ← 回「資料與報表」回找方法 →