測試剛結束,手上有開跑前寫好的假設卡和後台數字,想很快知道能不能下結論。
以下是一次行銷 A/B 測試的資料:測試開跑前寫好的假設卡,以及測試結束後從平台後台照抄的數字。請幫我整理判讀初稿:
1. 設計檢查:假設卡的日期是否早於測試開始;兩個版本除了假設卡寫的那一處,還有沒有其他不同(例如寄送時間、寄送名單);兩版數字的匯出日期與口徑是否一致。每一項寫「符合」或「不符合」,並引用我貼的資料;依據只有假設卡、測試結果看不到的,寫「符合」並註明依據只有假設卡。
2. 數字對照表:每一版列出我貼的數字,照抄,不要自己計算任何比率;平台已經算好的比率照抄並標「平台計算」。
3. 判定:只能從以下四種選一種,並寫出依據:「設計有問題,不判讀」「未達事前約定,先不下結論」「已達事前約定,數字方向符合假設(請資料分析人員確認)」「已達事前約定,數字方向不符合假設(請資料分析人員確認)」。設計檢查有任何一項不符合,或假設卡沒有寫事前約定的最少樣本與期間,一律選第一種。數字方向只看主要數字哪一版比較高。
4. 看住的數字:假設卡寫的不能變差的數字,照抄兩版,不下好壞結論。
5. 最後列出你沒有做的事。
規則:不要計算統計顯著性或信賴區間,也不要自己判斷樣本夠不夠大,只拿數字對照假設卡上事前約定的量;不要把資料再依年齡、地區等條件切開來找哪一群比較好;不要寫「B 版勝出」「建議全面採用」這類結論。
假設卡:{貼上};測試結果:{貼上}可替換變數
| 變數 | 要換成什麼 |
|---|---|
{貼上} | 假設卡:想驗證什麼、只改哪一處、主要數字、不能變差的數字、事前約定、寫卡日期、測試開始時間。 |
{貼上} | 測試結果:每一版從後台照抄的數字與匯出日期。 |
完整使用範例(照這樣填)
(照母提示詞) 【假設卡(10/6 寫,行銷與資料分析人員確認)】 測試名稱:十月會員電子報主旨測試 假設:主旨寫出具體折扣金額(B 版),會比只寫「會員限定優惠」(A 版)有更多人打開。 只改一處:主旨。內文、寄送時間、寄送名單的分法相同。 主要數字:開信率(平台計算)。 不能變差的數字:退訂數。 事前約定(資料分析人員訂):每一版至少寄送 8,000 封,測試期間 3 天,期滿才看結果。 測試開始:10/8 上午 10:00 兩版同時寄出。 【測試結果(10/11 下午 2:00 從電子報平台後台匯出)】 A 版:寄送 8,214 封;開信 1,643;開信率 20.0%(平台計算);點擊 197;退訂 12。 B 版:寄送 8,190 封;開信 1,966;開信率 24.0%(平台計算);點擊 213;退訂 15。
預期輸出範例(拿到的東西應該長這樣)
【一、設計檢查】 - 假設卡日期:10/6 寫,測試 10/8 開始。符合。 - 只改一處:假設卡寫只改主旨,內文、寄送時間、寄送名單的分法相同;兩版都在 10/8 上午 10:00 寄出。符合(依據只有假設卡:寄送名單的分法在測試結果裡看不到)。 - 匯出日期與口徑:兩版都是 10/11 下午 2:00 從電子報平台後台匯出,開信率都是平台計算。符合。 【二、數字對照表】 | 項目 | A 版 | B 版 | |---|---|---| | 寄送 | 8,214 封 | 8,190 封 | | 開信 | 1,643 | 1,966 | | 開信率 | 20.0%(平台計算) | 24.0%(平台計算) | | 點擊 | 197 | 213 | | 退訂 | 12 | 15 | 【三、判定】 已達事前約定,數字方向符合假設(請資料分析人員確認) 依據:兩版寄送 8,214 封與 8,190 封,都超過事前約定的每一版 8,000 封;10/8 上午 10:00 寄出、10/11 下午 2:00 匯出,期間滿 3 天。主要數字開信率 B 版 24.0%、A 版 20.0%,B 版比較高,跟假設的方向相同。方向相同不代表差異夠大,這一點要由資料分析人員判斷。 【四、看住的數字】 退訂:A 版 12、B 版 15。照抄,不下好壞結論。 【五、我沒有做的事】 - 沒有計算統計顯著性或信賴區間。 - 沒有判斷樣本夠不夠大,只對照事前約定的每一版 8,000 封與 3 天。 - 沒有計算點擊率或任何平台沒有算的比率。 - 沒有把資料依其他條件切開。 - 沒有寫哪一版勝出。
常見錯誤用法
- 只貼後台截圖、沒有假設卡,問它「哪一版比較好」。它會直接挑一版,還補上一句聽起來很專業的理由。
- 測試跑到第一天就貼進來。判定會停在先不下結論,有人就改問「那照目前趨勢呢」。
- 要它把點擊數除以寄送數算點擊率。要算請在試算表算好再貼,並標明是誰算的。
- 看到符合假設,就把「請資料分析人員確認」那幾個字刪掉轉寄出去。
- 沒有開跑前的假設卡、想用這份提示詞補一個結論時。
假設卡沒有寫事前約定的最少樣本與期間時,AI 要選「設計有問題,不判讀」,並在依據裡寫明缺的是哪一項,而不是自己估一個量來判。
- 開跑前寫好假設卡,跟資料分析人員約定量與期間。
- 判定交給資料分析人員確認後,再決定要不要改用。