手上有一批作答結果與已標記的題目,想快速看出這一班最弱的幾個觀念。
以下是測驗題目(含每題的觀念標記與出處)與學員作答結果。請做學習診斷:
1. 依觀念統計答對率,列出這一批人最弱的三到五個觀念,每個觀念要列出「是哪幾題支持這個結論」。
2. 對每個弱點,判斷比較像「不會」「看錯題目」還是「粗心」,並說明你的判斷依據。判斷不出來的標【無法判斷】,不要猜。
3. 對每個弱點指出應該回頭看的教材出處(用我提供的標記,不要自己編章節)。
4. 個別學員的部分:只列出「這個人明顯落後全體的觀念」,不要給綜合評語、不要排名。
規則:不要用分數推論學習態度或能力;作答資料不足以支撐的結論一律標【資料不足】。
題目與觀念標記:{貼上}|作答結果:{貼上}可替換變數
| 變數 | 要換成什麼 |
|---|---|
{貼上} | 題目與觀念標記、教材出處。 |
{貼上} | 逐題作答結果(已去識別化)。 |
完整使用範例(照這樣填)
以下是測驗題目(含每題的觀念標記與出處)與學員作答結果。請做學習診斷。(照母提示詞四條) 【題目與標記】 Q1 觀念:資料去識別化的範圍|出處:講義 2-1 Q2 觀念:資料去識別化的範圍|出處:講義 2-1 Q3 觀念:提示詞中的角色設定|出處:講義 3-2 Q4 觀念:要求 AI 附出處|出處:講義 4-1 Q5 觀念:要求 AI 附出處|出處:講義 4-1 Q6 觀念:判斷 AI 是否在編造|出處:講義 4-3 Q7 觀念:判斷 AI 是否在編造|出處:講義 4-3 Q8 觀念:判斷 AI 是否在編造|出處:講義 4-3 …(共 20 題) 【作答結果】(24 人,已去識別化) 學員01:Q1✓ Q2✓ Q3✓ Q4✗ Q5✗ Q6✗ Q7✗ Q8✓ … 學員02:Q1✓ Q2✗ Q3✓ Q4✓ Q5✗ Q6✗ Q7✗ Q8✗ … …
預期輸出範例(拿到的東西應該長這樣)
【觀念層級答對率】 | 觀念 | 支持題號 | 答對率 | 判定 | |---|---|---|---| | 判斷 AI 是否在編造 | Q6, Q7, Q8 | 31%(22/72) | 最弱 | | 要求 AI 附出處 | Q4, Q5 | 44%(21/48) | 弱 | | 資料去識別化的範圍 | Q1, Q2 | 79%(38/48) | 尚可 | | 提示詞中的角色設定 | Q3 | 92%(22/24) | 良好 | 【最弱的三個觀念】 1. 判斷 AI 是否在編造(Q6, Q7, Q8,答對率 31%) 類型判斷:比較像「不會」。依據——三題的錯誤答案高度集中在同一個選項(Q6 有 17 人選 C、Q7 有 15 人選 B),且這兩個選項的共同特徵是「聽起來很有道理但沒有出處」。這代表學員的判準本身就是錯的,不是粗心。 建議回頭看:講義 4-3 2. 要求 AI 附出處(Q4, Q5,答對率 44%) 類型判斷:【無法判斷】。依據——Q4 錯的人與 Q5 錯的人重疊度只有 40%,作答型態不一致,我看不出是概念不清還是題目本身有歧義。建議你檢查 Q5 的題幹敘述。 建議回頭看:講義 4-1 3. 資料去識別化的範圍(Q1, Q2,答對率 79%) 類型判斷:比較像「看錯題目」。依據——Q2 是反向題(「下列何者『不』屬於」),錯的 10 人裡有 8 人選了正向答案。 建議回頭看:講義 2-1;另建議檢視反向題的出題方式。 【個別落後的部分】 以下學員在特定觀念上明顯落後全體(僅列觀念,不做排名、不給評語): - 學員02、學員09、學員17:資料去識別化的範圍 - 學員05、學員13:提示詞中的角色設定(此觀念全體答對率 92%,落後較明顯) 【我沒有做的事】 - 沒有計算總分排名、沒有給任何學員綜合評語。 - 沒有從答對率推論學習態度、動機或能力。 - 沒有使用我沒拿到的資料(出席、作業、過往成績)。
常見錯誤用法
- 看到「最弱的三個觀念」就直接排補強,跳過支持題號那一欄。那一欄才是讓你確認它沒有在編的東西。
- 把【無法判斷】自行解讀成「大概是不會吧」。它標無法判斷的時候,通常是題目本身有問題。
- 把個別落後清單發給全班。那會變成另一種排名。
沒有額外的,看上面「三種版本共通的紅線」那一段就好。
沒有觀念標記時,它會自己發明分類,而且每次跑都不一樣,前後兩次無法比較。這是這個方法唯一不能省的前置。
沒有額外的,看上面「三種版本共通的紅線」那一段就好。