想像期末報告教授給 84 分、同一套標準下 AI 給 92 分,你會信哪一個?這一集延續「AI 當評分者與回饋者」的主題,拆解三篇研究:Usher 在課堂裡比較老師、同儕與 AI 的給分與評語;Steiss 等人比較 ChatGPT 與人類專家對中學生作文的回饋品質;Henderson 等人則調查學生覺得 AI 回饋好不好用、信不信。AI 常常給得更寬鬆、寫得更細,卻不一定掌握課堂脈絡或修改的優先順序;方便使用,也不等於已經贏得信任。
🎧 這集你會聽到:
・開場情境:同一套標準下,教授 84 分、AI 92 分——對應 Usher 研究裡教師平均 84.24、AI 平均 92.04 的落差
・Usher:76 位學生的問卷設計專題,三方評分;同儕平均 83.47、AI 92.04;AI 與老師相關 r = +.42(中度正相關),不是亂給、也不能說成只是整把尺平移
・1,368 則回饋(同儕 912、AI 456):AI 評語較具體、較具引導性,但有時會與課程內容矛盾
・Steiss 等人:五個標準裡人類贏四項;面對低品質作文,人類「優先處理」評分 4.44——知道該先修哪裡
・Henderson:2024 年 8 到 10 月、澳洲大學問卷,樣本 6,960 人且作者說明不具代表性;49.7% 曾經尋求過 AI 回饋
・有用度平均:老師 4.16,高於 AI 的 4.02;學生常用 AI,最常見理由是方便取得,不是只用來避開社交風險
・未使用理由中,編碼了 3,405 則;其中 957 則(28.1%)是不知道可以這樣用、或不知道怎麼用——這是未使用理由的比例,不是全體大學生
・質性資料來自開放式問卷題,不是訪談
📌 補充說明:
・約 03:42:「AI 只是把整把尺往上移」是簡化說法;AI 與老師評分 r = .42 是中度相關,排序只部分一致(同儕與老師為 .63)。
・約 04:59:Usher 論文只說課堂上未討論假設,不是老師明說不需要假設。
・約 10:11:「信任校準存在巨大落差」是推論:Henderson 測了信任度(90.5% vs 60.1%),但沒有測 AI 回饋是否正確。
📚 本集引用文獻:
Henderson, M., Bearman, M., Chung, J., Fawns, T., Buckingham Shum, S., Matthews, K. E., & de Mello Heredia, J. (2025). Comparing Generative AI and teacher feedback: student perceptions of usefulness and trustworthiness. Assessment & Evaluation in Higher Education, 51(5), 863–878.
https://doi.org/10.1080/02602938.2025.2502582
Usher (2025). Generative AI vs. instructor vs. peer assessments: a comparison of grading and feedback in higher education. Assessment & Evaluation in Higher Education, 50(6), 912–927.
https://doi.org/10.1080/02602938.2025.2487495
Steiss, J., Tate, T., Graham, S., et al. (2024). Comparing the quality of human and ChatGPT feedback of students' writing. Learning and Instruction, 91, 101894.
https://doi.org/10.1016/j.learninstruc.2024.101894
⚠️ 本集語音由 AI 生成,可能有簡化、比喻或口誤,引用前請以原始文獻為準。
AI 研究室|把論文聽進去 🎙️