大家好,我是台北市議員曾獻瑩,過去在台積電的訓練,讓我能用工程師的角度及專業,分析市政,台北要贏,就選曾獻瑩。台北市大安文山,敬請支持曾獻瑩,票投①號曾獻瑩,台北一定贏。以上廣告,由曾獻瑩競選辦事處出資提供。
https://sofm.pse.is/9vd9dc
--
🍒 《歡迎光臨滿天猩奇果鋪》
吃下神奇果實就能體力爆棚?這背後究竟藏著什麼秘密!由「中國信託反毒教育基金會」與童話阿姨帶小朋友一起化身小偵探,破解誇張廣告與誘惑,學習最重要的媒體素養與反毒查證力!
點擊連結下載免費互動小遊戲學習單,練就破案雙眼:
https://sofm.pse.is/9vd8rf
----以上為 SoundOn 動態廣告----
AI 幫你把程式寫完、測試全過,你真的學會了嗎?這一集拆解三篇程式設計教育研究:Kazemitabaar 等人讓 69 位 10–17 歲新手在 Codex 輔助下學 Python,先讓 AI 寫、再強制自己手改,速度變快,手改能力也沒有變差;Prather 等人用眼動儀與放聲思考觀察 21 位大學新手使用 Copilot 與 ChatGPT,看到有人加速、有人陷入「能力錯覺」;Kazemitabaar 等人的 CodeAid 則在約 700 人的大學課堂部署一整學期,看「不給答案」的 AI 助教做得多好、代價是什麼。
🎧 這集你會聽到:
・開場情境:測試亮綠燈的爽感,和當個「程式碼搬運工」的能力錯覺
・Kazemitabaar 等人(2023,CHI):69 位沒有文字式程式經驗的 10–17 歲學生,三週受控實驗,一組可用 OpenAI Codex 產生程式碼,一組全靠手寫
・「生成→強制手改」:AI 只能在撰寫任務用,下一題要自己手動修改,像用 GPS 去餐廳、再憑記憶走回家
・結果:AI 組撰寫任務少花約 43% 時間、正確率更高;不能用 AI 的修改任務不輸對照組;一週後保留測驗,前測較好的學生用過 AI 後表現更好
・Prather 等人(2024,ICER):21 位大學入門程式課學生、35 分鐘解題,可用 Copilot 與 ChatGPT,搭配 Tobii 眼動儀與放聲思考,20 人完成
・三種新的後設認知困難:被打斷(Interruption)、被誤導(Mislead)、進度錯覺(Progression),以及會判斷「這個建議爛透了」的負向專業(negative expertise)
・Kazemitabaar 等人(2024,CHI):CodeAid 在約 700 人的課堂部署一學期、372 人實際使用,只給概念說明、虛擬碼與除錯提示,不給可直接貼上的解答
・品質落差:整體正確率 79% 到 87%(見補充),一般概念題很準,幫學生修自己的程式時只有 63%;課程禁止下仍有 57% 匿名填答者用了 ChatGPT
・三篇合看:關鍵不在 AI 好壞,而在 AI 放在學習流程的哪裡;以及「擴大的落差」(widening gap)
・延伸討論:怎麼量化能力錯覺,以及手寫程式會不會變成「鑽木取火」
📌 補充說明:
・約 02:05:69 位是「沒有文字式程式經驗」,不是完全沒寫過程式:64 人用過 Scratch 等積木式環境,27 人修過程式相關課程。
・約 03:44:一週後保留測驗,AI 組整體略高但不顯著(撰寫 59.1% 對 49.8%,p=.262);顯著較好的是前測分數較高的學生,前測低分的兩組表現相近。
・約 06:09–06:33:「眼球來回跳躍」「認知資源耗盡」是主持人的描述;論文定義是「頻繁打斷讓人無法專心解題」與「工具把人帶往錯誤方向」。
・約 06:35–06:46:Progression 講錯了。論文的定義是「其實在課程概念上已經落後,卻因虛假的自信而不自知」;「看到 AI 吐出程式就以為快寫完」比較接近論文說的「進展的錯覺」。
・約 06:47–07:02:有困難的學生 Copilot 採納率平均 34.1%、沒困難的 24.5%,但範圍重疊(17%–53% 對 10%–33%),幾位加速的學生也約 30%;採納率高不等於「表現最差」。
・約 07:42、11:04:「摧毀認知」「傷害最大」說得太重;Prather 等人的標題就是「好處與傷害」,作者明說沒有測量學習成效。
・約 08:29:79% 是整體正確率,87% 是期中改版後(改版前 74%);一般概念題 91%,Help Fix Code 63%。
・約 08:55:「看慣 GitHub 漂亮的開源程式」是主持人的推測,論文沒有這樣解釋。
・約 09:20:57% 是期末匿名調查 200 位填答者中「兩者都用」38%+「只用 ChatGPT」19%;「挫折就轉用 ChatGPT」是推論。
・約 11:09–11:42:「弱者連最基礎的手寫邏輯能力都喪失、AI 正在拉大差距」說過頭。Prather 等人只有 21 人、一次 35 分鐘,結論是差距「可能」擴大;Kazemitabaar 2023 中前測低分的學生有沒有 AI 表現相近,沒有看到能力被削弱。
・約 11:48 起:量化能力錯覺、中文 prompt 與「鑽木取火」都是主持人的延伸,不是論文結果。
📚 本集引用文獻:
Kazemitabaar, M., Chow, J., Ma, C. K. T., Ericson, B. J., Weintrop, D., & Grossman, T. (2023). Studying the effect of AI Code Generators on Supporting Novice Learners in Introductory Programming. Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems (CHI '23), 1–23.
https://doi.org/10.1145/3544548.3580919
Prather, J., Reeves, B. N., Leinonen, J., MacNeil, S., Randrianasolo, A. S., Becker, B. A., Kimmel, B., Wright, J., & Briggs, B. (2024). The Widening Gap: The Benefits and Harms of Generative AI for Novice Programmers. Proceedings of the 2024 ACM Conference on International Computing Education Research – Volume 1 (ICER '24), 469–486.
https://doi.org/10.1145/3632620.3671116
Kazemitabaar, M., Ye, R., Wang, X., Henley, A. Z., Denny, P., Craig, M., & Grossman, T. (2024). CodeAid: Evaluating a Classroom Deployment of an LLM-based Programming Assistant that Balances Student and Educator Needs. Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI '24), 1–20.
https://doi.org/10.1145/3613904.3642773
⚠️ 本集語音由 AI 生成,可能有簡化、比喻或口誤,引用前請以原始文獻為準。
AI 研究室|把論文聽進去 🎙️