Podli播客播放器 Webplayer

史塔克實驗室

史塔克實驗室

AI 研究室 EP3|找不到答案也硬要選:LLM 為什麼不懂得棄權?

史塔克實驗室 · 2026年10月29日 · 18:43

0:0018:43

在 Podli 应用中收听 🎧

关注你喜爱的播客,离线收听,在车内通过 CarPlay 和 Android Auto 播放,并始终从上次停下的地方继续。免费试用。

AI 的考試分數越來越漂亮,但真正危險的往往是「該停下、該棄權、該回頭檢查」的那一刻。這一集我們拆解三篇最新 arXiv 預印本,橫跨醫療、法律與軟體工程:放射治療計畫 Agent 整體決策正確率超過九成,遇到真正矛盾的任務卻只喊停 25–50%;正確判例根本不在選項中時,生成式 LLM 仍有 38–86% 會硬選一個;程式碼 Agent 在多階段功能開發中,成功率從 62.7% 掉到 28.5%,而且前一階段出錯後約 95% 的時候都沒發現。 🎧 這集你會聽到: ・OpenGray:放療計畫 Agent 決策正確率 92–95%,但對解剖重疊矛盾只上報 25–50%;24% 的提交計畫漏掉原本已達成的硬性目標 ・臨床 Agent SAGE 的真實紀錄:每次都指出問題,卻沒有可用的「停止」動作 ・Commit or Abstain?:1,670 題「應棄權」題目中,生成式 LLM 選錯 38–86%,最謹慎的決策模型為 30%,成本只有 1/55 ・只在決策模型同意時才採納 LLM 答案,錯誤引用可以減半 ・FeatureArc:10 個程式碼 Agent、73 個任務,72.9% 的失敗階段存在「繼承缺陷」 ・為什麼評估 AI 不能只看準確率,還要看它知不知道自己該停 📚 本集引用文獻: Nusrat, H., & Thind, K. (2026). OpenGray: a benchmark for evaluating the decisions of radiotherapy planning agents. arXiv preprint arXiv:2610.37081v1. https://arxiv.org/abs/2610.37081v1 Demir, M. M. (2026). Commit or Abstain? System One Decision Models, LLMs, and Missing Legal Authority. arXiv preprint arXiv:2610.29961v1. https://arxiv.org/abs/2610.29961v1 Wang, Y., Wu, A., Gao, C., Feng, J., Lu, S., & Hu, Z. (2026). FeatureArc: Benchmarking Coding Agents on Evolving Features. arXiv preprint arXiv:2610.37434v1. https://arxiv.org/abs/2610.37434v1 ⚠️ 本集內容依論文摘要整理,語音由 AI 生成,可能簡化細節,引用前請以原始論文為準。 🔬 本集三篇皆為 arXiv 預印本(v1),尚未經同行評審,結論可能在後續版本中修正。 ▶️ YouTube 影片版:https://youtu.be/DmoIeQamr0k AI 研究室|把論文聽進去 🎙️

单集: 史塔克實驗室

Podli免费获取 Podli 应用
↓ App