OR-License 用 31 題真實付費作業研究案考 AI agent。AI 隨時能問模擬客戶 ORSim,卻幾乎只在開頭問,多數模型的錯出在把需求建模錯,程式照樣能跑,問題很難從外面看出來。
⭐ 文章深度讀:AI 理解錯需求還照樣交件!OR-License 拿真實付費案考 AI
→
https://heymaibao.com/ai-agents-misread-requirements-or-license-6f7202/
⚡ 章節重點
AI 交件的隱藏風險 00:00
拿真案子考 AI 的測驗 00:35
模型與專家的差距 02:21
AI 不回頭問的毛病 03:07
能跑卻建模錯的程式 03:57
交辦 AI 的中途確認 04:40
📝 懶人包
∙ OR-License 有 31 題,橫跨 10 個產業情境,題目取自真的付費案。
∙ 不能用的解法直接算 0 分,能用的才跟專家比,各題平均成 DAQ。
∙ AI 整個過程都能問客戶,卻幾乎只在一開始問。
∙ 我的觀點:最危險的是 AI 把需求理解錯,程式照樣能跑。
📚 參考資料
OR-License: Evaluating LLM Agents as Real-World Operations Research Practitioners
→
https://arxiv.org/html/2610.24087