벤치마크의 유통기한 — 포화와 '더 큰 시험지' 경쟁 (LLM 벤치마크 해석 3편)

60개 LLM 벤치마크 중 29개가 상위 모델을 가려내지 못하는 포화 상태였다는 연구로 포화의 정의와 원인을 짚습니다. Humanity's Last Exam 같은 새 시험지가 이를 어떻게 피하려 하는지, METR Time Horizon 1.1에서 과제 구성과 측정 환경이 추세 숫자를 어떻게 바꿨는지 살펴봅니다. 3부작의 마지막 회차입니다.

전체 대본 보기

참고 자료

• METR, Time Horizon 1.1 (blog, 2026-01-29)
• Akhtar, Reuel et al., When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation (arXiv:2602.16763v4, ICML 2026)
• Kwa et al. (METR), Measuring AI Ability to Complete Long Software Tasks (arXiv:2503.14499)
• Stanford HAI, The 2025 AI Index Report, Chapter 2: Technical Performance
• Phan et al. (CAIS, Scale AI), Humanity's Last Exam (arXiv:2501.14249v12)

이 에피소드의 음성은 TTS로 합성되었습니다.