LLM 벤치마크 지도: 이 점수는 무엇을 쟀나? (벤치마크 3부작 1편)

객관식 정답률, 코드 테스트 통과율 pass@k, 사람·LLM 선호 투표, 에이전트 time horizon까지 LLM 벤치마크 유형별로 무엇을 재고 무엇을 못 재는지 정리합니다. HELM의 7개 지표와 '표준화 전 평가 범위 17.9%', 번역 벤치마크와 한국어 원문 시험 KMMLU의 차이도 함께 다룹니다. 개별 모델 순위 대신 점수 옆에 붙은 조건을 읽는 법에 집중합니다.

전체 대본 보기

참고 자료

• Liang et al., Holistic Evaluation of Language Models (HELM), TMLR 2023 (arXiv 2211.09110v2)
• Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, NeurIPS 2023 D&B (arXiv 2306.05685v4)
• Son et al., KMMLU: Measuring Massive Multitask Language Understanding in Korean (arXiv 2402.11548v2)
• KMMLU, NAACL 2025 (Volume 1: Long Papers), ACL Anthology 2025.naacl-long.206
• Brand & Denain (Epoch AI), What skills does SWE-bench Verified evaluate? (2025-06-13)
• METR, Time Horizon 1.1 (2026-01-29)
• Chen et al., Evaluating Large Language Models Trained on Code (Codex, HumanEval, pass@k) (arXiv 2107.03374)
• Chiang et al., Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference (arXiv 2403.04132)
• Kwa et al. (METR), Measuring AI Ability to Complete Long Software Tasks (arXiv 2503.14499v4)
• Hendrycks et al., Measuring Massive Multitask Language Understanding (MMLU), ICLR 2021 (arXiv 2009.03300)

이 에피소드의 음성은 TTS로 합성되었습니다.