[LLM 벤치마크 2편] 시험지를 미리 본 모델: 데이터 오염과 과적합

공개된 벤치마크 문제가 학습 데이터에 섞이면 점수는 무엇을 재게 될까요? GSM8k와 새로 만든 GSM1k를 비교해 과적합을 잰 연구, SWE-bench Verified의 오래된 공개 이슈, 마감일 이후 문제와 주기적 교체·비공개 셋 같은 대응책을 원 논문으로 살펴봅니다. 비공개만으로는 포화를 막지 못한다는 반대 증거도 함께 짚습니다.

전체 대본 보기

참고 자료

• Zhang et al. (Scale AI), A Careful Examination of Large Language Model Performance on Grade School Arithmetic (GSM1k), arXiv:2405.00332v4, NeurIPS 2024 D&B
• Brand & Denain (Epoch AI), What skills does SWE-bench Verified evaluate?, 2025-06-13
• Akhtar, Reuel et al., When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation, arXiv:2602.16763v4, ICML 2026
• SWE-bench team, SWE-bench Verified overview page
• Jimenez et al., SWE-bench: Can Language Models Resolve Real-world GitHub Issues?, arXiv:2310.06770, ICLR 2024
• White et al., LiveBench: A Challenging, Contamination-Limited LLM Benchmark, arXiv:2406.19314v2, ICLR 2025

이 에피소드의 음성은 TTS로 합성되었습니다.