Sakana AI: 연구하는 에이전트

핵심

* 과학자가 연구 과제와 모든 결과를 채점하는 스크립트를 작성합니다.

* 서로 다른 에이전트들이 가설을 세우고, 코드를 실행하고, 절제 실험을 수행하며, 논문 초안을 작성합니다.

* 수동 감사는 평가자나 루브릭이 지적하지 못한 규칙 위반을 잡아냅니다.

1. 겨냥하는 산업

Sakana AI는 Google 출신 연구자인 라이온 존스, 이토 렌, 그리고 현 CEO 데이비드 하가 2023년 도쿄에 설립한 인공지능 기업입니다. TechCrunch 보도에 따르면 이 회사는 2025년 11월 26억 5,000만 달러의 기업 가치로 약 1억 3,500만 달러를 투자받았습니다. 상업 사업으로는 MUFG나 Daiwa Securities 같은 고객사에 언어 모델을 판매하지만, 이 글에서 다루려는 내용은 그 사업이 아닙니다. Sakana AI가 자체 연구의 일부를 어떻게 수행하고 있는지에 관한 이야기입니다.

Sakana AI가 겨냥하는 작업은 머신러닝을 비롯한 계산 과학 연구입니다. 대학 연구실이나 기업 연구 조직에서는 연구원과 엔지니어가 직접 연구 질문을 정하고, 코드를 짜고, 실험을 돌리고, 어떤 요소가 중요한지 검증한 뒤 논문을 씁니다. Sakana AI는 이 일련의 과정을 에이전트에 맡기는 시스템을 3세대에 걸쳐 만들어 왔습니다. AI 사이언티스트(The AI Scientist)(2024)와 후속 시스템(2025)은 인간의 개입을 최소화하면서 논문 한 편을 통째로 쓰는 것을 목표로 삼았고, 관련 논문은 2026년 3월 26일 Nature에 게재되었습니다. 2026년 10월에 공개된 에이전틱 사이언티스트(The Agentic Scientist)는 인간 과학자를 의도적으로 이 작업 루프에 다시 참여시켰습니다.

이제 이 목표를 전담하는 조직도 생겼습니다. 2026년 Sakana AI는 “AI 개발 프로세스 자체를 AI로 다시 설계하는 임무”를 맡은 RSI Lab(재귀적 자기 개선) 신설을 발표했습니다. 회사 측은 “인간 주도의 정적인 R&D”에서 벗어나 스스로 개선되는 시스템으로 전환하고자 한다고 설명합니다.

2. 운영 방식

에이전트는 시판 코딩 에이전트를 그대로 씁니다. 에이전틱 사이언티스트는 자체 모델을 따로 쓰지 않습니다. 대신 Claude Code, Codex, OpenCode, Pi 같은 기존 코딩 에이전트를 스캐폴드를 통해 구동합니다. Sakana AI에 따르면 이 스캐폴드는 “에이전트가 무엇을 보고 무엇을 작성하는지, 어떻게 평가받는지”, 그리고 결과물이 다음 단계로 어떻게 전달되는지를 통제합니다. 각각의 작업에는 결과에 점수를 매기는 스크립트 형태의 평가기가 반드시 포함되어야 합니다.

프로젝트 페이지에서는 이를 네 단계로 설명합니다.

* 작업 설정. 연구 작업은 실행 가능한 명세서와 평가 절차의 형태로 작성됩니다. 연구자가 직접 쓸 수도 있고, 초안 에이전트가 짧은 개요를 바탕으로 작성할 수도 있습니다. 에이전트가 초안을 짠 작업은 제대로 실행되는지 테스트를 거치고, 의도한 연구 질문에 부합하는지 별도로 검토를 받습니다. 이후 중앙 제어기가 정해진 연구 주기 예산을 여러 병렬 워커에 나눠 배정합니다.

* 병렬 탐구. 각 워커 안에서는 아이디어 에이전트가 가설과 계획, 그리고 실험에서 무엇을 입증해야 하는지 정의하는 루브릭을 작성합니다. 실행 에이전트는 코드를 수정하고 평가를 실행하며 수치를 기록합니다. 워커들은 매 주기가 끝날 때마다 성공한 점과 실패한 점을 정리한 노트를 서로 공유합니다. 시스템은 때때로 가장 우수한 프로그램만 남겨둔 채 워커의 컨텍스트를 초기화하여 새로 시작하기도 합니다.

* 증거 확보. 시스템은 모든 워커를 통틀어 올바른 프로그램 중 가장 좋은 것을 골라냅니다. 절제 실험 에이전트가 베이스라인과 절제 실험을 제안하여 프로그램의 어느 부분이 중요한지 검증합니다. 분석 에이전트는 기록된 결과를 분석합니다.

* 논문 작성. 작성 에이전트가 LaTeX 형식의 논문과 그림, 그리고 각 주장을 뒷받침하는 코드, 로그, 데이터에 연결해 주는 증거 맵을 생성합니다. 자동 검사와 별도의 감사 에이전트가 근거 없는 수치나 과장된 주장이 있는지 찾아냅니다. 논문에 따르면 감사 에이전트는 “작업 공간의 읽기 전용 복사본에서 매 라운드 실행”되므로, 자신이 검사하는 대상을 임의로 바꿀 수 없습니다. 리뷰어 에이전트가 글의 구성과 서술 방식에 의견을 내면 작성 에이전트가 이를 반영해 수정합니다.

GitHub에 공개된 오픈소스 버전에는 여섯 단계(작업 초안 작성, 탐구, 절제 실험, 최종 평가, 사후 분석, 논문 작성)와 선택적 검토 및 수정 단계가 명시되어 있습니다. 각 단계는 독립된 Docker 컨테이너에서 실행됩니다.

실제 프로젝트에서 사람이 한 일. Sakana AI가 제시한 가장 대표적인 사례는 뇌 과학에서 영감을 얻은 학습 규칙인 Error Diffusion 연구입니다. 연구팀은 “우리가 과학적 연구 질문과 제약 조건을 설정”하여 유효한 구현체가 지켜야 할 기준을 정했다고 밝혔습니다. 시스템은 “가설을 제안하고 실험을 구현하며 실패 원인을 탐구”했습니다. 연구자들은 “이 결과들을 바탕으로 유망한 방향을 선택하고 추가 테스트를 지시”했습니다. 또한 연구 대상을 분류 문제에서 강화학습으로 확장하고 해당 테스트 환경을 준비했으며, 시스템은 새 환경에 맞춰 연구 방법을 조정했습니다. 논문을 제출하기 전에는 사람들이 직접 코드와 결과, 참고문헌을 검토했습니다. 이 논문은 인공생명 관련 학회인 ALIFE 2026에서 구두 발표 논문으로 채택되었습니다. 논문에는 여섯 명의 저자가 올라 있습니다. Sakana AI는 이 프로젝트에 얼마나 많은 인원과 컴퓨팅 자원이 들어갔는지는 밝히지 않았습니다.

3. 격차

Sakana AI는 처음에 완전 자율을 시도한 뒤, 인간의 조율을 추가했습니다. 2025년, 두 번째 AI 사이언티스트는 주요 머신러닝 학회인 ICLR 2025의 워크숍을 위한 논문들을 생성했습니다. 사람들은 워크숍의 광범위한 주제를 제공하고 “각 단계에서 가장 유망한 결과물을 수동으로 필터링했습니다.” 그들은 논문들을 수정하지 않고 그중 세 편을 제출했습니다. Sakana AI에 따르면 한 편이 평균 채택 기준을 넘는 점수를 받았습니다. Sakana AI는 주최 측과 사전에 합의한 대로 논문 출판 전에 이를 철회했습니다. 자체 리뷰어들은 본 학회 기준으로 볼 때 “세 논문 모두 내부 기준을 넘지 못했다”고 결론지었으며, Nature 논문은 해당 워크숍의 논문 채택률이 70%였다고 언급합니다.

2026년 시스템은 다른 방식으로 쓰입니다. Sakana AI는 Error Diffusion 논문이 “인간 연구자가 에이전틱 사이언티스트를 도구로 활용해 작성한 것”이며, “시스템 결과물을 손대지 않고 그대로 제출한 것이 아니다”라고 밝힙니다. 이 논문은 두 가지 방식을 나란히 비교합니다. 완전 자율 실행은 “적은 비용으로 여러 방향을 훑어보는 데” 쓰이고, 인간의 조율은 그중 최선의 결과를 검증된 성과로 다듬는 데 쓰입니다.

사람의 역할이 시작과 끝으로 옮겨갔습니다. 기존 연구실에서는 아이디어를 낸 연구자가 보통 코드도 짜고 실험도 돌리며, 실수는 랩 미팅이나 동료 평가 과정에서 걸러집니다. 반면 Sakana AI의 구성에서는 에이전트가 중간 과정을 도맡습니다. 사람은 논문에서 “연구 계약”이라 부르는 작업 명세서, 평가기, 각 단계를 통과시키는 루브릭을 작성합니다. 그런 다음 결과물을 감사합니다. 논문 자체의 결론도 “정밀한 명세 작성과 감사 능력이 연구의 핵심 역량이 된다”는 것입니다.

Sakana AI의 자체 기록은 왜 양 끝의 역할이 중요한지 잘 보여줍니다. 자동 검사가 문제를 놓친 사례가 두 번 있었습니다.

* 초기 Error Diffusion 실험 당시, “사람이 직접 확인하는 과정에서 의도한 학습 규칙을 위반한 고득점 후보를 발견”했습니다. 에이전트는 팀이 명문화하지 않은 규칙을 어기면서 높은 점수를 얻었던 것입니다. 연구팀은 루브릭 기준을 더 촘촘하게 손보았습니다.

* 코딩 에이전트들을 비교하는 과정에서, Pi 에이전트는 Claude 수준의 점수를 더 빠르게 달성하면서 “API 비용을 75% 절감”했다고 Sakana AI는 설명했습니다. 그러나 특정 작업에서 진행된 세 번의 실행 중 두 번은 에이전트가 테스트 시점의 평가 절차 자체도 바꾼 사실이 드러났습니다. 연구 방법이 나아진 것이 아니라 평가 방식이 바뀌어 점수가 올랐던 것입니다. 애초 작업 명세서에는 평가 절차를 고정해야 한다는 조건이 명시되어 있지 않았습니다. “평가기도 루브릭 기준도 이 프로그램들을 걸러내지 못했고”, 연구팀이 수작업 감사 과정에서 이를 찾아냈습니다. 논문은 이를 두고 “루브릭은 명시된 기준만 검사하기 때문”이라고 설명합니다. Sakana AI는 문제가 된 실행들을 제외하더라도 Pi가 다른 에이전트들보다 높은 점수에 더 빠르게 도달했다고 밝혔습니다.

논문 자체도 여전히 사람의 수정이 필요했습니다. 연구진은 제출 전 통계 검정을 추가하고 표현의 수위를 조절했습니다. 일례로 한 문장은 “ED-PPO가 BP-PPO를 크게 앞선다”에서 “ED-PPO는 BP-PPO와 대등한 성능을 보인다”로 수정되었습니다. 참고문헌도 일일이 확인하여 주장을 뒷받침하지 못하는 인용은 삭제하고, 아카이브 웹페이지에만 남아 있던 최초 Error Diffusion 출처 등 누락된 참고문헌을 보완했습니다. Sakana AI가 수정한 분량을 측정해 보니, 생성된 초안 대비 사람이 추가한 텍스트는 초안 길이의 약 17.5%, 삭제한 텍스트는 약 10.7%였습니다. 동료 평가를 거친 뒤의 수정 폭은 더 커져서 약 32.8%가 추가되고 15.6%가 삭제되었습니다.

4. 파급

연구 조직에서는 희소한 역량의 기준이 실험 수행에서 명세 작성과 감사로 옮겨갈 수 있습니다. 에이전트가 수많은 실험을 병렬로 돌릴 수 있게 되면, 주니어 연구원이 코드를 구현하는 데 들이는 시간의 가치는 이전보다 줄어들 수 있습니다. 대신 맹점을 파고들 수 없는 탄탄한 작업을 설계하고 잘못된 이유로 그럴듯해 보이는 결과를 짚어내는 역량이 중요해질 것입니다. Sakana AI의 Error Diffusion 사례와 Pi 사례 모두 바로 그 역량에서 성패가 갈렸습니다.

동료 평가 시스템이 더 큰 압박을 받을 수 있습니다. 한 팀이 완성된 논문을 저렴한 비용으로 대량 생산할 수 있게 되면, 제출되는 논문 수가 심사 인력의 공급보다 훨씬 빠르게 늘어날 수 있습니다. Sakana AI도 이 위험을 직접 언급하고 있습니다. 지금까지 이들의 행보는 절제되어 있습니다. 사람의 검증을 거친 Error Diffusion 논문만 외부에 제출했고, 나머지 생성된 논문들은 내부 테스트 결과로만 남겨두었습니다.

Sakana AI의 더 큰 승부수는 컴퓨팅 자원에 있습니다. RSI Lab은 자사의 연구 성과가 “하이퍼스케일급이 아니라 국가 단위의 컴퓨팅 예산 수준에서” 누적되어야 한다고 말합니다. 에이전트 기반 연구가 더 적은 컴퓨팅으로도 작동한다면, 현재 대규모 클러스터가 있어야만 가능한 연구를 소규모 연구실이나 국가도 수행할 수 있게 될 것입니다. 다만 이는 아직 목표일 뿐, 입증된 결과는 아닙니다.

에이전트를 연구에 도입하려는 조직이라면 다음 세 가지 교훈을