SWE-agent или как интерфейс меняет результат

5 октября в 12:00 МСК — прямой эфир Research Insights Made Simple. Сольный выпуск с Александром Поломодовым: разбираем статью «SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering» с NeurIPS 2024.

Что меняется, если дать той же языковой модели более удобный интерфейс для работы с репозиторием? Вместо разговора только о моделях и промптах посмотрим на действия агента и обратную связь, которую он получает.

В программе

• Поиск по коду и чтение файлов: как агент находит нужное и сохраняет ориентиры.
• Многострочные правки и проверка синтаксиса: как предотвращать ошибки и восстанавливаться после них.
• Управление контекстом: что показывать модели, что сокращать и что сохранять.
• Результаты SWE-bench и SWE-bench Lite: с чем сравнивают SWE-agent и что показывают абляции.
• Выводы для современных агентов: какие принципы стоит перенести в свою систему, а какие настройки остались частью эксперимента 2024 года.

Timeline
00:00 - Зачем возвращаться к SWE-agent 2024 года
01:05 - SWE-bench: реальные задачи в чужом проекте
03:00 - Зачем модели собственный интерфейс
04:45 - Цикл мысли, действия и наблюдения
06:32 - Как проверяли решения и ограничивали бюджет
08:49 - Результаты на полном SWE-bench
10:01 - Демонстрации и сравнение с обычным shell
10:55 - Поиск файлов и нужных мест в коде
14:30 - Просмотр с номерами строк и команда edit
17:20 - Отклонение правки и обратная связь линтера
20:37 - Абляции: что дают редактирование и проверки
22:19 - Окно просмотра и управление историей
24:54 - Траектории, повторные попытки и пределы модели
29:18 - Как авторы улучшали интерфейс экспериментами
31:47 - Принципы ACI, SWE-smith и mini-SWE-agent