Как AI влияет на продуктивность опытных разработчиков

Разбор отчета METR "Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity", где показано замедление разработчиков при использовании AI. Методология мне показалось хоть и интересной, но объем выборки аж в 16 инженеров казался мне маловатым для того, чтобы делать громкие заявления о замедлении разработки. Правда, такой размер выборки не помешал многим журналистом активно писать про это исследование. В итоге, я позвл в гости Артема Арюткина, СРО платформы для разработчиков в Городских сервисах Яндекса, вместе с которым мы обсудили все плюсы и минусы этого исследования.

Вот примерный список тем, что мы успели обсудить за 40+ минут

00:00 - Введение, анонс METR и бенчмарка
01:37 - Знакомство с гостем
03:29 - Спонсор исследования и возможная предвзятость
04:57 - Как устроен эксперимент
06:29 - Гипотезы о мотивах и дизайне исследования
09:07 - Оценка и самооценка задач участниками
10:28 - Набор участников и требования к ним
12:01 - Ограничения масштаба и методологии
16:11 - Цифры: 246 задачи от 1 до 8 часов по длительности, 16 инженеров в исследовании
17:10 - Пять факторов замедления работы
21:48 - Контекст, интеграция и коммуникации как узкое место
27:06 - Как работать с инструментом по уровням сложности
34:18 - Почему моделям сложно применять изменения в реальном коде
37:47 - Итоги бенчмарков и ограниченность генерализации