Data notes

Forwarded from Борис опять

# Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity

METR выложил рандомизированное исследование влияния AI на скорость работы опытных разработчиков в реалистичных условиях с неожиданным результатом.

Выполнение задач с использованием AI инструментов в среднем занимает на 20% дольше.

Причем если спрашивать разработчиков, то сами они уверены, что AI ускоряет их работу на 20%, а внешние эксперты вообще ожидают ускорения порядка 40%.

Я думаю, что на текущий момент это самое реалистичое исследование влияния AI инструментов на продуктивность разработчиков:
🔹Настоящие задачи из больших open source репозиториев с высокими стандартами качества.
🔸Опытные разработчики (5 лет в среднем) знакомые с кодовой базой над которой работают.
🔹Фронтир AI инструменты на момент исследования: Claude 3.5/3.7 Sonnet и Cursor Pro.
🔸Все разработчики были обучены правильно использовать Cursor Pro.
🔹Хороший дизайн эксперимента: фиксированная метрика (время исполнения), рандомизация, статзначимость, факторный анализ.
🔸Всё проверено вдоль и поперек, чтобы убедиться, что результаты не объясняются каким-то конфаундером.
🔹Исследование не сделано компанией продающей AI тулы.

Подробнее про эксперимент. В исследовании участвовали 16 опытных open-source разработчиков (если выборка кажется маленькой, то читайте дальше, станет понятнее) работающих над большими (1м+ строк кода) и популярными (20к+ коммитов) репозиториями. Разработчики были знакомы со своими проектами, в среднем сделали в них по 1500 коммитов. Всем разработчикам выдали Cursor Pro и научили им пользоваться.

Разработчики выбирали задачу. Далее они делали прогноз сколько у них займет исполнение с AI и без. Затем монетка определяла можно ли использовать для этой задачи AI инструменты. Если задача оказывалась в AI группе, то разработчик мог использовать любые AI инструменты. Мог и не использовать, если не считал нужным. На практике большинство использовали Cursor. Разработчик делал задачу записывая свой экран. Затем создавал Pull Request и дорабатаывал его после код-ревью. Задача считалась завершенной в момент принятия PR, то есть после всех доработок, и в этот момент фиксировалась метрика: время исполнения. Всего за время эксперимента было сделано 246 задач разной сложности, из них 136 с AI.

То есть важно понимать, что рандомизация происходила по задачам, а не по разработчикам. Поэтому выборка здесь не 16 разработчиков, а 246 задач. Это всё ещё не гигантская выборка, но:
1. P-value в порядке.
2. Авторы проанализировали и разметили записи экранов, провели интервью. Словом, сделали качественное исследование. Когда результаты качественного и количественного исследования консистентны это сильный сигнал.

Результаты показывают, что AI инструменты тормозят опытных разработчиков на реальных больших проектах. Здесь каждое слово важно. Например, AI может одновременно с этим ускорять начинающих на маленьких проектах.

Моё мнение 👀: я думаю это правда. Во-первых, надо иметь серьезные основания, чтобы спорить с рандомизированным исследованием. Я искал до чего докопаться и не нашел. Во-вторых, это совпадает с моими личным опытом: я и сам записывал экран где Cursor пытается решить несложную реальную задачу, не заметил никакого ускорения. В-третьих, ускорение даже на 20% не стыкуется с реальностью. Если у нас уже два года вся разработка быстрее и дешевле на 20%, то где эффект? Я бы ожидал колоссальных изменений на рынке труда из-за сложного процента, но по факту пока ничего не произошло (недавние сокращения в бигтехах были из-за налогов на ФОТ в США).

В статье очень много интересных деталей. Например, что эффект сохраняется вне зависимости от используемого инструмента: пользуешься ты agentic mode, только TAB или вообще руками копипастишь в ChatGPT. Или что даже после 50+ часов использования Cursor не наступает никаких изменений, так что это не зависит от опыта работы с AI инструментами.

Я разберу интересные моменты в отдельных постах.

@boris_again

Please open Telegram to view this post

VIEW IN TELEGRAM

👍2👏1

www.tgoop.com/data_notes/169

87 viewsJul 13 at 19:13

# Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity

METR выложил рандомизированное исследование влияния AI на скорость работы опытных разработчиков в реалистичных условиях с неожиданным результатом.

Выполнение задач с использованием AI инструментов в среднем занимает на 20% дольше.

Причем если спрашивать разработчиков, то сами они уверены, что AI ускоряет их работу на 20%, а внешние эксперты вообще ожидают ускорения порядка 40%.

Я думаю, что на текущий момент это самое реалистичое исследование влияния AI инструментов на продуктивность разработчиков:
🔹Настоящие задачи из больших open source репозиториев с высокими стандартами качества.
🔸Опытные разработчики (5 лет в среднем) знакомые с кодовой базой над которой работают.
🔹Фронтир AI инструменты на момент исследования: Claude 3.5/3.7 Sonnet и Cursor Pro.
🔸Все разработчики были обучены правильно использовать Cursor Pro.
🔹Хороший дизайн эксперимента: фиксированная метрика (время исполнения), рандомизация, статзначимость, факторный анализ.
🔸Всё проверено вдоль и поперек, чтобы убедиться, что результаты не объясняются каким-то конфаундером.
🔹Исследование не сделано компанией продающей AI тулы.

Подробнее про эксперимент. В исследовании участвовали 16 опытных open-source разработчиков (если выборка кажется маленькой, то читайте дальше, станет понятнее) работающих над большими (1м+ строк кода) и популярными (20к+ коммитов) репозиториями. Разработчики были знакомы со своими проектами, в среднем сделали в них по 1500 коммитов. Всем разработчикам выдали Cursor Pro и научили им пользоваться.

Разработчики выбирали задачу. Далее они делали прогноз сколько у них займет исполнение с AI и без. Затем монетка определяла можно ли использовать для этой задачи AI инструменты. Если задача оказывалась в AI группе, то разработчик мог использовать любые AI инструменты. Мог и не использовать, если не считал нужным. На практике большинство использовали Cursor. Разработчик делал задачу записывая свой экран. Затем создавал Pull Request и дорабатаывал его после код-ревью. Задача считалась завершенной в момент принятия PR, то есть после всех доработок, и в этот момент фиксировалась метрика: время исполнения. Всего за время эксперимента было сделано 246 задач разной сложности, из них 136 с AI.

То есть важно понимать, что рандомизация происходила по задачам, а не по разработчикам. Поэтому выборка здесь не 16 разработчиков, а 246 задач. Это всё ещё не гигантская выборка, но:
1. P-value в порядке.
2. Авторы проанализировали и разметили записи экранов, провели интервью. Словом, сделали качественное исследование. Когда результаты качественного и количественного исследования консистентны это сильный сигнал.

Результаты показывают, что AI инструменты тормозят опытных разработчиков на реальных больших проектах. Здесь каждое слово важно. Например, AI может одновременно с этим ускорять начинающих на маленьких проектах.

Моё мнение 👀: я думаю это правда. Во-первых, надо иметь серьезные основания, чтобы спорить с рандомизированным исследованием. Я искал до чего докопаться и не нашел. Во-вторых, это совпадает с моими личным опытом: я и сам записывал экран где Cursor пытается решить несложную реальную задачу, не заметил никакого ускорения. В-третьих, ускорение даже на 20% не стыкуется с реальностью. Если у нас уже два года вся разработка быстрее и дешевле на 20%, то где эффект? Я бы ожидал колоссальных изменений на рынке труда из-за сложного процента, но по факту пока ничего не произошло (недавние сокращения в бигтехах были из-за налогов на ФОТ в США).

В статье очень много интересных деталей. Например, что эффект сохраняется вне зависимости от используемого инструмента: пользуешься ты agentic mode, только TAB или вообще руками копипастишь в ChatGPT. Или что даже после 50+ часов использования Cursor не наступает никаких изменений, так что это не зависит от опыта работы с AI инструментами.

Я разберу интересные моменты в отдельных постах.

@boris_again