Поделиться
ИИ-ассистенты вредят программистам вместо того, чтобы помогать. Они замедляют разработку почти на 20%. Опрос
ИИ-ассистенты разработчика ПО вовсе не помогают программистам быстрее и качественнее писать код. Новое исследование показало, что использование таких инструментов, вопреки логике, зачастую замедляет процесс разработки софта. Притом падение производительности существенное – в среднем на 19%.
Помощники или вредители
Виртуальные помощники программиста, расплодившиеся за последние четыре года, могут оказывать разработчикам ПО медвежью услугу. Исследование независимой аналитической команды METR показало, что ИИ-программисты снижают производительность своих живых коллег, притом в среднем на 19%.
METR провела рандомизированное контролируемое исследование, набрав 16 опытных разработчиков ПО с открытым исходным кодом и поручив им выполнить 246 реальных задач в крупных репозиториях кода, в которые они регулярно вносят свой вклад. В описании к примерно половине задач из этого списка стояло примечание «Разрешено использование ИИ», что позволяло разработчикам обращаться за помощью к виртуальным ассистентам при их выполнении. В других задачах применение таких инструментов прямо запрещалось
Таких ассистентов сейчас действительно очень много – к самым известным относятся Copilot корпорации Microsoft, а также Cursor. В России тоже есть подобные сервисы, например GigaCode за авторством Сбербанка. В основе таких проектов всегда лежит нейросеть, а то и не одна. Многие проекты задействуют нейронки от OpenAI, Google DeepMind, Anthropic и xAI.
Неожиданные результаты
Участники эксперимента с самого начала были крайне оптимистично настроены по отношению к тому, как на самом деле ИИ-помощники повлияют на процесс программирования. Между тем, полученными входе опыта результаты оказались гораздо хуже спрогнозированных, притом намного.
Программисты не сомневались, что нейросети сократят время выполнения поставленных перед ними задач (с соответствующей пометкой) в среднем на 24%, но этого и близко не произошло. Судя по всему, даже авторы исследования не ожидали, что получат настолько шокирующие результаты, идущие вразрез со всем тем, что вещают авторы ИИ-ассистентов, привлекая пользователей и продвигая платные версии своих нейросетей.
«Удивительно, но мы обнаружили, что использование ИИ фактически увеличивает время выполнения на 19% – разработчики работают медленнее, когда используют инструменты ИИ», – заявили исследователи.
Когда опыт бесполезен
Как пишет TechCrunch, среди участников эксперимента больше половины имели опыт работы с Cursor – таковых набралось 56%. Авторы проекта предлагали подопытным использовать именно его. Исследователи отмечают, что разработчики прошли обучение работе с Cursor в рамках подготовки к исследованию.
При этом почти все программисты (94% испытуемых) хотя бы раз пользовались нейронками при выполнении работы.
Результаты исследования наглядно демонстрируют, что даже отточенное умение делать правильные запросы нейросетям никак не ускоряет процесс создания программы. Это означает, в том числе, что так называемый «вайбкодинг» вовсе не повышает темпы разработки.
Зачем работать, когда можно не работать
Вайбкодинг – новейший термин. Так называется процесс программирования, в котором весь код за автора пишет нейросеть, а сам разработчик лишь вводит новые запросы, притом на обычном, естественном языке, полируя код.
Такое «программирование» позволяет разработчикам зарабатывать, фактически не работая. Как сообщал CNews, вайбкодинг стал набирать популярность сравнительно недавно, в начале 2025 г.
Исследователи METR указывают на несколько потенциальных причин, по которым ИИ замедляет работу разработчиков, а не ускоряет ее. В числе прочего, они уверены, что написание корректных промптов (запросов) к нейросети и ожидание ответа в совокупности отнимает больше времени, нежели написание кода вручную.
Кроме того, ИИ, как правило, испытывает трудности в больших и сложных кодовых базах. Они как раз и использовалось в исследовании.
Все не так однозначно
Авторы исследования стараются не делать каких-либо однозначных выводов из этих результатов, прямо отмечая, что, по их мнению, системы ИИ в настоящее время не способны ускорить работу многих или большинства разработчиков программного обеспечения. Вероятно, конкретные выводы они не делают потому, что подобные исследования проводились и раньше, и многие из них показывали противоположные результаты, отмечает TechCrunch. В них говорилось как раз, что инструменты программирования на основе ИИ действительно ускоряют рабочие процессы инженеров-программистов.
В METR также отмечают, что в последние годы ИИ добился значительного прогресса, и что они не ожидают аналогичных результатов даже через три месяца. При этом не стоит забывать, что написанный ИИ код крайне далек от идеала. Другие исследования показали, что современные инструменты программирования на основе нейросетей могут допускать ошибки и, в некоторых случаях, создавать «дыры» безопасности.
Короткая ссылка
