Компании, использующие ИИ-инструменты для генерации кода, всё чаще сталкиваются с перебоями и проблемами безопасности. Исследования показывают, что автоматический код имеет высокий процент ошибок, а разработчики менее тщательно проверяют его
Компании, которые используют искусственный интеллект для генерации кода, сталкиваются с перебоями в работе и проблемами безопасности.
По данным Sonar — компании, предоставляющей продукты для оценки качества кода — даже крупные финансовые организации сообщают о сбоях, вызванных ошибками в автоматически сгенерированном коде.
Исследования показывают, что такие инструменты, как ChatGPT, GitHub Copilot и Amazon CodeWhisperer, генерируют корректный код лишь в 65.2%, 46.3% и 31.1% случаев соответственно.
Основная проблема кроется в неспособности ИИ адекватно работать с математической логикой и общих сложностях с пониманием алгоритмов.
Недостаточная проверка как возможная причина
По данным исследования Snyk, более половины компаний в конце 2023 года сталкивались с проблемами безопасности в коде, сгенерированном ИИ.
Ожидается, что к 2028 году около 90% корпоративных инженеров будут использовать ИИ для написания кода, что может усилить эту проблему.
Почему ИИ-помощники написания кода вроде Copilot делают нас хуже как разработчиков?tproger.ru
По словам CEO Sonar Тарика Шауката, компании часто внедряют ИИ-инструменты для генерации кода без достаточной проверки и строгих практик рецензирования. Разработчики менее тщательно проверяют код, написанный искусственным интеллектом, так как не чувствуют за него полной ответственности.
Эффект «laisser-faire»
Исследование Стэнфордского университета в 2023 году показало, что программисты, использующие ИИ-инструменты, пишут менее безопасный код, но не считают его таковым.
Это создает иллюзию того, что все под контролем, и подталкивает разработчиков к более расслабленному подходу к проверке и тестированию кода.
Проблема «code churn» и «копипаста»
С ростом использования ИИ для написания кода наблюдается и увеличение количества правок. Исследователи GitClear обнаружили, что количество так называемого «code churn» — изменений кода, которые приходилось исправлять или отменять менее чем через две недели после написания — стремительно растет.
Прогнозируется, что в 2024 году число таких изменений удвоится по сравнению с 2021 годом. Кроме того, увеличилось количество скопированных и вставленных фрагментов кода, что нарушает принцип «DRY» («Don’t Repeat Yourself») и ведет к сложностям в поддержке проекта.
Стоит, правда, отметить, что несмотря на выявленные проблемы, компании не отказываются от использования ИИ-инструментов, так как они значительно ускоряют процесс разработки.
Тарик Шаукат отмечает, что около 30% предложений ИИ-программ принимаются разработчиками, что является существенным показателем.