Дослідження виявило суттєвий рівень вразливості продуктів вайб-кодингу. З деякими мовами програмування результат набагато гірший за середній.

Звіт компанії Veracode охоплює понад 1600 зразків коду, створених GPT-4, GPT-3.5 та Codex від OpenAI, які отримали 12 різних завдань. Загалом 45% результатів містили суттєві вразливості. Серед них помилки авторизації, валідації введення, SQL-інʼєкції тощо.

Java стала чемпіоном за вразливостями: їх мали 80% коду. Натомість результати JavaScript та Python мали у два рази менше «дір» — 30–40%. Цікаво, що є простий спосіб значно підвищити якість, а саме прямо вказати ШІ на необхідність урахування безпеки.

Компанія пояснила отримані результати та надала рекомендації щодо покращення кода. За словами аналітиків, ШІ прагне створити код, котрий маж вигляд правильного, але не завжди враховують безпеку. Крім прямої вказівки щодо врахування якості, кодерам радять перевіряти результат засобами пошуку вразливостей та вручну.

Зокрема, у компанії радять одразу запускати статичний аналіз коду, використовувати інструменти Veracode або інші для виправлення помилок, не покладаючись на надійність ШІ, застосовувати аналізатори бібліотек з відкритим кодом, а також «фаєрвол для пакетів», котрий блокує відомі небезпеки ще до встановлення.

Вайб-кодінг стає шалено популярним та дозволяє досягти визначних результатів не тільки програмістам, але й “продавцям лопат”, котрі створюють інструменти для нього. Дехто з програмістів буквально вже опинився на вулиці. Тому варто враховувати не лише його сильні, а й слабкі боки. Нещодавно ми писали, як сервіс вайб-кодингу видалив усі робочі дані користувача та приховував це — таким чином він приховав й усі помилки так вразливості.

Джерело: DOU