Група дослідників створила штучного «хробака» на основі ШІ, — шкідливу програму, яка може викрадати дані, поширювати інше зловмисне ПЗ та розсилати спам іншим через електронну пошту. «Хробак» з назвою Morris II був розроблений та успішно функціонує в тестовому середовищі з використанням популярних LLM.
Ґрунтуючись на своїх висновках, дослідники розробили поради для виробників генеративних ШІ та наголосили на потенційній небезпеці шкідливого програмування. Команда поділилася дослідженням та опублікувала відео, яке показує, як використовуються два методи для крадіжки даних та впливу на клієнти електронної пошти.
Творцями експерименту стали Бен Нассі з Корнельского університету, США, Став Коен з Ізраїльського технологічного інституту та Рон Біттон з компанії-виробника ПЗ Intuit. Вони назвали його Morris II на честь оригінального Morris, першого комп’ютерного «хробака», який у 1988 році створив масштабні неприємності в інтернеті. ПЗ працює, націлюючись на програми генеративного ШІ та з помічниками електронної пошти з підтримкою ШІ, які генерують текст та зображення — Gemini Pro, ChatGPT 4.0 та LLaVA.
Він працює за допомогою самовідтворюваної підказки, яка використовується проти моделей, подібно до того, як джейлбрейк працює для поширення токсичного вмісту за допомогою ШІ. Дослідники продемонстрували це створенням системи електронної пошти з цими генеративними механізмами штучного інтелекту та використовуючи підказку, що самовідтворюється з тексту або вбудованого файлу зображення.
Текстове повідомлення заражає помічника електронної пошти, який використовує LLM, щоб скористатися додатковими даними ззовні системи, які потім надсилаються до GPT-4 або Gemini Pro для створення текстового вмісту. Цей вміст зламує сервіс ШІ та успішно викрадає дані. Інший метод кодує самовідновлювальну підказку у зображенні та змушує помічника електронної пошти пересилати повідомлення, що містять потрібний зміст, усім, заражаючи нові клієнти електронної пошти та пересилаючи заражені повідомлення далі. Під час обох експериментів дослідники могли отримати конфіденційну інформацію, включаючи дані кредитної картки та номери соціального страхування.
ШІ-«хробак», який реально функціонує навіть у контрольованому середовищі, доводить, що така можливість більше не є теоретичною та потребує серйозного розгляду та ефективних рішень.
Створене за допомогою ChatGPT шкідливе ПЗ для крадіжки даних пройшло перевірку на VirusTotal
Джерело: Tom`s Harware