Comet від Perplexity або інший ШІ-браузер може видати зловмисникам дані кредитки під час обробки вебсторінки, — дослідження Brave

Розробники браузера Brave показали, як за допомогою прихованого тексту на сторінці можна змусити ШІ Comet від Perplexity або подібного браузера виконувати будь-які дії.

Інтегрований у браузер штучний інтелект може зробити його більшим, ніж простий оглядач вебсторінок. Наприклад він може перевіряти пошту, купувати квитки тощо, і має на це відповідні права. Дослідники продемонстрували, що ШІ Comet був не в змозі відрізнити прихований шкідливий текстовий запит на сторінці від інструкції користувача. Навіть коментар під вмістом абсолютно безпечної сторінки здатний зламати ШІ-браузер.

Як це працює

Атака має назву непрямого впровадження запиту. Текст у зовнішньому джерелі навмисно видається за користувацьку інструкцію.

1. Зловмисник вбудовує шкідливі інструкції у мережеві ресурси у той чи інший спосіб. Він приховує інструкції у білому тексті на білому тлі, невидимих коментарях коду HTML тощо.
2. Користувач переходить на цю вебсторінку та використовує функцію помічника ШІ, наприклад, «Підсумувати цю сторінку» або просять ШІ обробити сторінку в інший спосіб.
3. Під час обробки вмісту штучний інтелект бачить приховані шкідливі інструкції. Не маючи можливості розрізнити вміст, який він повинен узагальнювати, та інструкції, він сприймає усе як запити користувача.
4. Введені команди вказують ШІ використати інструменти браузера на користь зловмисника. Наприклад, увійти на сайт банку користувача, знайти збережені паролі або вивести ту чи іншу конфіденційну інформацію назовні.

Дослідники навели практичний приклад атаки у браузері Comet. Її реалізацію можна подивитися у відео на Vimeo. Користувач відвідує публікацію на Reddit, коментар до якої містить інструкції щодо введення коду, приховані за тегом спойлеру. Він натискає кнопку «Підсумувати цю сторінку» у Comet. Помічник Comet AI бачить та обробляє ці приховані інструкції, котрі у кілька кроків призводять до викрадення облікового запису Perplexity за допомогою одноразового коду для входу.

У Brave розробили прості рекомендації для творців браузерних агентів, щоб запобігти подібним атакам. Браузер повинен розрізняти інструкції користувача та вміст сайту, модель повинна незалежно перевіряти узгодженість завдань з користувачем, браузер має ізолювати агентний перегляд від звичайного.

У висновку розробники вказують на фундаментальну проблему агентних браузерів зі штучним інтелектом: агент має виконувати лише ті дії, які відповідають бажанням користувача. Оскільки помічники ШІ отримують дедалі потужніші можливості, атаки непрямого впровадження запитів створюють серйозні ризики.