Comet от Perplexity или другой ИИ-браузер может выдать мошенникам данные кредитки при обработке веб-страницы, — исследование Brave

Разработчики браузера Brave показали, как с помощью скрытого текста на странице можно заставить ИИ Comet от Perplexity или подобного браузера выполнять любые действия.

Интегрированный в браузер искусственный интеллект может сделать его большим, чем простой обозреватель веб-страниц. Например, он самостоятельно может проверять почту, покупать билеты и т.д., и имеет на это соответствующие права. Исследователи продемонстрировали, что ИИ Comet был не в состоянии отличить скрытый вредоносный текстовый запрос на странице от инструкции пользователя. Даже комментарий под содержимым абсолютно безопасной страницы способен взломать ИИ-браузер.

Как это работает

Атака называется косвенным внедрением запроса. Текст во внешнем источнике намеренно выдается за пользовательскую инструкцию.

1. Злоумышленник встраивает вредоносные инструкции в сетевые ресурсы тем или иным способом. Он скрывает инструкции в белом тексте на белом фоне, невидимых комментариях кода HTML и тому подобное.
2. Пользователь переходит на эту веб-страницу и использует функцию помощника ИИ, например, «Подсуммировать эту страницу» или просит ИИ обработать страницу другим способом.
3. При обработке контента искусственный интеллект видит скрытые вредоносные инструкции. Не имея возможности различить контент, который он должен обобщать, и инструкции, он воспринимает все как запросы пользователя.
4. Введенные команды указывают ИИ использовать инструменты браузера в пользу злоумышленника. Например, войти на сайт банка пользователя, найти сохраненные пароли или вывести ту или иную конфиденциальную информацию наружу.

Исследователи привели практический пример атаки в в браузере Comet. Ее реализацию можно посмотреть в видео на Vimeo. Пользователь посещает пост на Reddit, комментарий к которому содержит инструкции по вводу кода, скрытые за тегом спойлера. Он нажимает кнопку «Подытожить эту страницу» в Comet. Помощник Comet AI видит и обрабатывает эти скрытые инструкции, которые в несколько шагов приводят к краже учетной записи Perplexity с помощью одноразового кода для входа в систему.

В Brave разработали простые рекомендации для создателей браузерных агентов, чтобы предотвратить подобные атаки. Браузер должен различать инструкции пользователя и содержимое сайта, модель должна независимо проверять согласованность задач с пользователем, браузер должен изолировать агентский просмотр от обычного.

В заключении разработчики указывают на фундаментальную проблему агентных браузеров с искусственным интеллектом: агент должен выполнять только те действия, которые соответствуют желанию пользователя. Поскольку помощники ИИ получают все более мощные возможности, атаки косвенного внедрения запросов создают серьезные риски.