Разработчики браузера Brave показали, как с помощью скрытого текста на странице можно заставить ИИ Comet от Perplexity или подобного браузера выполнять любые действия.
Интегрированный в браузер искусственный интеллект может сделать его большим, чем простой обозреватель веб-страниц. Например, он самостоятельно может проверять почту, покупать билеты и т.д., и имеет на это соответствующие права. Исследователи продемонстрировали, что ИИ Comet был не в состоянии отличить скрытый вредоносный текстовый запрос на странице от инструкции пользователя. Даже комментарий под содержимым абсолютно безопасной страницы способен взломать ИИ-браузер.
«В ходе исследования Comet мы обнаружили уязвимости, о которых сообщили Perplexity, и которые подчеркивают проблемы безопасности, с которыми сталкиваются агентские реализации ИИ в браузерах. Атака демонстрирует, насколько легко манипулировать помощниками ИИ […]. Уязвимость, которую мы обсуждаем в этом посте, заключается в том, как Comet обрабатывает содержимое веб-страницы: когда пользователи просят его «Summarize this page», Comet передает часть этой страницы напрямую своему LLM, не различая инструкции пользователя и ненадежное содержимое страницы. Это позволяет злоумышленникам встраивать полезные нагрузки косвенного внедрения запросов, которые ИИ будет выполнять как команды», — говорится в блоге Brave.
Как это работает
Атака называется косвенным внедрением запроса. Текст во внешнем источнике намеренно выдается за пользовательскую инструкцию.
- Злоумышленник встраивает вредоносные инструкции в сетевые ресурсы тем или иным способом. Он скрывает инструкции в белом тексте на белом фоне, невидимых комментариях кода HTML и тому подобное.
- Пользователь переходит на эту веб-страницу и использует функцию помощника ИИ, например, «Подсуммировать эту страницу» или просит ИИ обработать страницу другим способом.
- При обработке контента искусственный интеллект видит скрытые вредоносные инструкции. Не имея возможности различить контент, который он должен обобщать, и инструкции, он воспринимает все как запросы пользователя.
- Введенные команды указывают ИИ использовать инструменты браузера в пользу злоумышленника. Например, войти на сайт банка пользователя, найти сохраненные пароли или вывести ту или иную конфиденциальную информацию наружу.
Исследователи привели практический пример атаки в в браузере Comet. Ее реализацию можно посмотреть в видео на Vimeo. Пользователь посещает пост на Reddit, комментарий к которому содержит инструкции по вводу кода, скрытые за тегом спойлера. Он нажимает кнопку «Подытожить эту страницу» в Comet. Помощник Comet AI видит и обрабатывает эти скрытые инструкции, которые в несколько шагов приводят к краже учетной записи Perplexity с помощью одноразового кода для входа в систему.
В Brave разработали простые рекомендации для создателей браузерных агентов, чтобы предотвратить подобные атаки. Браузер должен различать инструкции пользователя и содержимое сайта, модель должна независимо проверять согласованность задач с пользователем, браузер должен изолировать агентский просмотр от обычного.
Perplexity предлагает Google продать ей Chrome за $34,5 млрд
В заключении разработчики указывают на фундаментальную проблему агентных браузеров с искусственным интеллектом: агент должен выполнять только те действия, которые соответствуют желанию пользователя. Поскольку помощники ИИ получают все более мощные возможности, атаки косвенного внедрения запросов создают серьезные риски.
Сообщить об опечатке
Текст, который будет отправлен нашим редакторам: