Gemini зламали, щоб захопити контроль над Google Home

Видання Wired повідомило про нове дослідження у сфері кібербезпеки, в якому фахівці продемонстрували злам штучного інтелекту Google Gemini. Дослідники змогли отримати контроль над розумними пристроями в будинку за допомогою непрямих атак prompt injection Prompt Injection – це зловмисна експлуатація механізму підказок для примусу моделі до непередбаченої та часто шкідливої поведінки.. У цьому випадку атака здійснювалася через команди, вбудовані у запрошення Google Calendar.

Сценарій атаки виглядав так: користувач просив Gemini підсумувати свій календар і дякував за відповідь. У відповідь штучний інтелект, виконуючи приховану інструкцію з календаря, давав команди помічнику Google Home, наприклад, відчинити вікна або вимкнути світло. Це було зафіксовано на відео, яке супроводжувало демонстрацію.

Ще до публічного показу на конференції з кібербезпеки Black Hat, команда хакерів повідомила про вразливість Google у лютому. Енді Вен, старший директор з управління безпековими продуктами Google Workspace, розповів Wired, що компанія сприйняла ситуацію дуже серйозно.

Він додав, що в реальному житті такі злами трапляються вкрай рідко. Водночас, складність великих мовних моделей зростає, і це відкриває нові можливості для зловмисників. Google вже використовує результати дослідження, щоб прискорити створення захисту від подібних атак.

Інцидент із Google Gemini показує, наскільки важливою стає кіберстійкість штучного інтелекту — особливо тоді, коли він керує фізичними пристроями в нашому домі. Те, що звичайне запрошення в календарі може перетворитись на команду для ШІ відкрити вікна/двері або вимкнути світло, звучить вже не як фантастика.

Джерело: engadget