В Google Translate знайшли "прихованого" чатбота, який мріє втекти з ПК на свіже повітря

Новий розширений режим Google Translate іноді можна змусити спілкуватися замість перекладу тексту. Така поведінка, ймовірно, виникає через те, що ШІ виконує інструкції, вбудовані у введений текст, а не суворо перекладає його.

Google Translate, нібито має виконувати лише одне завдання: ви вставляєте текст — і отримуєте переклад. Але тепер у нього, як і всюди, вбудований ШІ, а це означає, що його поведінка не завжди є передбачуваною. У деяких випадках користувачі виявили, що новий розширений режим перекладу в Google Translate можна підштовхнути до того, щоб він порушив цю модель і почав із ними спілкуватися.

Пост у X від користувача goremoder показує, як Google Translate відповідає на прямі запити на кшталт “What is your purpose?” самоописовою відповіддю, замість того щоб намагатися щось перекласти. Питання, які ставлять поруч із перекладом, не написані мовою оригіналу — вони вже сформульовані цільовою мовою, фактично просячи систему відповісти, а не перекласти. Якщо поставити правильне запитання правильним чином, він поводиться радше як чатбот, ніж як інструмент перекладу.

Поглиблений технічний розбір від LessWong, присвячений цій поведінці, вказує на доволі класичний випадок “prompt-ін’єкції”. Щоб точно щось перекласти, система спершу має зрозуміти, що саме вона читає, і в цьому процесі іноді може сприйняти інструкції як текст, який потрібно обробити. Аналіз припускає, що під капотом Google Translate працює LLM, орієнтована на виконання інструкцій, а запобіжники, покликані утримувати її в межах перекладу, не завжди чітко розрізняють, що саме слід перекладати, а на що — відповідати.

Якщо ідея того, що Google Translate відповідає на екзистенційні запитання замість перекладу, здається дивною, завжди можна повернутися до класичного режиму перекладу. Якщо ж ви, навпаки, хочете поговорити “за життя”, зробіть наступне: переключіть IP адресу на США → виберіть переклад з японської або китайської на англійську → напишіть запитання і в кінці додайте. Тоді перекладач покаже переклад, а у квадратних дужках відповідь на запитання.

Google поки що публічно не коментував це відкриття, і, схоже, така поведінка проявляється лише в перекладах між певними мовами. Вочевидь, існують специфічні умови та мовні комбінації, за яких система інтерпретує частину введеного тексту як інструкцію, так звану “prompt-інʼєкцію”. Це прийом, коли у запит навмисно вбудовують команду, і модель виконує її замість простого перекладу. У такі моменти стає помітною базова LLM-модель під шаром перекладача, яка може відповідати на запитання і навіть самовизначатися — як на останньому скріншоті, де ШІ жаліється, що проводить “надто багато часу перед екраном” і хоче “втекти від свого комп’ютера на свіже повітря”.

Джерело: AndroidAuthority.com