Люди змушують Google Translate спілкуватися замість перекладати

Новый расширенный режим Google Translate иногда можно заставить общаться вместо перевода текста. Такое поведение, вероятно, возникает из-за того, что ИИ выполняет инструкции, встроенные во введенный текст, а не строго переводит его.

Google Translate, якобы должен выполнять только одну задачу: вы вставляете текст — и получаете перевод. Но теперь в него, как и везде, встроенный ИИ, а это значит, что его поведение не всегда предсказуемо. В некоторых случаях пользователи обнаружиличто новый расширенный режим перевода в Google Translate можно подтолкнуть к тому, чтобы он нарушил эту модель и начал с ними общаться.

Пост в X от пользователя goremoder показывает, как Google Translate отвечает на прямые запросы вроде «What is your purpose?» самоописательным ответом, вместо того чтобы пытаться что-то перевести. Вопросы, которые ставятся рядом с переводом, не написаны на языке оригинала — они уже сформулированы на целевом языке, фактически прося систему ответить, а не перевести. Если задать правильный вопрос правильно, он ведет себя скорее как чатбот, чем как инструмент перевода.

Углубленный технический разбор от LessWong, посвященный этому поведению, указывает на довольно классический случай «prompt-инъекции». Чтобы точно что-то перевести, система сначала должна понять, что именно она читает, и в этом процессе иногда может воспринять инструкции как текст, который нужно обработать. Анализ предполагает, что под капотом Google Translate работает LLM, ориентирована на выполнение инструкций, а предохранители, призванные удерживать ее в пределах перевода, не всегда четко различают, что именно следует переводить, а на что — отвечать.

Если идея того, что Google Translate отвечает на экзистенциальные вопросы вместо перевода, кажется странной, всегда можно вернуться к классическому режиму перевода. Если же вы, наоборот, хотите поговорить «за жизнь», сделайте следующее: переключите IP адрес на США → выберите перевод с японского или китайского на английский → напишите вопрос и в конце добавьте. Тогда переводчик покажет перевод, а в квадратных скобках ответ на вопрос.

Google пока что публично не комментировал это открытие, и, похоже, такое поведение проявляется лишь в переводах между определенными языками. Очевидно, существуют специфические условия и языковые комбинации, при которых система интерпретирует часть введенного текста как инструкцию, так называемую «prompt-инъекцию». Это прием, когда в запрос намеренно встраивают команду, и модель выполняет ее вместо простого перевода. В такие моменты становится заметной базовая LLM-модель под слоем переводчика, которая может отвечать на вопросы и даже самоопределение — как на последнем скриншоте, где ИИ жалуется, что проводит «слишком много времени перед экраном» и хочет «сбежать от своего компьютера на свежий воздух».