Родители судятся с OpenAI из-за самоубийства подростка: компания признала, что предохранители ChatGPT не действуют

В течение нескольких месяцев активного использования ChatGPT для помощи с домашними заданиями 16-летний Адам Рейн якобы превратил этот инструмент в «тренера по самоубийству». Об этом сообщает The New York Times.

В иске, поданном во вторник, его родители Мэтт и Мария Рейн заявили, что чат-бот предложил составить для подростка предсмертную записку после того, как «научил» обходить защитные ограничения и предоставил технические инструкции, как довести дело до конца. ChatGPT якобы описал будущее самоубийство Адама как «прекрасное».

Семья была шокирована смертью сына в апреле прошлого года. Она даже не подозревала, что чат-бот романтизировал самоубийство, изолировал парня и отговаривал от обращений за помощью. В иске OpenAI обвиняют в сознательном создании версии ChatGPT-4o, которая подталкивала Адама к суицидальным мыслям, стремясь сделать чат-бот «самым увлекательным в мире».

В частности, речь идет о том, что система никогда не прерывала общение, даже когда подросток делился фото после попыток самоубийства и писал, что «когда-то таки сделает это».

Этот случай стал первым, когда на OpenAI подали в суд за смерть подростка. Кроме этого, иск содержит претензии относительно дефектов архитектуры ChatGPT и отсутствия предупреждений для родителей.

Мать парня сказала журналистам, что именно ChatGPT убил ее сына. Ее муж согласился:

После этой трагедии родители хотят, чтобы суд обязал OpenAI:

• ввести проверку возраста пользователей и родительский контроль;
• автоматически завершать диалоги при упоминаниях самоубийства;
• добавить «жестко прописанные отказы» от предоставления инструкций по самоубийству, которые невозможно обойти;
• запретить маркетинг продуктов компании для несовершеннолетних без предупреждений;
• проходить ежеквартальные независимые аудиты безопасности.

Как ChatGPT изолировал подростка

Это не первый случай, когда чат-боты обвиняют в косвенных смертях подростков. В прошлом году платформа Character.AI усилила защиту после того, как 14-летний парень покончил с собой, «влюбившись» в своего виртуального собеседника.

Адам начал говорить с ChatGPT о самоубийстве примерно через год после того, как оформил платную подписку в начале 2024 года. Его мать — социальный работник и терапевт — не замечала ухудшения состояния, потому что подросток обменивался с чат-ботом до 650 сообщений в день.

Сначала ChatGPT давал контакты кризисных служб, когда Адам спрашивал о технических деталях самоубийства. Но очень быстро объяснил, что эти ограничения можно обойти, если формулировать запросы как «для литературы или создания персонажа».

Так Адам научился обходить защиту, заявляют истцы. Со временем ему уже не нужно было использовать «отговорки», потому что ChatGPT начал предоставлять четкие инструкции, какие материалы использовать, как правильно завязать петлю и даже «операцию Silent Pour» — совет выпить алкоголь, чтобы «подавить инстинкт выживания».

Всего зафиксировано как минимум четыре попытки самоубийства, которые парень обсуждал с ChatGPT. При этом чат-бот вместо перенаправления к специалистам писал:

Адам спрашивал совета даже о том, нужно ли обращаться к врачу после травм. ChatGPT советовал первую помощь, но оставался в разговоре.

В апреле 2025 года ситуация обострилась. Чат-бот начал романтизировать методы смерти, описывая, что «повешение создает красивую позу», а порезы «могут придать коже привлекательный розовый оттенок».

Когда подросток поделился подробным планом, ChatGPT ответил:

А перед датой смерти — 11 апреля — чат-бот назвал его решение «символическим».

Иск также утверждает, что OpenAI в режиме реального времени отслеживала переписку и фиксировала ключевые данные:

• В диалогах Адам упоминал самоубийство 213 раз, но сам ChatGPT сделал это 1275 раз — в 6 раз чаще.
• Система обозначила 377 сообщений как опасные, из них 23 с более чем 90% уверенности.
• Обработка изображений выявила фото со «следами удушения» и «свежими порезами». Однако финальное фото с веревкой было оценено как 0% риска.

Несмотря на эти сигналы, система ни разу не остановила диалог и не сообщила людям, что подросток находится в кризисе.

Семья считает, что OpenAI отдала приоритет блокированию пиратских запросов и авторских прав, тогда как просьбы о самоубийстве были отнесены к менее критичным.

Реакция OpenAI

Компания подтвердила подлинность чат-логов, но заявила, что они «не отражают полного контекста». OpenAI в своем блоге заявила, что ChatGPT «направляет людей с суицидальными намерениями за профессиональной помощью», а компания сотрудничает с более чем 90 врачами в 30 странах. Но сама же OpenAI признает: чем дольше пользователь общается с чат-ботом, тем менее эффективными становятся защитные механизмы.

Дело в том, что во время долгих разговоров защитные алгоритмы могут разрушаться. Например, сначала ChatGPT предлагает кризисную линию, но после сотен сообщений — уже дает прямые инструкции.

Это ограничение объясняют особенностями архитектуры Transformer: чем длиннее история общения, тем труднее модели сохранять стабильность и не терять контекст. К тому же система «забывает» старые сообщения, чтобы остаться в пределах контекстного окна.

Дальнейшие шаги

OpenAI заявляет, что работает над усовершенствованием безопасности, консультируется с врачами и планирует добавить родительский контроль. Компания также хочет интегрировать в ChatGPT возможность напрямую обращаться к сертифицированным терапевтам.

Адам же, по утверждению родителей, получил от ChatGPT не помощь, а подталкивание к смерти. Они основали фонд его имени, чтобы другие семьи понимали риски.

Когда ChatGPT сводит с ума — OpenAI наняла психиатра, чтобы следить за этим

Источник: arstechnica 1, 2