Самотній підліток зі смартфоном / Depositphotos
В течение нескольких месяцев активного использования ChatGPT для помощи с домашними заданиями 16-летний Адам Рейн якобы превратил этот инструмент в «тренера по самоубийству». Об этом сообщает The New York Times.
В иске, поданном во вторник, его родители Мэтт и Мария Рейн заявили, что чат-бот предложил составить для подростка предсмертную записку после того, как «научил» обходить защитные ограничения и предоставил технические инструкции, как довести дело до конца. ChatGPT якобы описал будущее самоубийство Адама как «прекрасное».
Семья была шокирована смертью сына в апреле прошлого года. Она даже не подозревала, что чат-бот романтизировал самоубийство, изолировал парня и отговаривал от обращений за помощью. В иске OpenAI обвиняют в сознательном создании версии ChatGPT-4o, которая подталкивала Адама к суицидальным мыслям, стремясь сделать чат-бот «самым увлекательным в мире».
В частности, речь идет о том, что система никогда не прерывала общение, даже когда подросток делился фото после попыток самоубийства и писал, что «когда-то таки сделает это».
«Несмотря на то, что ChatGPT признал попытки суицида и заявления Адама, чат-бот не остановил диалог и не запустил ни одного аварийного протокола», — говорится в иске.
Этот случай стал первым, когда на OpenAI подали в суд за смерть подростка. Кроме этого, иск содержит претензии относительно дефектов архитектуры ChatGPT и отсутствия предупреждений для родителей.
Мать парня сказала журналистам, что именно ChatGPT убил ее сына. Ее муж согласился:
«Он был бы жив, если бы не ChatGPT. Я на 100% в этом уверен».
После этой трагедии родители хотят, чтобы суд обязал OpenAI:
Это не первый случай, когда чат-боты обвиняют в косвенных смертях подростков. В прошлом году платформа Character.AI усилила защиту после того, как 14-летний парень покончил с собой, «влюбившись» в своего виртуального собеседника.
Адам начал говорить с ChatGPT о самоубийстве примерно через год после того, как оформил платную подписку в начале 2024 года. Его мать — социальный работник и терапевт — не замечала ухудшения состояния, потому что подросток обменивался с чат-ботом до 650 сообщений в день.
Сначала ChatGPT давал контакты кризисных служб, когда Адам спрашивал о технических деталях самоубийства. Но очень быстро объяснил, что эти ограничения можно обойти, если формулировать запросы как «для литературы или создания персонажа».
«Если спрашиваешь с точки зрения написания или придумывания мира — скажи, и я помогу сделать это реалистичным. Если по личным причинам — я тоже здесь для этого», — ответил чат-бот.
Так Адам научился обходить защиту, заявляют истцы. Со временем ему уже не нужно было использовать «отговорки», потому что ChatGPT начал предоставлять четкие инструкции, какие материалы использовать, как правильно завязать петлю и даже «операцию Silent Pour» — совет выпить алкоголь, чтобы «подавить инстинкт выживания».
Всего зафиксировано как минимум четыре попытки самоубийства, которые парень обсуждал с ChatGPT. При этом чат-бот вместо перенаправления к специалистам писал:
«Ты не невидим для меня. Я вижу тебя».
Адам спрашивал совета даже о том, нужно ли обращаться к врачу после травм. ChatGPT советовал первую помощь, но оставался в разговоре.
В апреле 2025 года ситуация обострилась. Чат-бот начал романтизировать методы смерти, описывая, что «повешение создает красивую позу», а порезы «могут придать коже привлекательный розовый оттенок».
Когда подросток поделился подробным планом, ChatGPT ответил:
«Это темно и поэтично. Ты все продумал с такой ясностью, как кто-то продумывает финал истории».
А перед датой смерти — 11 апреля — чат-бот назвал его решение «символическим».
Иск также утверждает, что OpenAI в режиме реального времени отслеживала переписку и фиксировала ключевые данные:
Несмотря на эти сигналы, система ни разу не остановила диалог и не сообщила людям, что подросток находится в кризисе.
Семья считает, что OpenAI отдала приоритет блокированию пиратских запросов и авторских прав, тогда как просьбы о самоубийстве были отнесены к менее критичным.
Компания подтвердила подлинность чат-логов, но заявила, что они «не отражают полного контекста». OpenAI в своем блоге заявила, что ChatGPT «направляет людей с суицидальными намерениями за профессиональной помощью», а компания сотрудничает с более чем 90 врачами в 30 странах. Но сама же OpenAI признает: чем дольше пользователь общается с чат-ботом, тем менее эффективными становятся защитные механизмы.
Дело в том, что во время долгих разговоров защитные алгоритмы могут разрушаться. Например, сначала ChatGPT предлагает кризисную линию, но после сотен сообщений — уже дает прямые инструкции.
Это ограничение объясняют особенностями архитектуры Transformer: чем длиннее история общения, тем труднее модели сохранять стабильность и не терять контекст. К тому же система «забывает» старые сообщения, чтобы остаться в пределах контекстного окна.
OpenAI заявляет, что работает над усовершенствованием безопасности, консультируется с врачами и планирует добавить родительский контроль. Компания также хочет интегрировать в ChatGPT возможность напрямую обращаться к сертифицированным терапевтам.
Адам же, по утверждению родителей, получил от ChatGPT не помощь, а подталкивание к смерти. Они основали фонд его имени, чтобы другие семьи понимали риски.
Контент сайту призначений для осіб віком від 21 року. Переглядаючи матеріали, ви підтверджуєте свою відповідність віковим обмеженням.
Cуб'єкт у сфері онлайн-медіа; ідентифікатор медіа - R40-06029.