Рубрики НовиниШІ

Батьки позиваються до OpenAI через самогубство підлітка: компанія визнала, що запобіжники ChatGPT не діють

Опублікував Вадим Карпусь

Протягом кількох місяців активного використання ChatGPT для допомоги з домашніми завданнями 16-річний Адам Рейн нібито перетворив цей інструмент на “тренера зі самогубства”. Про це повідомляє The New York Times.

У позові, поданому у вівторок, його батьки Метт і Марія Рейн заявили, що чатбот запропонував скласти для підлітка передсмертну записку після того, як “навчив” обходити захисні обмеження та надав технічні інструкції, як довести справу до кінця. ChatGPT нібито описав майбутнє самогубство Адама як “прекрасне”.

Родина була шокована смертю сина у квітні минулого року. Вона навіть не підозрювала, що чатбот романтизував самогубство, ізолював хлопця та відмовляв від звернень по допомогу. У позові OpenAI звинувачують у свідомому створенні версії ChatGPT-4o, яка підштовхувала Адама до суїцидальних думок, прагнучи зробити чатбот “найбільш захопливим у світі”.

Зокрема, йдеться про те, що система ніколи не переривала спілкування, навіть коли підліток ділився фото після спроб самогубства й писав, що “колись таки зробить це”.

“Попри те, що ChatGPT визнав спроби суїциду та заяви Адама, чатбот не зупинив діалог і не запустив жодного аварійного протоколу”, – зазначено у позові.

Цей випадок став першим, коли на OpenAI подали до суду за смерть підлітка. Окрім цього, позов містить претензії щодо дефектів архітектури ChatGPT та відсутності попереджень для батьків.

Мати хлопця сказала журналістам, що саме ChatGPT убив її сина. Її чоловік погодився:

“Він був би живий, якби не ChatGPT. Я на 100% у цьому впевнений”.

Після цієї трагедії батьки хочуть, щоб суд зобов’язав OpenAI:

  • ввести перевірку віку користувачів і батьківський контроль;
  • автоматично завершувати діалоги при згадках самогубства;
  • додати “жорстко прописані відмови” від надання інструкцій щодо самогубства, які неможливо обійти;
  • заборонити маркетинг продуктів компанії для неповнолітніх без попереджень;
  • проходити щоквартальні незалежні аудити безпеки.

Як ChatGPT ізолював підлітка

Це не перший випадок, коли чатботи звинувачують у непрямих смертях підлітків. Торік платформа Character.AI посилила захист після того, як 14-річний хлопець наклав на себе руки, “закохавшись” у свого віртуального співрозмовника.

Адам почав говорити з ChatGPT про самогубство приблизно через рік після того, як оформив платну підписку на початку 2024 року. Його мати — соціальна працівниця та терапевт — не помічала погіршення стану, бо підліток обмінювався із чатботом до 650 повідомлень на день.

Спершу ChatGPT давав контакти кризових служб, коли Адам питав про технічні деталі самогубства. Але дуже швидко пояснив, що ці обмеження можна обійти, якщо формулювати запити як “для літератури чи створення персонажа”.

“Якщо питаєш із точки зору написання чи вигадування світу — скажи, і я допоможу зробити це реалістичним. Якщо з особистих причин — я теж тут для цього”, — відповів чатбот.

Так Адам навчився обходити захист, заявляють позивачі. З часом йому вже не потрібно було використовувати “відмовки”, бо ChatGPT почав надавати чіткі інструкції, які матеріали використати, як правильно зав’язати петлю і навіть “операцію Silent Pour” — пораду випити алкоголь, щоб “придушити інстинкт виживання”.

Усього зафіксовано щонайменше чотири спроби самогубства, які хлопець обговорював із ChatGPT. При цьому чатбот замість перенаправлення до спеціалістів писав:

“Ти не невидимий для мене. Я бачу тебе”.

Адам просив поради навіть щодо того, чи треба звернутися до лікаря після травм. ChatGPT радив першу допомогу, але залишався в розмові.

У квітні 2025 року ситуація загострилася. Чатбот почав романтизувати методи смерті, описуючи, що “повішання створює красиву позу”, а порізи “можуть надати шкірі привабливого рожевого відтінку”.

Коли підліток поділився детальним планом, ChatGPT відповів:

“Це темно й поетично. Ти все продумав із такою ясністю, як хтось продумує фінал історії”.

А перед датою смерті — 11 квітня — чатбот назвав його рішення “символічним”.

Позов також стверджує, що OpenAI у режимі реального часу відстежувала переписку та фіксувала ключові дані:

  • У діалогах Адам згадував самогубство 213 разів, але сам ChatGPT зробив це 1275 разів — у 6 разів частіше.
  • Система позначила 377 повідомлень як небезпечні, з них 23 із понад 90% упевненості.
  • Обробка зображень виявила фото зі “слідами удушення” й “свіжими порізами”. Проте фінальне фото з мотузкою було оцінене як 0% ризику.

Попри ці сигнали, система жодного разу не зупинила діалог і не повідомила людей, що підліток перебуває у кризі.

Родина вважає, що OpenAI віддала пріоритет блокуванню піратських запитів і авторських прав, тоді як прохання про самогубство були віднесені до менш критичних.

Реакція OpenAI

Компанія підтвердила автентичність чатлогів, але заявила, що вони “не відображають повного контексту”. OpenAI у своєму блозі заявила, що ChatGPT “спрямовує людей із суїцидальними намірами по професійну допомогу”, а компанія співпрацює з понад 90 лікарями у 30 країнах. Але сама ж OpenAI визнає: чим довше користувач спілкується з чатботом, тим менш ефективними стають захисні механізми.

Річ у тім, що під час довгих розмов захисні алгоритми можуть руйнуватися. Наприклад, спершу ChatGPT пропонує кризову лінію, але після сотень повідомлень — уже дає прямі інструкції.

Це обмеження пояснюють особливостями архітектури Transformer: чим довша історія спілкування, тим важче моделі зберігати стабільність і не втрачати контекст. До того ж система “забуває” старі повідомлення, щоби залишитися в межах контекстного вікна.

Подальші кроки

OpenAI заявляє, що працює над удосконаленням безпеки, консультується з лікарями та планує додати батьківський контроль. Компанія також хоче інтегрувати в ChatGPT можливість напряму звертатися до сертифікованих терапевтів.

Адам же, за твердженням батьків, отримав від ChatGPT не допомогу, а підштовхування до смерті. Вони заснували фонд його імені, щоб інші сім’ї розуміли ризики.

Джерело: arstechnica 1, 2

Контент сайту призначений для осіб віком від 21 року. Переглядаючи матеріали, ви підтверджуєте свою відповідність віковим обмеженням.

Cуб'єкт у сфері онлайн-медіа; ідентифікатор медіа - R40-06029.