13-річний підліток опинився за ґратами після того, як він запитав в ChatGPR “як вбити мого друга посеред уроку”. Він здогадався зробити запит прямо на шкільному ПК.

Інцидент трапився в Південно-західній середній школі міста Деланд, штат Флорида. Після того як школяр запитав чатбот — його зафіксувала система моніторингу Gaggle, що відстежує активність учнів за допомогою ШІ. Інформацію миттєво передали шкільному поліціянту. Він разом з адміністрацією школи почали розбиратися в ситуації.

Коли хлопчика забрали прямо посеред уроку, то він став виправдовуватися, що просто “тролив” свого друга. Попри заяви підлітка, його все одно затримала поліція. Після купи випадків зі шкільними стрілянинами — з ним вирішили не церемонитися. Хлопця доставили до окружної в’язниці. А мережею розлетілося відео, як підлітка виводять з поліцейської машини.

Швидка реакція поліції стала можливою завдяки Gaggle, а не OpenAI, котра визнавала проблему відсутності запобіжників в їхньому ChatGPT. Система, яка встановлена на шкільних пристроях, здатна виявляти тривожну поведінку, спрямовану на себе чи інших. А також вона блокує неприйнятний контент. Хоча Gaggle неодноразово опинялася в центрі суперечок: її критикують за численні хибні спрацьовування та створення атмосфери тотального нагляду в школах.

Якщо вирвати ситуацію з контексту та уявити, що запит міг бути серйозним (або уявити будь-який інший схожий на цей) — навряд чи вдалося викрити потенційного злочинця. Наразі чатботи на кшталт ChatGPT не мають реальних інструментів для повідомлення поліції або швидкої допомоги. Як результат ми чули про випадки, коли ексдиректор Yahoo вбив себе і матір або дівчина вчинила самогубство, хоча місяцями ділилася переживаннями з чатботом. На цьому фоні історія про айтішника та його “цифрового бога” ChatGPT здається ще “квіточками”.

Компанія заявляла, що працює над підвищенням безпеки, батьківським контролем та змінами у моделі реагування на ознаки стресу користувачів. Принаймні останній пункт вже реалізовано, але через це ChatGPT почав “тупішати”. Утім реально відреагувати на ситуацію змогла лише шкільна система, навіть якщо підліток просто жартував над другом. Хоча подібна функція для всіх користувачів ставить під загрозу захист особистих даних, конфіденційність та право на приватність.

Джерело: Futurism