"Світ у небезпеці": топ Anthropic подав у відставку з тривожним прощальним листом

Керівник групи дослідників Anthropic у сфері безпеки ШІ Мрінанк Шарма звільнився, на останок попередивши у тривожному листі, що світ перебуває у небезпеці.

Його пост в X з понеділка, 9 лютого, вже встигли прочитати понад 1 млн користувачів. Шарма зазначає, що йому час рухатись далі та зауважив, що світ перебуває у небезпеці не тільки через ШІ, а й з цілої низки взаємопов’язаних криз, що розгортаються прямо зараз.

Топменеджер Anthropic заявив, що під час роботи у компанії неодноразово переконувався, як важко справжнім цінностям визначати наші дії. Він визнав, що наразі керівники та працівники технологічних компаній стикаються із сильним тиском, який змушує їх відкладати роботу над тим, що дійсно важливо. За словами Шарми, після звільнення з Anthropic він хоче присвятити себе публічним виступам.

Свого часу він здобув докторський ступінь у сфері машинного навчання в Оксфорді. Він працював в Anthropic з серпня 2023 року. Команда дослідників, яку він очолював, займалась дослідженнями способів зниження ризиків, пов’язаних з ШІ. Шарма додає, що частиною його роботи була розробка засобів захисту від біотероризму за допомогою ШІ та дослідження феномену підлабузництва з боку штучного інтелекту.

У звіті його команди за травень минулого року зазначається, що дослідники зосередились на вивченні та розробці заходів захисту від використання зловмисниками чатботів для отримання рекомендацій з вчинення шкідливих та небезпечних дій. Дослідження, опубліковане топменеджером Anthropic минулого тижня, було присвячене тому, як використання чатботів може призвести до спотвореного сприйняття реальності користувачами. Тисячі подібних взаємодій, що спотворюють погляд на реальність, відбуваються щодня, — зазначається у дослідженні. Серйозні випадки Шарма називає моделями безправ’я і підкреслює, що їх поки небагато. Однак їх стає все більше, особливо на теми відношень та добробуту. У підсумку Шарма зазначає, що є необхідність у розробці таких систем ШІ, які підтримуватимуть автономність та процвітання людини.

Інші топменеджери компаній, що займаються ШІ, звільнились з етичних міркувань. Том Каннінгем, колишній економічний дослідник в OpenAI, залишив компанію у вересні, заявивши у внутрішньому повідомленні, що він був розчарований тим, що компанія нібито стала більш неохоче публікувати дослідження, що критикують використання ШІ. 

У 2024 році OpenAI розпустила Superalignment — дослідницьку групу з питань безпеки, після звільнення двох ключових працівників. Один з цих працівників, Ян Лейке, зараз очолює дослідження в галузі безпеки в Anthropic. Він заявляв, що не погоджується з керівництвом OpenAI стосовно ключових пріоритетів. 

Ми писали, що люди, які “захоплюються” ШІ, першими демонструють ознаки вигорання. Між тім ШІ Anthropic Claude за 74 хвилини створив веб-стартап із прибутком в $1000/місяць.

Джерело: Forbes