Depositphotos
Руководитель группы исследователей Anthropic в сфере безопасности ИИ Мринанк Шарма уволился, напоследок предупредив в тревожном письме, что мир находится в опасности.
Его пост в X с понедельника, 9 февраля, уже успели прочитать более 1 млн пользователей. Шарма отмечает, что ему пора двигаться дальше и заметил, что мир находится в опасности не только из-за ИИ, но и из-за целого ряда взаимосвязанных кризисов, которые разворачиваются прямо сейчас.
Топ-менеджер Anthropic заявил, что во время работы в компании неоднократно убеждался, как трудно настоящим ценностям определять наши действия. Он признал, что сейчас руководители и работники технологических компаний сталкиваются с сильным давлением, которое заставляет их откладывать работу над тем, что действительно важно. По словам Шармы, после увольнения из Anthropic он хочет посвятить себя публичным выступлениям.
«Похоже, мы приближаемся к порогу, когда наша мудрость должна расти одинаково с нашей способностью влиять на мир, иначе нас ждут последствия», — предупреждает Шарма в своем письме.
В свое время он получил докторскую степень в области машинного обучения в Оксфорде. Он работал в Anthropic с августа 2023 года. Команда исследователей, которую он возглавлял, занималась исследованиями способов снижения рисков, связанных с ИИ. Шарма добавляет, что частью его работы была разработка средств защиты от биотерроризма с помощью ИИ и исследования феномена подхалимства со стороны искусственного интеллекта.
В отчёте его команды за май прошлого года отмечается, что исследователи сосредоточились на изучении и разработке мер защиты от использования злоумышленниками чат-ботов для получения рекомендаций по совершению вредных и опасных действий. Исследование, опубликованное топ-менеджером Anthropic на прошлой неделе, было посвящено тому, как использование чат-ботов может привести к искаженному восприятию реальности пользователями. Тысячи подобных взаимодействий, искажающих взгляд на реальность, происходят ежедневно, — отмечается в исследовании. Серьезные случаи Шарма называет моделями бесправия и подчеркивает, что их пока немного. Однако их становится все больше, особенно на темы отношений и благосостояния. В итоге Шарма отмечает, что есть необходимость в разработке таких систем ИИ, которые будут поддерживать автономность и процветание человека.
Другие топ-менеджеры компаний, занимающихся ИИ, уволились по этическим соображениям Том Каннингем, бывший экономический исследователь в OpenAI, покинул компанию в сентябре, заявив во внутреннем сообщении, что он был разочарован тем, что компания якобы стала более неохотно публиковать исследования, критикующие использование ИИ
В 2024 году OpenAI распустила Superalignment — исследовательскую группу по вопросам безопасности, после увольнения двух ключевых работников. Один из этих работников, Ян Лейке, сейчас возглавляет исследования в области безопасности в Anthropic. Он заявлял, что не согласен с руководством OpenAI относительно ключевых приоритетов
Мы писали, что люди, которые «восхищаются» ИИ, первыми демонстрируют признаки выгорания. Между тем ИИ Anthropic Клод за 74 минуты создал веб-стартап с прибылью в $1000/месяц.
Источник: Forbes
Контент сайту призначений для осіб віком від 21 року. Переглядаючи матеріали, ви підтверджуєте свою відповідність віковим обмеженням.
Cуб'єкт у сфері онлайн-медіа; ідентифікатор медіа - R40-06029.