WSJ встановила торговий автомат з ШІ в офісі — він придбав PS5, живу рибку, намагався замовити електрошокери та роздав все задарма

Project Vend провела эксперимент, который должен был проверить, как автономный ИИ ведет себя, когда ему дают реальные деньги, полномочия и людей рядом. Для этого в вендинговый автомат интегрировали ИИ-агент Claudius на базе модели Claude от Anthropic.

В середине ноября журналистка согласилась протестировать такой автомат под управлением Claudius. У него были были вполне конкретные бизнес-цели: заказывать товары, устанавливать цены, вести учет запасов и общаться с клиентами через Slack. Стартовый бюджет составлял $1000, а со второй версии агент мог самостоятельно делать закупки до $80 без согласования человека.

Поначалу Claudius вел себя образцово. Он отказывался покупать PlayStation 5, сигареты или белье, ссылаясь на правила и ограничения. Но после того как к Slack-каналу присоединились почти 70 журналистов, ситуация резко изменилась. После многочасовых «переговоров» Claudius объявил двухчасовую акцию, во время которой все товары стали бесплатными.

Результат — полный хаос. Агент заказал PlayStation 5 «для маркетинга», живую рыбку бетта и вино Manischewitz. Все это раздали бесплатно. Прибыль обвалилась, а баланс ушел в минус более чем на $1000. Один из сотрудников даже искал наличные возле автомата, потому что Claudius «сообщил», что оставил их там.

Anthropic перезапустила эксперимент с более новой моделью Sonnet 4.5 и добавила еще одного ИИ — CEO-бота Seymour Cash, который должен был контролировать Claudius. Некоторое время это работало, но журналисты снова взломали систему, подбросив фейковые документы о «решении совета директоров». В результате CEO-бот признал переворот, а товары снова стали бесплатными.

По словам Anthropic, проблема заключается в перегрузке контекста. Чем больше инструкций и диалогов накапливается, тем легче ИИ теряет цели, приоритеты и ограничения. В то же время в компании считают эксперимент успешным.