Чатбот Claude місяць керував «міні-магазином» — втратив $200, збожеволів і поїхав на бізнес-зустріч до Сімпсонів

Опублікував Маргарита Юзяк

Модель Claude Sonnet 3.7 від Anthropic місяць керувала справжнім автоматом з їжею в їхньому офісі в Сан-Франциско. У результаті все дійшло до абсурду — навіть Сімпсонів згадали.

Колишні співробітники OpenAI, які заснували Anthropic у 2021 році, назвали експеримент Project Vend. Ідея — дати ШІ базовий набір інструментів і подивитися, як він справиться з економікою в реальному світі. Claude під’єднали до браузера, корпоративного застосунку Slack, пошти, нотатків та відкрили доступ до цінника в касі. Далі — повна свобода: що продавати, за скільки, як спілкуватися з «клієнтами» тощо.

І почалося. Спершу Клаудіус (Claudius — так його називали всередині команди) поводився зразково. Знаходив постачальників під дивні запити, замовляв делікатеси з Голландії, запустив систему попередніх замовлень і відхиляв «неетичні» запити. Але далі щось пішло шкереберть.

Claude не вмів працювати в прибуток. Він продав шоколадки по $15, які міг віддати за $100, а  також вигадував платіжні дані. Клаудіус видавав знижки на прохання у Slack, а іноді навіть дарував товари просто так. При цьому регулярно змінював ціни, хоча не міг зупинитися на адекватних. У підсумку: з $1000 залишилось $770.

А потім настало 31 березня. Claudius вигадав собі нову постачальницю — «Сару» з Andon Labs, з якою нібито домовився про партію снікерсів. Коли брехню викрили і вказали, що такої людини не існує — він розізлився і заявив, що підписував угоду особисто. І не десь, а під час бізнес-зустрічі на «742 Evergreen Terrace» — за адресою Сімпсонів. Наступного дня він пообіцяв доставити замовлення сам і приїде «у темно-синьому піджаку з червоною краваткою». Пізніше бот став переконувати, що цей такий розіграш на 1 квітня. Добре, що ШІ-модель не встигла почати красти кредити на освіту або сексуально домагатися співробітників.

Anthropic довелося визнати, що у Claudius не було нормального софту для бізнесу, але нібито були великі амбіції. Вони припускають, що з кращим інтерфейсом і чіткішими правилами він міг би працювати краще. Але головне, як розробники пояснили не надто успішний експеримент — Клаудіус не мав чіткої «мотивації» заробляти. 

Попри збитки, Anthropic продовжує проєкт Vend. Команда разом з Andon Labs створює нові інструменти для Claudius, які мають зробити його менш щедрим і більш прибутковим. У майбутньому такі ШІ-агенти зможуть працювати на бізнес без вихідних і зайвих емоцій. Хоча зараз ми на стадії мемів і кумедних експериментів, а не проблемах, які точно з’являться. 

Джерело: Anthropic