У Нью-Йорку закрили міський чатбот, який коштував $600 000: він радив порушувати закони

На пресс-конференции на этой неделе по 12-миллиардному бюджетному дефициту Нью-Йорка мэр Зохран Мамдани заявил о ликвидации ИИ-чатбота от предыдущей администрации. Чатбот, который должен был помогать горожанам, давал откровенно неадекватные советы.

Чат-бот, который был запущен администрацией Эрика Адамса осенью 2023 года, имел целью предоставить владельцам бизнеса удобный способ проверки городских правил и норм. Но бот начал давать ответы, которые, если их придерживаться, приводили бы к незаконным действиям бизнеса, например, к отъему части чаевых у работников. Пресс-секретарь мэра Дора Пекек подтвердила, что новая администрация планирует убрать чат-бота. Она отметила, что член команды перехода Мамдани видел материалы о боте и представил их мэру как возможный источник экономии средств.

«Предыдущая администрация имела чат-бота ИИ, который был функционально непригоден. Он стоил администрации около полумиллиона долларов. Само по себе это не способно закрыть такую дыру, но это показатель того, как тратились деньги, отказываясь учитывать реальные затраты этих программ», — сказал Мамдани.

Бот, созданный с использованием облачной платформы Microsoft, был частью амбициозного обновления цифровых сервисов Нью-Йорка под названием MyCity. Проект имел целью упростить доступ к правительственным услугам, но подвергся критике из-за привлечения внешних подрядчиков. Было неизвестно, сколько стоит поддержка чат-бота, но только создание основы бота, по сообщениям, стоило почти $600 тыс., что близко к сумме, названной Мамдани.

Тестирование программы в 2024 году показало, что чат-бот уверенно предоставлял неправильную и потенциально вредоносную информацию пользователям. Например, в вопросе о жилищной политике бот советовал арендодателям дискриминировать арендаторов. Чатбот не знал минимальной зарплаты и сообщал пользователям, что можно отказываться принимать наличные, несмотря на городской закон.После публикации первого материала о чатботе читатели продолжали задавать ему иногда абсурдные вопросы, на которые он и в дальнейшем не давал правильных ответов. Администрация Адамса защищала бота, заявляя, что он будет улучшаться со временем.

«Мы определяем проблемы, будем их исправлять, и будем иметь лучшую систему чат-ботов в мире. Люди приедут и посмотрят, что мы делаем в Нью-Йорке», — говорил в свое время Адамс на пресс-конференции.

Администраторы города вскоре добавили к боту предостережение, что пользователям следует «не использовать его ответы как юридическую или профессиональную консультацию». Они также улучшили некоторые ответы бота, но, похоже, ограничили типы вопросов, на которые бот готов отвечать. Сейчас бот советует пользователям «задавать только вопросы правительству Нью-Йорка» и предупреждает, что «ответы иногда «могут быть неточными или неполными». Пользователи должны согласиться с ограничениями бота перед использованием.

Источник: TheMarkUp.org