Общеизвестна тенденция больших языковых моделей искусственного интеллекта к выдумкам, когда пользователь запрашивает справку. Не обошла она и «штатный» чат-бот властей Нью-Йорка, который дает ложные ответы на важные вопросы о местном законодательстве и муниципальной политике.
В октябре прошлого года чат-бот «MyCity» в Нью-Йорке был запущен как пилотная программа. В объявлении ChatBot рекламировался как способ для владельцев бизнеса сохранить время и деньги на получении мгновенной полезной и надежной информации из более 2000 веб-страниц NYC Business и статей на такие темы, как соблюдение кодексов и правил, поощрение для бизнеса и избежание нарушений и штрафов.
Но было обнаружено, что чат-бот MyCity предоставляет опасную неправильную информацию о некоторых основных городских правилах. Чат-бот дает откровенно неверную информацию об аренде зданий в городе, оплате труда и нормах рабочего времени, а также о различных отраслях городского хозяйства, таких как цены на похоронные услуги, а также дела в других сферах жизни. При этом иногда чат-бот давал и верные ответы на те же вопросы.
MyCity сейчас находится в статусе бета-версии и сообщает пользователям, что «иногда может создавать неправильный, вредный или предвзятый контент» и что пользователи «не должны полагаться на его ответы как на замену профессиональным советам». Но на странице также указано, что она «обучена предоставлять официальную информацию о бизнесе Нью-Йорка» и является способом «помочь владельцам бизнеса направить правительство».
Пресс-секретарь Управления технологий и инноваций Нью-Йорка Лесли Браун говорит, что бот «уже предоставил тысячам людей своевременные и точные ответы» и что «мы будем продолжать фокусироваться на обновлении этого инструмента, чтобы мы могли лучше поддерживать малый бизнес».
В недавнем материале Washington Post рассказывалось, что чат-боты, интегрированные в основное программное обеспечение для подготовки налогов, предоставляют случайные, ложные или неточные ответы на многие налоговые запросы. Подобные проблемы побуждают некоторые компании отойти от более обобщенных чат-ботов к более специально обученным моделям, которые настроены только на небольшой набор соответствующей информации. Американский регулятор FTC стремится получить возможность привлекать владельцев чат-ботов к ответственности за ложную или пренебрежительную информацию.
Источник: Ars Technica