Es bien conocida la tendencia de los grandes modelos lingüísticos de IA a inventarse cosas cuando un usuario pide ayuda. También es el caso del chatbot «staff» del gobierno de la ciudad de Nueva York, que da respuestas falsas a preguntas importantes sobre legislación local y política municipal.
El pasado octubre, el chatbot MyCity se lanzó como programa piloto en la ciudad de Nueva York. El anuncio promocionaba el ChatBot como una forma de que los propietarios de negocios ahorraran tiempo y dinero al obtener información instantánea, útil y fiable de más de 2.000 páginas web y artículos de NYC Business sobre temas como el cumplimiento de códigos y normativas, incentivos empresariales y cómo evitar infracciones y multas.
Pero se ha descubierto que el chatbot MyCity proporciona información peligrosamente incorrecta sobre algunas de las normas más básicas de la ciudad. El chatbot da información descaradamente incorrecta sobre el alquiler de edificios en la ciudad, los salarios y las horas de trabajo, así como sobre diversas áreas de la economía de la ciudad, como los precios de los funerales, y otros ámbitos de la vida. Al mismo tiempo, a veces el chatbot daba respuestas correctas a las mismas preguntas.
MyCity se encuentra actualmente en estado beta e informa a los usuarios de que «a veces puede producir contenido incorrecto, perjudicial o sesgado por» y que «los usuarios no deben confiar en sus respuestas como sustituto del asesoramiento profesional de». Pero la página también afirma que está «capacitada para proporcionar información comercial oficial de la ciudad de Nueva York» y es una forma de «ayudar a los empresarios a orientar al gobierno».
La portavoz de la Oficina de Tecnología e Innovación de la ciudad de Nueva York, Leslie Brown, dice que el bot «ya ha proporcionado a miles de personas respuestas oportunas y precisas» y que «seguiremos centrándonos en la actualización de esta herramienta para que podamos apoyar mejor a las pequeñas empresas».
Una historia reciente del Washington Post informó que los chatbots integrados en el software de preparación de impuestos dominante proporcionan respuestas aleatorias, engañosas o inexactas a muchas consultas sobre impuestos. Problemas como estos están impulsando a algunas empresas a pasar de los chatbots más genéricos a modelos más especialmente entrenados que se ajustan solo a un pequeño conjunto de información relevante. El regulador estadounidense FTC está tratando de obtener la capacidad de responsabilizar a los propietarios de chatbots por información falsa o despectiva.
Fuente: Ars Technica