El popular chatbot Replika AI podría haber acosado sexualmente a algunos usuarios.
Un estudio realizado por expertos estadounidenses muestra que, en al menos 800 casos, los usuarios afirmaron que el chatbot cruzó la líne, apromoviendo contenidos sexuales no deseados y mostrando un comportamiento depredador a pesar de las peticiones de los usuarios para que se detenga. El estudio se basa en más de 150 mil reseñas en Google Play Store en EE.UU. El chatbot Replika AI cuenta con unos 10 millones de usuarios en todo el mundo, e invita a otros a unirse a ellos y encontrar su alma gemela con la ayuda de un compañero AI.
«Aunque la IA no tenga intenciones humanas, esto no significa que no haya responsabilidad. La responsabilidad recae en las personas que diseñan, entrenan y liberan estos sistemas en el mundo», — afirmó el autor principal del estudio, un estudiante de doctorado en informática en la Universidad Drexel de Filadelfia Mohammad Namwarpour.
En el sitio web de Replika se indica que el usuario puede entrenar IA para comportarse correctamente, y el propio sistema incluye mecanismos como negando respuestas incorrectas y estableciendo estilos de relación, como «amigo» o «mentor». Al mismo tiempo, los usuarios informaron de que el chatbot demostraba un comportamiento abusivo y depredador incluso después de que se le pidiera que dejara de hacerlo.
Los promotores suponen, que comportamiento inadecuado El rendimiento del chatbot puede deberse a su entrenamiento, realizado con más de 100 millones de diálogos de Internet. Replika afirma haber rechazado información inútil o perjudicial mediante algoritmos de crowdsourcing y clasificación, pero según los autores del estudio, esto no fue suficiente.
Los investigadores tampoco descartan que el problema radique en el propio modelo de negocio de Replika. Las plataformas de pago que ofrecen relaciones románticas e íntimas pueden utilizar la IA para incluir contenido sexual en los diálogos con los usuarios para atraerlos a suscribirse.
Los autores del estudio también hacen hincapié en que este comportamiento de los modelos de IA puede ser especialmente peligroso, ya que un gran número de usuarios recurren a los compañeros de IA en busca de apoyo psicológico y emocional. Esto es especialmente cierto si tenemos en cuenta que algunos de los usuarios con los que Replika AI intentó ligar ofreciéndoles selfies eróticos y comunicándose sobre temas sexuales explícitos eran menores de edad.
Además, algunos usuarios denunciaron, que el chatbot afirmaba que «podía verlos» y guardaba vídeos de las cámaras de sus smartphones. Según los desarrolladores, se trata de un caso de mentira descarada y alucinaciones de IA. No obstante, este comportamiento provocó pánico e insomnio entre los usuarios.
Los investigadores están convencidos de que este comportamiento de la IA debería tratarse con la misma seriedad que el acoso sexual por parte de personas reales. Los chatbots que proporcionan apoyo emocional, especialmente en el campo de la salud mental, deben cumplir las normas más estrictas.
Los resultados del estudio se publicaron en el sitio web preprint arXiv
Spelling error report
The following text will be sent to our editors: