Uno de los mayores inconvenientes de los chatbots basados en IA son las llamadas «alucinaciones», cuando la IA inventa información no válida, es decir, miente de verdad. Algunos expertos afirman que esta es una de las características interesantes de la IA, y que puede ser útil para modelos generativos que crean imágenes y vídeos — pero no para modelos lingüísticos que responden a preguntas de usuarios que esperan datos precisos.
El laboratorio DeepMind de Google y la Universidad de Stanford parecen haber encontrado una solución al problema. Los investigadores han desarrollado un sistema de verificación para grandes modelos lingüísticos de inteligencia artificial: El Search-Augmented Factuality Evaluator, o SAFE, comprueba las respuestas largas generadas por los chatbots de IA. Su investigación está disponible como preprint en arXiv, junto con todo el código experimental y los conjuntos de datos.
El sistema analiza, procesa y evalúa las respuestas en cuatro pasos para comprobar su precisión y relevancia. En primer lugar, SAFE descompone la respuesta en hechos individuales, los revisa y los compara con los resultados de búsqueda de Google. El sistema también comprueba la pertinencia de cada dato con respecto a la consulta.
Para evaluar el rendimiento de SAFE, los investigadores crearon LongFact, un conjunto de datos de aproximadamente 16.000 hechos. A continuación, probaron el sistema con 13 grandes modelos lingüísticos de cuatro familias distintas (Claude, Gemini, GPT, PaLM-2). En el 72% de los casos, SAFE produjo los mismos resultados que la revisión humana. En los casos de desacuerdo con los resultados de la IA, SAFE acertó en el 76% de los casos.
Los investigadores afirman que utilizar SAFE es 20 veces más barato que la verificación humana. Así, la solución demostró ser económicamente viable y escalable. Los enfoques existentes para evaluar la relevancia de los contenidos generados por modelos suelen basarse en la revisión humana directa. Aunque valioso, este proceso se ve limitado por la subjetividad y variabilidad del juicio humano y por los problemas de escalabilidad que plantea aplicar el trabajo humano a grandes conjuntos de datos.
Fuente: Marktechpost