Los matemáticos idearon problemas desafiantes para poner a prueba el razonamiento de Gemini, Claude y GPT-4o — fracasaron en casi todas las pruebas

Los modelos de IA más avanzados sólo han resuelto el 2% de los problemas matemáticos complejos desarrollados por los principales matemáticos del mundo.

Epoch AI Research Institute ha presentado un nuevo conjunto de pruebas FrontierMath que requiere un nivel de doctorado en conocimientos matemáticos. En su desarrollo han participado profesores de matemáticas, entre ellos ganadores de la Medalla FieldsLa Medalla Fields es el galardón internacional más prestigioso en matemáticas, que se concede cada cuatro años a matemáticos menores de 40 años por sus logros sobresalientes. A menudo se le conoce como el «Nobel matemático». Los matemáticos doctorados pueden tardar desde varias horas hasta días en resolver este tipo de problemas.

Mientras que en pruebas anteriores MMLUMMLU (Measuring Massive Multitask Language Understanding) — es un conjunto estándar de pruebas para evaluar las capacidades de los modelos de inteligencia artificial. Las pruebas abarcan más de 57 áreas temáticas, como matemáticas, física, historia, derecho, medicina y otras ciencias, y se utilizan para comparar distintos modelos de IA y evaluar su capacidad para comprender y aplicar conocimientos en distintas áreas. Los modelos de IA resolvían con éxito el 98% de los problemas matemáticos de nivel escolar y universitario, la situación con las nuevas tareas es radicalmente distinta.

En el estudio se probaron seis de los principales modelos de IA. Gemini 1.5 Pro (002) de Google y Claude 3.5 Sonnet de Anthropic mostraron el mejor resultado con un 2% de respuestas correctas. Los modelos o1-preview, o1-mini y GPT-4o de OpenAI consiguieron resolver el 1% de las tareas, mientras que Grok-2 Beta de xAI no logró resolver ni un solo problema.

FrontierMath abarca una gran variedad de áreas matemáticas, desde la teoría de números hasta la geometría algebraica. Todas las tareas de prueba están disponibles en Sitio web de Epoch AI. Los desarrolladores han creado tareas únicas que no están presentes en los datos de entrenamiento de los modelos de IA.

Los investigadores observan que, incluso cuando el modelo daba la respuesta correcta, no siempre indicaba el razonamiento correcto: a veces el resultado podía obtenerse mediante simulaciones sencillas sin una comprensión matemática profunda.

Fuente: Livescience