Презентація GPT-o1 / OpenAI
ChatGPT con la modelo lingüística o1 se toma «más tiempo para reflexionar» para una mejor respuesta. Los usuarios han notado que las «reflexiones» a veces ocurren en chino, independientemente del idioma de la consulta.
Parece que el algoritmo «piensa» no solo en inglés, sino también en otros idiomas, incluido el chino. La mayoría solo presta atención a la respuesta final, pero los usuarios tienen la oportunidad de ver cómo ChatGPT la forma y justifica. Aquí, muchas personas notaron que LLM comenzó a incluir mandarín y cantonés en el proceso. Además, el modelo utiliza otros idiomas.
«¿Por qué o1 pro comenzó a pensar aleatoriamente en chino? Ninguna parte de la conversación (5+ mensajes) fue en chino… muy interesante… influencia de los datos de entrenamiento», — preguntó en X Rishab Jain. Otros usuarios con preguntas similares taguearon a OpenAI y ChatGPT en sus publicaciones, pero no hubo respuestas.
Lo más simple que se puede pensar es el uso de datos chinos para el entrenamiento. Representantes de la industria, incluido Elon Musk, reconocen la escasez de datos para entrenar modelos. Pero una explicación más complicada se encuentra en el principio de funcionamiento de los modelos lingüísticos, que no en vano se llaman así. Posiblemente, la esencia está en que otros idiomas funcionan de manera diferente, y pueden resultar más efectivos en la formación de una respuesta. El modelo descubre que en alguna situación las construcciones chinas u otras funcionarán mejor, y al usuario se le proporciona la respuesta final en el idioma en que realizó la consulta.
La verdadera razón es difícil de determinar debido a la naturaleza cerrada de los modelos lingüísticos, y no solo a las restricciones corporativas. OpenAI alguna vez admitió que realmente no sabe cómo funciona el modelo GPT. De hecho, a los desarrolladores solo les es conocido el lado técnico, y menos cómo «piensa» el modelo. Hasta ahora, OpenAI no ha proporcionado respuestas a las preguntas de los usuarios ni a las consultas de los periodistas. No se descarta que la compañía simplemente no las conozca.
Fuente: Gizmodo