Depositphotos
Sakana, una startup japonesa de inteligencia artificial, ha anunciado la revisión del primer artículo científico generado por IA.
Sin embargo, la declaración de la empresa debe tomarse con muchas reservas. En la actualidad, un gran número de investigadores cree que la inteligencia artificial no está preparada para trabajar al mismo nivel que los científicos en la creación de material de investigación. Otros opinan que La IA tiene potencial para ello pero este ámbito de actividad de la inteligencia artificial se encuentra actualmente en una fase incipiente.
Los desarrolladores de Sakana se consideran del segundo tipo. La empresa declaró que utilizó el modelo de IA The AI Scientist-v2 para crear un material científico que posteriormente se presentó en el seminario ICLR, en el marco de la conferencia autorizada sobre inteligencia artificial.
Los representantes de Sakana afirman que los organizadores del seminario y la dirección de la conferencia del ICLR aceptaron trabajar con ellos como parte de un experimento con revisión doble ciego de los manuscritos, creados con ayuda de la IA.
La empresa afirma haber colaborado con investigadores de la Universidad de Columbia Británica y Oxford para presentar tres generados por la IA documentos del citado taller para su revisión. AI Scientist-v2 generó íntegramente las tres publicaciones científicas, incluidas las hipótesis científicas, los experimentos, el código experimental, el análisis de datos, la representación visual, el texto y los títulos.
«Generamos ideas de investigación proporcionando a la IA un resumen y una descripción del seminario Así se garantizaba que los artículos generados fueran relevantes para el tema y adecuados para su presentación», — afirma Robert Lange, investigador y fundador de Sakana.
Uno de estos tres materiales científicos, a saber, un artículo en el que se examinaban de forma crítica los métodos de entrenamiento de modelos de inteligencia artificial, pudo ser examinado en el seminario. Sakana declaró que retiró inmediatamente el artículo antes de su publicación en aras de la transparencia y el respeto de las convenciones de la ICLR.
«El artículo aceptado introduce simultáneamente un nuevo y prometedor método para entrenar redes neuronales y muestra que aún quedan retos empíricos Proporciona un dato interesante para impulsar nuevas investigaciones científicas», — afirmó Robert Lange.
Sin embargo, esta historia, que a primera vista parece muy prometedora, tiene muchos matices importantes. Sakana admitió que, de vez en cuando, la modelo AI Scientist-v2 cometió errores al hacer referencia a otros materiales científicos relacionados. Por ejemplo, atribuyó erróneamente El método analizado se basa en un material de 2016 en lugar del artículo científico original de 1997.
Material generado por AI Scientist-v2, tampoco se sometió al mismo escrutinio que otras publicaciones revisadas por pares. Dado que la empresa lo retiró tras la revisión inicial, el artículo no recibió una «meta-revisión» adicional, durante la cual los organizadores del seminario podrían teóricamente rechazarlo.
Al mismo tiempo, el índice de aprobación de los talleres de la conferencia suele ser superior al índice de aprobación del acto principal de la conferencia, como también mencionaron los representantes de Sakana en su mensaje. La empresa reconoció que ninguno de los artículos científicos generados por la IA pasó la revisión interna para su publicación como parte del evento principal de la conferencia.
«El personal de Sakana seleccionó artículos a partir de un cierto número de artículos generados, es decir, utilizó el juicio humano para seleccionar los resultados que creía que se incluirían Creo que demuestra que los humanos más la IA pueden ser eficaces, no que la IA por sí sola pueda crear artículos científicos», — afirmó el investigador en inteligencia artificial y profesor asociado de la Universidad de Alberta Matthew Guzdial.
Técnico desventajas de la inteligencia artificial los principales problemas que plantea su uso, incluida la tendencia a fantasear, hacen que muchos científicos eviten utilizarlo para trabajos científicos serios.
Sakana no pretende que su modelo de IA sea capaz de producir trabajos científicos revolucionarios o fundamentalmente nuevos. Más bien, el objetivo del experimento era examinar la calidad de la investigación realizada con IA y poner de relieve la urgente necesidad de adoptar normativas para las publicaciones científicas creadas por inteligencia artificial.
Fuente: TechCrunch