ChatGPT responde incorrectamente al 52% de las preguntas de programación — estudio

El popular servicio de IA ChatGPT da un 52% de respuestas incorrectas a preguntas de programación.

Acerca de dice en un estudio de la Universidad de Purdue, presentado recientemente en la conferencia Computer-Human Interaction.

Los investigadores revisaron más de 517 preguntas en Stack Overflow.

«Descubrimos que el 52% de las respuestas de ChatGPT contienen información errónea, el 77% de las respuestas son más verbosas que las respuestas humanas y el 78% de las respuestas presentan diversos grados de incoherencia», — escribieron.

Resulta especialmente preocupante que bastantes programadores utilicen ChatGPT para realizar consultas. Los investigadores descubrieron que el 35% prefiere ChatGPT y el 39% no se da cuenta de los errores.

«Las entrevistas semiestructuradas de seguimiento mostraron que el lenguaje cortés, las respuestas tipo libro de texto y la exhaustividad eran algunas de las principales razones que hacían más convincentes las respuestas de ChatGPT, por lo que los participantes tendían a confiar en él», escriben los investigadores.

Cabe destacar que en un año y medio, el tráfico de Stack Overflow ha caído en torno a un 35%. La caída comenzó tras el lanzamiento de ChatGPT, un chatbot de IA. En respuesta, Stack Overflow anunció OverflowAI, un conjunto de funciones impulsadas por inteligencia artificial.

Stack Overflow incluso decidió prohibir el uso de ChatGPT en la plataforma, afirmando que tenía dudas sobre la precisión de dichas respuestas.

Sin embargo, esto no funcionó y Stack Overflow despidió al 28% de su plantilla