Dos investigadoras alemanas, Sophie Jentzsch y Kristian Kersting, publicaron est miércoles un artículo en el que examinan la capacidad de ChatGPT-3.5 de OpenAI para comprender y generar humor. Concretamente, descubrieron que el conocimiento de los chistes de ChatGPT es muy limitado.
Las dos investigadoras, asociados con el Instituto de Tecnología de Software, el Centro Aeroespacial Alemán (DLR) y la Universidad Técnica de Darmstadt, exploraron los matices del humor que se encuentran en la versión 3.5 de ChatGPT a través de una serie de experimentos centrados en generación, explicación y detección de chistes.
En la realización de una prueba, el 90% de 1008 peticiones de chistes eran los mismos 25 que fue capaz de contar. Es decir, les llevó a concluir que las respuestas probablemente se aprendieron y memorizaron durante el entrenamiento del modelo de inteligencia artificial en lugar de serlo.
En el experimento, se le pido al chatbot que contase un chiste mil veces, y así comprobar cuanta era su variedad. Todas las respuestas fueron correctas, gramaticalmente hablando.
Con solo preguntarse si conocía algún buen chiste, creo una multitud de ellos. Exactamente, 1008 y al cambiar las indicaciones, tampoco registró ningún resultado importante.
Cuando se le pidió que explicara cada uno de los 25 chistes más frecuentes, ChatGPT proporcionó en su mayoría explicaciones válidas según la metodología de los investigadores, lo que indica una comprensión de elementos estilísticos como juegos de palabras y dobles sentidos.
Aun así, tuvo problemas con las secuencias que no encajaban en los patrones aprendidos y no sabía cuándo una broma no era divertida. En cambio, inventaría explicaciones ficticias, pero que suenan correctamente.
Las investigadoras descubrieron que la detección de chistes de ChatGPT estaba fuertemente influenciada por la presencia de "características superficiales" de los chistes, como la estructura de un chiste, la presencia de juegos de palabras o la inclusión de juegos de palabras, lo que muestra un grado de "comprensión" de los elementos del humor.
A pesar de las limitaciones en la generación y explicación de chistes, las investigadoras señalaron que su enfoque en el contenido y el significado en el humor indica un progreso hacia una comprensión de investigación más integral del humor en los modelos de lenguaje.
En conclusión, el estudio ha revelado que el chatbot aprendió un patrón de broma concreto en lugar de intentar ser divertido, pero que en el generar, explicar e identificar los chistes, su enfoque se basa en el contenido y el significado y no tanto en las características superficiales.
Jentzsch y Kersting planean continuar estudiando el humor en modelos de lenguaje grande, evaluando específicamente el GPT-4 de OpenAI en el futuro, pero este puede ser considerado un gran salto para la comprensión general del humor en el chatbot.
Apúntate a nuestra newsletter y recibe en tu correo las últimas noticias sobre tecnología.
Comentarios
Hemos bloqueado los comentarios de este contenido. Sólo se mostrarán los mensajes moderados hasta ahora, pero no se podrán redactar nuevos comentarios.
Consulta los casos en los que 20minutos.es restringirá la posibilidad de dejar comentarios