La poesía generada por la IA es indistinguible de la poesía escrita por humanos y se califica más favorablemente
Un estudio publicado en Nature encontró que lectores no expertos identifican poemas de IA por debajo del nivel del azar, y suelen calificarlos mejor en ritmo y belleza que los poemas humanos reales.
Resumen
El artículo examina la capacidad de lectores no expertos para diferenciar poemas generados por IA de aquellos escritos por poetas humanos reconocidos. Los resultados mostraron que “los participantes se desempeñaron por debajo de los niveles de probabilidad en la identificación de poemas generados por IA (46.6% de precisión)”.
Hallazgos clave:
- Los participantes tendieron a juzgar poemas de IA como escritos por humanos más frecuentemente que los poemas reales
- Los poemas generados por IA recibieron calificaciones más favorables en ritmo y belleza
- La simplicidad de los poemas de IA facilitó su identificación errónea como obra humana
Percepción y Preferencia en la Poesía: Sesgos Hacia Poemas Generados por IA
El texto menciona que “las imágenes generadas por IA se han vuelto indistinguibles de la realidad” y señala paralelos con otros medios creativos, donde las obras de IA reciben calificaciones similares o superiores a las humanas.
Se discute el progreso de los modelos de lenguaje grande (LLM) como “GPT-3 y Llama 2” en la generación de textos similares a los humanos, aunque previamente se argumentaba que la IA no podría generar poesía de alta calidad.
Metodología
Experimento 1 - Identificación:
- 1,634 participantes evaluaron 10 poemas cada uno (5 humanos, 5 de IA)
- Los poemas de IA fueron generados usando ChatGPT 3.5 “al estilo de” poetas específicos
- Poetas incluidos: Chaucer, Shakespeare, Byron, Whitman, Dickinson, T.S. Eliot, Ginsberg, Plath y otros
Experimento 2 - Evaluación Cualitativa:
- 696 participantes nuevos
- Evaluaron poemas en 14 dimensiones cualitativas
- Tres condiciones de encuadre: “le dijeron humano”, “le dijeron IA” y “no le dijeron nada”
- Los participantes en la última condición indicaron su percepción de autoría tras la evaluación
Conclusiones
El estudio demuestra que la poesía generada por IA ha alcanzado “el nivel de imágenes generadas por IA en evaluaciones no expertas”, con participantes incapaces de distinguir consistentemente entre ambas formas. Paradójicamente, los poemas de IA fueron “más humanos que humanos” en términos de preferencia, aunque los participantes evaluaron negativamente la poesía cuando se les informó explícitamente que era generada por IA.
Adaptación del artículo científico original de Brian Porter y Edouard Machery (Department of History and Philosophy of Science, University of Pittsburgh), publicado en Nature.