Un equipo de investigadores de inteligencia artificial del proyecto DeepMind de Google descubrió que los Modelos de Lenguaje Grandes no son muy buenos para escribir chistes. Por ello pidieron a un grupo de comediantes que los usaran para escribirles una rutina de monólogos y publicaron sus hallazgos en el servidor de preimpresión arXiv.
Para tener éxito, la mayoría de los comediantes tienen que escribir una rutina y representarla en el escenario. Estas rutinas, o monólogos, suelen implicar tanto narraciones como chistes, o describen situaciones graciosas.
Muchos también emplean comentarios sorprendentes o incongruentes, dando a la audiencia una idea repentina de algo que tal vez no hayan considerado de cierta manera antes. La mayoría de los comediantes profesionales dedican mucho tiempo a pulir sus rutinas y probarlas en audiencias pequeñas antes de actuar frente a grandes multitudes o en especiales de televisión.
La investigación
En este nuevo esfuerzo, el equipo de DeepMind se preguntó si los LLM podrían ser capaces de crear no sólo chistes, sino rutinas enteras de monólogos.
Para averiguarlo, reclutaron a 20 comediantes profesionales que habían utilizado este tipo de IAs en su trabajo anteriormente. Los artistas utilizaron un LLM para ayudarlos a escribir una rutina completa y luego calificaron los resultados.
Los investigadores descubrieron que los LLM eran bastante prolíficos inventando chistes; desafortunadamente muy pocos fueron divertidos. La mayoría, sugirieron, eran de naturaleza genérica y pocos ofrecían la sorpresa característica de este tipo de humor.
En general, los comediantes encontraron que los chistes generados por IA carecen de la vanguardia que normalmente se necesita para que un chiste sea gracioso.
Los chatbots no entienden la esencia de una broma, que es «generar anticipación, crear tensión y luego desatar un chiste inesperado», sino que simplemente genera patrones predictivos de lenguaje. Por eso muchos describieron los resultados como insulsos.
Utilidad
Pero algunos de ellos encontraron útil el LLM para generar una rutina que podría usarse para crear una estructura básica alrededor de la cual podrían construir sus propios chistes.
El equipo de DeepMind sugiere que los resultados no fueron sorprendentes porque los creadores de modelos de lenguaje utilizan filtros para evitar que generen resultados que puedan ser ofensivos o atrevidos.