Durante años, una de las predicciones más ambiciosas sobre la inteligencia artificial ha sido que algún día podrá hacer investigación científica por su cuenta. Los modelos ya escriben código, realizan experimentos y buscan información en artículos científicos. Pero investigar de verdad exige mucho más que ejecutar tareas. Hace falta saber qué preguntar, diseñar buenos experimentos y cambiar de rumbo cuando los resultados contradicen una hipótesis.

Un estudio reciente publicado en el sitio de pre-print Arxiv puso a prueba justamente esa capacidad y encontró que la IA todavía está lejos de conseguirlo. 

La investigación 

Los investigadores entregaron a varios agentes de IA de última generación seis días para desarrollar investigaciones y escribir artículos científicos. Para evitar que simplemente buscaran respuestas existentes, eligieron dos trabajos que todavía no se habían publicado.

Los agentes tenían acceso a internet, capacidad de cómputo y unos 3.000 dólares en créditos para utilizar los modelos. Podían explorar libremente sus ideas y realizar experimentos. Los temas eran bastante especializados. Uno estudiaba la estructura y el control de las personalidades de los modelos de lenguaje. El otro buscaba diseñar un detector de cambios en los datos utilizados por modelos fundacionales.

Después de seis días, investigadores humanos evaluaron los artículos como si fueran trabajos enviados a una conferencia de primer nivel en inteligencia artificial. El resultado fue bastante malo. Los dos trabajos recibieron calificaciones de rechazo, con puntuaciones generales de 2 sobre 6 y 1 sobre 6. 

Los resultados 

La IA entendió los problemas de investigación y, en algunos casos, propuso caminos parecidos a los que habían seguido los investigadores originales. El problema apareció al momento de hacer ciencia. Los diseños experimentales eran débiles y, cuando recibían críticas, los agentes rara vez replanteaban sus experimentos. En lugar de cambiar de estrategia, solían añadir explicaciones o excepciones a resultados que ya habían obtenido.

También administraron mal sus recursos. Aunque tenían seis días y un presupuesto considerable, gastaron menos de la mitad de los créditos disponibles y terminaron apresurando los trabajos.

Los revisores encontraron problemas serios en la metodología y en la interpretación de los resultados. Uno incluso señaló que la IA había llegado a conclusiones generales después de probar apenas unos pocos ejemplos fallidos.

El experimento no demuestra que la IA sea inútil para la ciencia. Más bien marca una frontera bastante concreta. Por ahora, estos sistemas parecen mucho más preparados para ayudar a los investigadores con tareas rutinarias que para encargarse del proceso de descubrimiento por sí mismos.

La idea de un científico artificial autónomo sigue viva, pero todavía necesita bastante trabajo antes de entrar al laboratorio sin supervisión humana.