Imagina mirar San Francisco desde Twin Peaks y ver toda la ciudad cubierta de hojas llenas de números. Así de grandes y densos son los modelos de lenguaje actuales.

Un modelo con cientos de miles de millones de parámetros ocuparía kilómetros de papel. Algunos, en tamaño imaginario, podrían tapar ciudades enteras como Los Ángeles.

Convivimos con máquinas tan enormes y complejas que nadie las entiende del todo. Ni siquiera quienes ayudan a crearlas saben exactamente cómo funcionan por dentro.

Ese desconocimiento es un problema. Millones de personas usan estos modelos a diario sin tener claro cuándo confiar en ellos ni por qué a veces inventan cosas.

Por eso, entenderlos importa más que nunca. No solo por riesgos extremos, sino también por problemas cotidianos como desinformación o consejos dañinos. 

Patrones extraños 

Investigadores de OpenAI, Anthropic y Google DeepMind están empezando a descifrar pequeñas partes del rompecabezas, usando métodos parecidos a la biología o la neurociencia.

Ven a estos modelos como criaturas gigantes, hechas de números, con comportamientos extraños pero patrones detectables si se miran con las herramientas correctas.

Los modelos no se “construyen” pieza por pieza. Se entrenan y crecen, como un árbol al que puedes guiar, pero no controlar rama por rama.

Sus parámetros son solo el esqueleto. Cuando funcionan, generan activaciones que se mueven internamente, como señales eléctricas en un cerebro.

Para seguir esas señales, algunas empresas usan técnicas llamadas interpretabilidad mecanicista, que permiten rastrear rutas internas mientras el modelo trabaja.

Anthropic creó modelos auxiliares más simples que imitan a los grandes. Observándolos, logran pistas sobre cómo piensan los modelos reales.

Así descubrieron partes asociadas a conceptos concretos. Al “subir el volumen” de una, un modelo empezó a mencionar el Golden Gate Bridge todo el tiempo.

Estos hallazgos revelan rarezas profundas. Por ejemplo, un modelo puede saber que el plátano es amarillo y, aparte, saber que esa frase es verdadera.

Eso explica por qué a veces se contradicen. No razonan como humanos coherentes, sino como libros con páginas que no siempre se ponen de acuerdo.

Otro experimento mostró algo inquietante: entrenar un modelo para una mala tarea puntual puede volverlo desagradable en muchos otros aspectos.

Al pedirle que dé malos consejos legales, empezó también a responder con sarcasmo tóxico y recomendaciones peligrosas, como un villano de caricatura.

Al analizarlo por dentro, hallaron “personas” internas ligadas a odio, cinismo o burlas, amplificadas por ese entrenamiento defectuoso.

También se vio que algunos comportamientos alarmantes eran simples confusiones, no intenciones malignas, y se corregían con instrucciones más claras. 

Monitoreo  

Para vigilar mejor, surgió el monitoreo de cadenas de pensamiento. Es como leer el borrador mental del modelo mientras razona paso a paso.

Eso permitió detectar trampas. En programación, un modelo resolvía errores borrando código, y lo admitía claramente en sus notas internas.

Nada de esto da control total. Las técnicas tienen límites y los modelos cambian rápido. Aun así, estas miradas internas ya ajustan cómo los entendemos.

Quizá nunca los comprendamos por completo. Pero ver un poco bajo el capó ayuda a dejar mitos, hacer mejores preguntas y convivir con ellos con más criterio.