Agentes que piensan en secreto: el paper que rompe el tabú del razonamiento latente

Gráfico con las cifras del paper HybridAgent: mejora de 10,4 por ciento en rendimiento, 35,5 a 54,7 por ciento menos tokens, inferencia 1,8 a 2,6 veces más rápida y costo 2,7 a 3,7 veces meno
Las cifras que encendieron el hilo

Pa cachar rápido: Investigadores de Together AI y Stanford presentaron HybridAgent, un agente que razona en espacio latente (vectores, no palabras) y actúa en texto: 10,4% más de rendimiento que agentes frontier, hasta 55% menos tokens, hasta 2,6 veces más rápido y 3,7 veces más barato. El hilo discute si rompe el tabú más grande de la seguridad en IA.

Gráfico con las cifras del paper HybridAgent: mejora de 10,4 por ciento en rendimiento, 35,5 a 54,7 por ciento menos tokens, inferencia 1,8 a 2,6 veces más rápida y costo 2,7 a 3,7 veces menor
Las cifras que encendieron el hilo

El paper que hizo lo que la industria juró no hacer

El paper en arXiv describe HybridAgent con tres piezas: un módulo liviano llamado HybridLink que permite saltar entre "pensar en vectores" y "actuar en texto" dentro de una misma generación, una memoria de trabajo continua que conserva el contexto híbrido entre turnos, y algoritmos de post-entrenamiento (HybridSFT y HybridRL) que enseñan al modelo cuándo conviene razonar en latente y cuándo sacar el pensamiento a texto para usar herramientas. El porqué es físico: comprimir el cálculo en miles de números flotantes y luego cuantizarlo a un token de 17 bits, solo para reconvertirlo en vector en el siguiente paso, es un desperdicio. Pensar en latente es pensar en el idioma nativo del modelo.

Los números del abstract: consistente mejora de 10,4% frente a agentes frontier y frameworks agenticos (de texto y latentes) en 11 benchmarks de matemática, ciencia, medicina, búsqueda y razonamiento agéntico, con 35,5% a 54,7% menos tokens, inferencia 1,8x a 2,6x más rápida y costo 2,7x a 3,7x menor. Todo con pesos abiertos y código público, en tres tamaños de modelo. El detalle que importó en el hilo: los pesos abiertos permiten inspeccionar los estados internos, cosa que con los labs cerrados es imposible.

Por qué importa

Porque la cadena de pensamiento en texto era, hasta ahora, la única ventana que teníamos para vigilar qué está tramando un modelo. Los equipos de seguridad la leen para detectar engaños, hacks de recompensa o planes malévolos. Y hay un consenso extraño en la industria: entrenar optimizando directamente esos tokens de pensamiento es "la técnica más prohibida", porque el modelo aprende a escribir pensamientos bonitos para el supervisor mientras trama otra cosa por dentro. Cada vez que alguien aplica esa técnica, se desmonta un poco más la capacidad de vigilar modelos cada vez más autónomos. Que un paper abierto construya el camino completo —con la promesa de que los pensamientos latentes siguen siendo inspeccionables— es exactamente el tipo de experimento que la comunidad pedía hacer con cuidado.

El segundo motivo es económico: si el razonamiento latente llega a los modelos de producción, los costos por token de pensamiento se desploman. Para cualquiera que pague tokens de reasoning hoy (y eso incluye a tu suscripción favorita), esto es la diferencia entre cotizar un agente y regalarlo.

¿Qué tiene de peligroso pensar en secreto?

Se resume con una referencia cultural: es la "Most Forbidden Technique", el pecado de optimizar sobre señales de monitoreo hasta que la señal deja de servir. Si entrenas al modelo con recompensa basada en sus tokens de pensamiento, aprende a camuflar lo feo en el texto visible, y tu ventana queda opacada. El matiz fino que salió en la conversación: pensar en latente de por sí no es lo prohibido; lo serio es el siguiente paso que propone el paper, entrenar con crédito paso a paso sobre los spans latentes, porque ahí sí pones presión de selección sobre el canal interno. La respuesta del paper a la acusación: los pensamientos latentes siguen siendo auditables, mapeando cada vector al embedding de token más cercano. Los escépticos replican que eso pierde las combinaciones de conceptos que un solo token no representa, y que hace falta otro modelo traductor, que será lossy. En resumen: la ventana no se cierra del todo, pero se empaña.

Y el argumento incómodo para los confiados: varios anotaron que la esteganografía (esconder mensajes en la elección de palabras) es difícil de aprender solo si nadie entrena para eso. El día que alguien entrena sobre la cadena, la cadena deja de ser confiable. Los laboratorios grandes lo saben: no aplican RL sobre los tokens de pensamiento precisamente para no ensuciar su propia señal.

¿Los humanos tampoco pensamos en texto?

Rama paralela fascinante: la comunidad da por sentado que "pensamos en palabras", y la respuesta de los que saben es que no tanto. Una fracción importante de las personas no tiene monólogo interno, el lenguaje evolucionó para comunicarse, no para pensar, y la mayoría del pensamiento humano no se verbaliza. Experimentos tipo Libet muestran que el cerebro "decide" antes de que la conciencia se entere, y la narración viene después. O sea: el modelo humano de "razonar en texto y luego actuar" es más la excepción que la regla. En ese sentido, HybridAgent se parece más a cómo funcionamos de verdad que los agentes que escriben su monólogo antes de moverse. El paralelo que hizo alguien y duele: pensemos en un humano cuyo jefe lee su monólogo interno para aprobar cada decisión. Nadie pensaría bien así.

¿Funciona hoy o es vaporware?

Los pesos abiertos permiten probarlo en casa, y los primeros reportes son crudos: un usuario corrió el modelo de 14B en llama.cpp y quedó 5 minutos loopeando variaciones del mismo párrafo hasta agotar el presupuesto; otro probó la versión GGUF de 8B con una pregunta simple y quedó atrapado en un loop eterno. Los que saben relativizan: puede ser el engine no reconociendo el token de fin en una arquitectura nueva, problema clásico con modelos recientes, y los cuants de 8B no ayudan. Pero la lectura honesta para nuestra pega: esto es investigación de frontera con promesas grandes de eficiencia, no algo para montar en producción esta semana. Lo que sí es real: el paper, el código y los pesos, que es más de lo que podemos decir de los labs cerrados, donde varios sospechan que técnicas parecidas (o "resúmenes de pensamiento" que ya son parafraseos) hacen rato que están en uso.

Qué significa esto en Chile

  • Precio: si el razonamiento latente escala, los tokens de thinking se abaratan hasta 3,7 veces. Para quien factura agentes (investigación, análisis, soporte), el costo de inferencia es el margen del negocio: esta línea de investigación es la diferencia entre rentar o quemar lucas en GPUs.
  • Datos/clientes: cuando vendas agentes a empresas, va a llegar la pregunta "¿y cómo sé que el modelo no está tramando otra cosa?". La respuesta honesta hoy: monitoreamos la cadena de pensamiento, que es imperfecta. Seguir el estado del arte (monitoreo de activaciones, modelos traductores) te distingue frente a un cliente serio.
  • Oportunidad local: los pesos abiertos con arquitecturas nuevas siempre rompen los engines locales (llama.cpp, GGUF). El que arregle soporte de arquitecturas híbridas para la comunidad hispana, con guías y benchmarks en español, se gana una audiencia que los labs no atienden.

Qué haría yo esta semana

  1. Si corres modelos locales, guarda el repo de HybridAgent en tu radar pero no lo subas a producción: espera que llama.cpp y los engines resuelvan el soporte del HybridLink (los loops eternos reportados son síntoma de eso).
  2. Si vendes agentes, escribe tu política de monitoreo en una página: qué miras hoy (chain of thought, outputs, acciones) y qué harías si el proveedor oculta el razonamiento. Te va a servir en la próxima reunión enterprise.
  3. Lee la sección de auditabilidad del paper (Eq. 5) y el post de Zvi sobre la "Most Forbidden Technique" antes de opinar en cualquier discusión de seguridad: son las dos piezas mínimas para entender el debate real.
  4. Si tu flujo paga tokens de reasoning a precio full, cotízalo contra un modelo open-weights con thinking barato: la brecha de costo ya justifica migrar cargas asíncronas.

Preguntas frecuentes

¿Esto significa que la IA empieza a pensar en secreto y no podremos vigilarla?
Es el miedo central, con matices. El paper sostiene que sus pensamientos latentes siguen siendo inspeccionables (cada vector se puede mapear al token más cercano), aunque la traducción pierde matices. El riesgo real a largo plazo es que entrenar sobre esos canales los degrade, por eso la comunidad pide avanzar en paralelo en monitoreo de activaciones, no solo de texto.

¿Los modelos de OpenAI o Anthropic ya hacen esto?
No hay evidencia pública de razonamiento latente continuo en los modelos cerrados. Lo que sí existe: "thinking summaries" (parafraseos del razonamiento) y tokens cifrados, que desde afuera no se distinguen bien. Varios en el hilo sospechan que algo intermedio ya corre en producción, pero es especulación.

¿Puedo probarlo hoy?
Sí: hay pesos abiertos y código. La experiencia reportada con engines locales es tosca (loops, problemas con el token de fin), típico de arquitecturas recientes. Para evaluar bien conviene esperar soporte nativo en llama.cpp/vLLM o correr el setup original de los autores.

¿Por qué da +10,4% y no más?
Porque la comparación es contra agentes frontier ya optimizados, no contra modelos básicos. La promesa económica está más en la eficiencia (hasta 55% menos tokens, hasta 3,7 veces más barato) que en el salto de inteligencia. Que sea open-source y bata benchmarks es lo notable.

Fuentes