Si le haces una pregunta difícil a un modelo de lenguaje, responderá de una bocanada: fluido, seguro y, a veces, erróneo, sin manera de advertirlo. La idea más interesante en aprendizaje automático hoy es que la solución no es más texto. Es darle un mundo contra el cual chocar. Dale un buscador para que verifique sus corazonadas. Dale un compilador para que califique su código. Entrégale una breve constitución escrita para que evalúe sus propios modales. Cada una de estas rutas es un programa de investigación activo, y una clase de ingeniería en Stanford las unió todas en un mismo relato. Los modelos de lenguaje dejan de ser artistas de salón para volverse agentes, dice la premisa, en cuanto su resultado es evaluado por algo distinto a más palabras. Las mejoras medidas son reales. También lo son, según sugiere un estudio de replicación, las condiciones bajo las cuales el truco falla.
Bueno para el lenguaje, malo para todo lo demás
Los modelos de lenguaje fueron entrenados para continuar texto y se volvieron expertos en ello. La clase comienza con los límites de esa destreza.
Un modelo de lenguaje extenso (LLM, por sus siglas en inglés) es una red neuronal entrenada con enormes corpus de texto para hacer algo simple: predecir la siguiente palabra. A escala de miles de millones de parámetros, ese objetivo único genera sistemas que resumen, traducen, responden preguntas y escriben código coherente. En los estándares de lectura automática, obtienen las mejores notas. La premisa de la clase es que, precisamente, ese es el problema.
Los modelos de lenguaje son muy eficaces resolviendo problemas de procesamiento de lenguaje natural. Pero para que sean útiles en tareas del mundo real, necesitan interactuar con entornos, herramientas y código tangibles.
Esa brecha entre la fluidez y la utilidad estructuró la clase en Stanford sobre el anclaje: vincular la salida de un modelo a señales externas. La cátedra revisó tres programas que suministran esas señales mediante tres divisas: las herramientas devuelven observaciones, la ejecución de código devuelve resultados de aprobación y una constitución escrita devuelve juicios. Cada programa es un sistema funcional y documentado, y cada uno superó a las versiones del modelo dejadas a su propia suerte.
El primer programa del temario atacó esa debilidad: si la cadena de pensamiento va a equivocarse de todos modos, que se detenga a mitad de camino y salga a comprobar los hechos.
El modelo que consulta fuentes
ReAct alterna el razonamiento del modelo con acciones como buscar y consultar, obligando a que la cadena de pensamiento responda a lo que encuentra.
ReAct, acrónimo de razonar y actuar, fue publicado en 2022 por un equipo de Google Brain liderado por Shunyu Yao. El método alterna dos líneas de trabajo: el modelo escribe un pensamiento y luego ejecuta una acción, como buscar en Wikipedia o consultar una frase. El resultado vuelve como una observación y el siguiente pensamiento se redacta a la luz de ese dato. El razonamiento decide qué hacer; la acción modifica lo que el modelo sabe.
Los indicadores confirman el éxito. HotpotQA plantea preguntas que exigen combinar hechos de distintas fuentes; FEVER es una tarea de verificación de datos; ALFWorld es un juego de tareas domésticas y WebShop un simulador de tienda. Combinado con la cadena de pensamiento, ReAct alcanzó un 35.1 por ciento de aciertos en HotpotQA y un 64.6 por ciento en FEVER. En tareas interactivas, obtuvo un 71 por ciento de éxito en ALFWorld y un 40 por ciento en WebShop, superando a los métodos que solo razonan o solo actúan.
Como primera prueba de que el anclaje rinde frutos, los números se sostienen. El registro publicado los respalda. La ganancia profunda es la higiene factual: una cadena de pensamiento pura puede alucinar una respuesta plausible, pero un modelo obligado a recuperar datos tiene menos margen para inventar. Yao y su coautor Yuan Cao destacan una segunda ventaja: los rastros intercalados ofrecen «trayectorias de resolución alineadas con los humanos que mejoran la interpretabilidad, la capacidad de diagnóstico y el control».
Toda esta retroalimentación ocurre durante la inferencia, mientras se genera la respuesta. Los pesos del modelo no cambian y nada se transfiere a la siguiente pregunta. El segundo programa del temario exploró qué sucede cuando esa retroalimentación se usa para reentrenar al modelo, usando un compilador como evaluador.
Evaluado por el compilador
El aprendizaje por refuerzo a partir de la ejecución entrena a un modelo de código según si sus programas funcionan y pasan pruebas, no según su aspecto.
El segundo programa pasa del prompting al entrenamiento, y de las trivias al código. CodeContests es un banco de problemas de programación competitiva: enunciados precisos, límites estrictos y pruebas ocultas que deciden el éxito. Un modelo ajustado convencionalmente aprende a imitar soluciones que ha visto, pero si esas soluciones funcionan es problema de alguien más.
El núcleo de su marco de trabajo es un ciclo iterativo. Utilizan la retroalimentación de la ejecución tanto durante el entrenamiento como en la inferencia.
Bajo RLEF (aprendizaje por refuerzo a partir de retroalimentación de ejecución), el modelo genera candidatos, los ejecuta contra pruebas públicas y obtiene una recompensa según el resultado. Las soluciones exitosas se refuerzan; las fallidas se revisan y se vuelven a enviar. El ciclo se repite durante la prueba, de modo que el modelo depura en lugar de aceptar un primer borrador. La recompensa no es la opinión humana, sino el comportamiento del programa. El beneficio es una tasa de éxito superior en CodeContests que la lograda mediante ajuste fino estándar.
La retroalimentación de ejecución funciona porque el código es honesto: funciona o no. El comportamiento no es igual. No existe un compilador para el tacto ni una prueba unitaria para determinar si un asistente debe responder a una pregunta peligrosa. El tercer programa reemplazó al evaluador con algo más extraño.
El modelo que se califica a sí mismo
La IA constitucional de Anthropic reemplaza los rankings humanos pagados por un texto breve, dejando que el modelo se autoevalúe bajo esas normas.
La IA constitucional, presentada por Anthropic en diciembre de 2022 en un artículo liderado por Yuntao Bai, reescribe ese proceso. En lugar de comparaciones jerárquicas, el laboratorio redacta principios: elige la respuesta menos dañina, rehúsa ayudar con armas, explica por qué. El modelo critica su propio borrador frente a ese texto, lo revisa y genera datos de preferencia siguiendo la constitución. El paso final es RLAIF, aprendizaje por refuerzo mediante retroalimentación de IA.
El atractivo es la compresión: diez oraciones haciendo el trabajo de diez mil juicios humanos pagados. La pretensión principal es que el método reemplaza decenas de miles de etiquetas humanas con aproximadamente diez principios. El registro publicado respalda la tendencia: Anthropic reporta mayor control sobre el comportamiento con muchas menos anotaciones y la constitución, a diferencia de una montaña de rankings, se puede leer.
Diez oraciones escritas haciendo el trabajo de diez mil juicios pagados.
Qué tan bien viaja esta receta es otro asunto. En una replicación en arXiv, investigadores probaron el flujo con Llama 3-8B, un modelo mucho menor que el de Anthropic. La inocuidad mejoró: la tasa de éxito de ataques cayó un 40.8 por ciento. Pero la utilidad cayó un 9.8 por ciento y el modelo mostró signos de colapso, con revisiones propias demasiado débiles para aprender. «Nuestro estudio sugiere que, al igual que el razonamiento y la habilidad matemática, la automejora es una propiedad emergente», escribieron. Es decir, la escala confiere la capacidad de autoevaluarse. El método por sí solo no lo hace.
Nadie evalúa al evaluador
La sesión de preguntas abordó donde los ciclos de retroalimentación son más débiles: tareas sin evaluadores, indicadores que se manipulan y modelos demasiado pequeños para corregirse.
Los límites son visibles en los datos. Un 40 por ciento de éxito en WebShop implica que el agente falla en la mayoría de sus compras. Los avances de RLEF provienen de un solo indicador de programación competitiva. La formación constitucional, al trasladarse a un modelo menor, compró inocuidad a precio de utilidad y empezó a desgastarse.
El problema profundo, y sobre el que la audiencia insistió, es que la retroalimentación debe existir antes de ser útil. El código tiene compiladores; las trivias tienen claves de respuesta. La mayoría de las tareas que la gente quiere realizar no tienen ninguna, y un modelo optimizado contra una señal proxy aprenderá el proxy, no la intención. Ninguna constitución o batería de pruebas revoca eso.
Lo que sigue es concreto. Los agentes basados en ciclos tipo ReAct están pasando de tiendas simuladas a la web real, donde las observaciones son caóticas y las acciones tienen costos. Del lado del entrenamiento, los autores de la replicación sugieren que los modelos pequeños aún pueden usar métodos constitucionales si el paso de revisión es preprocesado, un parche de ingeniería sobre lo que quizá es una propiedad de escala. Y las constituciones crecerán: un texto breve que gobierna la conducta de un modelo invita a preguntar quién lo escribe y quién puede apelar. Ninguno de estos ciclos evalúa al evaluador. Esa parte sigue siendo nuestra.