Pide a un modelo de lenguaje que corrija un error real de un repositorio de código y, en un solo intento, tendrá éxito unas dieciséis de cada cien veces. Si le permites 250 intentos, corrige más de la mitad: una puntuación superior a la del modelo más potente del mundo en un solo disparo. Nada en el modelo cambió entre intentos; simplemente tuvo más oportunidades. Este resultado es el núcleo de la lección inicial de un curso sobre grandes modelos de lenguaje impartido por Aakanksha Chowdhery y Azalia Mirhoseini, dos investigadores cuyo propio trabajo ayudó a forjar esta realidad. Su versión del sector es que el motor ha sido reemplazado. Durante una década, el progreso dependió de entrenar modelos cada vez más grandes con datos cada vez más masivos. Hoy, el avance proviene del cómputo que se le permite emplear al modelo sobre una respuesta una vez terminado el entrenamiento. El tamaño importa, pero las ganancias más recientes se compran durante la inferencia: una muestra, un segundo, una cadena de pensamiento a la vez.
Dos guías desde dentro del laboratorio
Un curso sobre modelos de lenguaje comienza con dos de las personas que ayudaron a hacerlos grandes.
El curso versa sobre grandes modelos de lenguaje y los ponentes hablan con una autoridad inusual: varios de los resultados que exponen son suyos. La lección inaugural recorre el campo tal como sus constructores lo recuerdan, como una serie de hallazgos que transformaron las posibilidades. Hay un curso que gestionar, con calificaciones y logística; los docentes llegan a eso al final. Primero, la historia.
Su perspectiva es empírica. En su relato, el progreso en la IA lingüística no ha derivado de ideas ingeniosas, sino de curvas: la relación medida entre lo que ingresa (parámetros, datos, cómputo) y lo que resulta. Esa lente gobierna todo lo demás. Una capacidad importa una vez que puede graficarse; una técnica importa cuando desplaza la curva.
La historia comienza con la línea más recta del aprendizaje automático moderno.
La primera ley de escala
El primer motor del sector fue un hallazgo de 2020: el error del modelo cae en una curva suave a medida que el tamaño, los datos y el cómputo crecen.
Un modelo de lenguaje se entrena para predecir la siguiente palabra y su calidad se evalúa como pérdida de prueba: el error promedio en textos nunca antes vistos. En 2020, Kaplan y sus colegas midieron ese error en muchos tamaños de modelos y hallaron que disminuye conforme tres factores crecen en conjunto —parámetros, datos de entrenamiento y cómputo— siguiendo una curva lo suficientemente regular para extrapolarse.
La predictibilidad convirtió la ambición en ingeniería. Un laboratorio podía ejecutar experimentos pequeños, ajustar la curva y pronosticar el rendimiento de un modelo cien veces mayor antes de pagar por el entrenamiento. Entrenar los modelos más grandes dejó de ser un salto al vacío y se convirtió en una partida presupuestaria.
A medida que escalas el número de parámetros en un modelo, estos mejoran.
Una curva de pérdida predice qué tan bien adivinará el modelo la siguiente palabra. No dice nada sobre lo que el modelo será repentinamente capaz de hacer. Ahí comenzaron las sorpresas.
Las habilidades que nadie programó
Más allá de cierto tamaño, los modelos realizan tareas para las que no fueron diseñados y que nadie les enseñó.
Dale a un modelo grande una tarea para la que nunca fue entrenado, incluyendo dos o tres ejemplos resueltos en la instrucción, y a menudo simplemente la ejecuta. Esto es aprendizaje de pocos intentos (few-shot): sin reentrenamiento, sin nuevos parámetros, solo contexto. Los modelos pequeños no pueden hacerlo. Superado cierto tamaño, sí pueden.
A medida que los modelos se vuelven más grandes, no solo obtenemos esta propiedad predictiva de las leyes de escala… también surgen nuevas clases de comportamientos.
El más trascendental de estos nuevos comportamientos provino de cambiar la pregunta, no el modelo. Si se les pide directamente la respuesta a un problema matemático, los modelos suelen adivinar. Si se les pide resolverlo paso a paso, resuelven problemas que la instrucción estándar no logra. El resultado remite a un artículo de 2022 de Wei y colegas, que regaló al sector un nuevo verbo: provocar.
La emergencia brindó capacidad, pero no obediencia. Un modelo que puede hacer casi cualquier cosa aún debe ser enseñado a hacer lo que tú le pides.
Enseñarle buenos modales al modelo
Un modelo base completa texto; un asistente sigue instrucciones. La distancia entre ambos es la alineación.
El primer ajuste es el ajuste de instrucciones. Tras el preentrenamiento, se afina el modelo con pares de instrucciones y respuestas de calidad en múltiples tareas. Chung y sus colegas escalaron esa receta y los modelos resultantes siguen instrucciones nunca antes formuladas. Sistemas conversacionales como LaMDA, de Thoppilan y colegas, surgen de este flujo.
El segundo ajuste es el aprendizaje por refuerzo con retroalimentación humana (RLHF). Las personas califican las respuestas y el modelo se ajusta hasta que sus respuestas obtienen buenas notas. Juntos, el ajuste de instrucciones y el RLHF son cruciales para alinear los modelos con las preferencias e instrucciones humanas.
La alineación hizo que los modelos fueran útiles y agradables, pero no más inteligentes. El siguiente salto no vino del entrenamiento: vino de intentar más de una vez.
El segundo eje
El entrenamiento solía ser la parte costosa. La nueva idea es invertir cómputo serio al momento de responder.
Todo modelo tiene dos presupuestos. El entrenamiento es el famoso; la inferencia —el cómputo invertido cada vez que responde— era la parte barata. Esa división se ha roto. Dale a un modelo entrenado más tiempo, más intentos o más espacio para trabajar, y su rendimiento aumenta sin cambiar un solo parámetro.
La forma más visible es el agente que actúa en el mundo. Tres sistemas muestran el alcance. Shao y sus colegas construyeron uno que redacta artículos al estilo Wikipedia desde cero. El “Científico IA” de Lu y sus colegas intenta investigación científica abierta. El SWE-agent de Yang y colegas corrige errores de software reales manejando herramientas de programación por sí mismo.
La forma más simple de este nuevo eje no necesita herramientas ni bucles. Solo requiere una pregunta, un evaluador y 250 intentos.
Pregúntale al modelo 250 veces
La cobertura —el porcentaje de problemas resueltos al menos una vez— sigue aumentando con el número de intentos.
El estudio es Large Language Monkeys, un artículo de 2024 de Bradley Brown y un equipo que incluye a los dos docentes. El método es directo: muestrea al modelo muchas veces ante el mismo problema y cuenta si alguno tiene éxito. En SWE-bench Lite, una prueba con problemas reales de software, un modelo de programación de tamaño medio resuelve el 15.9% con un intento, y el 56% con 250. Los modelos más fuertes del mundo, con un solo intento, logran el 43%.
Parece que los modelos ya saben mucho más de lo que obtienes de ellos cuando solo les preguntas una vez.
El patrón no se limita al código. En los conjuntos GSM8K y MATH de problemas matemáticos, los modelos Llama-3 alcanzan una cobertura del 95% al permitirles 10,000 muestras. El crecimiento tiene la misma forma que las curvas de entrenamiento: la cobertura aumenta con el conteo de muestras siguiendo una línea casi recta en los ejes correctos. Una ley de escala durante la inferencia.
El detalle es el mismo que siempre tuvieron los monos mecanógrafos. La cobertura marca un problema como resuelto cuando un intento tiene éxito, pero alguien debe saber cuál. Las matemáticas y el código traen evaluadores automáticos. Donde no existe un verificador, el propio artículo señala como problema abierto la tarea de elegir la respuesta correcta de entre la pila.
Modelos que piensan más tiempo
El modelo o1 de OpenAI convirtió el tiempo de pensamiento en una línea recta y el sector lo ha estado redibujando desde entonces.
El o1 de OpenAI es el modelo de razonamiento construido bajo esa idea: el aprendizaje por refuerzo lo entrena para producir una larga cadena de pensamiento interna antes de responder. El informe de la empresa muestra una relación logarítmica lineal entre el cómputo en tiempo de prueba y la precisión. A más cómputo pensado, mayor puntuación. Las cifras publicadas sitúan al o1 en el percentil 89 de Codeforces y con una tasa de acierto del 74% en el examen AIME de matemáticas, con un intento por problema.
Desde entonces, el enfoque se ha abarrotado. Tras el lanzamiento de DeepSeek R1 en enero de 2025, surgieron técnicas de tiempo de prueba: tokens que ordenan al modelo esperar, rondas de auto-retroalimentación y retroceso en árboles de razonamiento. Un proyecto, s1, alcanzó un rendimiento competitivo con solo 1,000 ejemplos de razonamiento curados. Los investigadores de DeepSeek, al revisar su camino hacia R1, descartaron dos técnicas discutidas —premiar cada paso de razonamiento y la búsqueda en árbol— como “intentos fallidos”.
Hasta dónde escala la receta de aprendizaje por refuerzo sigue, según OpenAI, bajo investigación. El límite más profundo es el que los monos dejaron atrás. El muestreo repetido y el razonamiento largo rinden mejor donde las respuestas pueden verificarse automáticamente, y la mayoría de las preguntas humanas no tienen verificador. Así que atentos a los jueces. Si los modelos aprenden a calificar sus propias respuestas en dominios sin pruebas, el segundo eje se abrirá más. Hasta entonces, las líneas rectas se tuercen donde se acaban las comprobaciones.