Si enfrentas a un chatbot de vanguardia y a un modelo abierto descargable ante el mismo problema matemático de concurso, el chatbot gana casi siempre. Pero si permites que el modelo pequeño responda doscientas cincuenta veces y seleccionas solo lo que puede probar, el resultado se invierte. Ese giro fue lo que Azalia Mirhoseini, investigadora de Stanford y coautora del estudio, desmenuzó en su ponencia. Su afirmación: la inferencia —ese instante único en que un modelo entrenado genera una respuesta— es el presupuesto desaprovechado más barato de la inteligencia artificial. Las pruebas son una serie de resultados donde modelos abiertos pequeños, al ser sometidos a muestreos incesantes y evaluaciones automáticas, superan a sistemas propietarios mucho más grandes en matemáticas, programación competitiva y corrección de errores de software. Las primeras leyes de escala, redactadas en 2020, dictaron que el camino era construir modelos más grandes. El trabajo aquí expuesto plantea qué sucede cuando, en lugar de construir más, simplemente compras más intentos.
Tres presupuestos y uno olvidado
Un modelo de lenguaje tiene tres etapas de vida: entrenamiento, ajuste y respuesta. Las leyes de escala se escribieron para la primera.
El pre-entrenamiento es la primera etapa, larga y ruinosamente cara, donde el modelo procesa gran parte de internet para aprender a predecir texto. El ajuste fino es el aprendizaje que sigue, más barato, para enseñar instrucciones, modales y negativas. La inferencia es todo lo que ocurre después: cuando el modelo terminado responde a una consulta. Cada respuesta que has leído de un chatbot es una llamada de inferencia calculada al momento.
La estrategia de la industria se definió en la primera etapa. El punto de partida fue el artículo de leyes de escala de 2020 de Kaplan y sus colegas, que mostró que el desempeño del modelo sigue curvas predecibles conforme aumenta su tamaño. Esa predictibilidad convirtió la creación de modelos en un plan de gastos de capital, y el dinero fluyó hacia allá. La inferencia, en cambio, se consideró un costo fijo de operación: consultabas al modelo una vez y aceptabas lo que recibías.
La interrogante de Mirhoseini apunta a esa tercera etapa relegada. Reentrenar un modelo es lento y costoso; volver a preguntar toma segundos. Si un segundo intento —o el diezmilésimo— compra una capacidad real, la economía del sector se transforma. Su respuesta comienza con un experimento mental sobre monos.
Los monos se presentan al examen
El primer resultado es un experimento tan sencillo que parece un chiste: pregunta sin parar y cuenta qué es lo que vuelve.
El artículo, elaborado por investigadores de Google DeepMind, Oxford y Stanford, se titula «Grandes monos de lenguaje» y su método cabe en una frase. Toma un problema, pide al modelo muchas respuestas en vez de una y cuenta cuántos problemas se resuelven con cualquier intento. Los autores llaman a esa fracción «cobertura».
El conteo lo realiza un verificador: un evaluador automático que determina con certeza si una respuesta es correcta. En matemáticas, el verificador es la clave de respuestas o un comprobador formal. En código, es la suite de pruebas que el programa debe superar. Sin esto, es imposible saber qué muestra conservar.
Los resultados en cinco puntos de referencia son contundentes. En CodeContests, de programación competitiva, Gemma-2B resolvió el 0.02 por ciento de los problemas con un solo intento y el 7.1 por ciento con diez mil: un salto de cientos de veces para un modelo que parecía inútil. En MATH, un banco de problemas de concurso, Pythia-160M, un modelo de investigación de 160 millones de parámetros, pasó de 0.27 por ciento de cobertura con una prueba a 57 por ciento con diez mil. Y con suficientes muestras, Llama-3-8B superó a GPT-4o en el mismo banco: un modelo abierto rebasando a uno de los sistemas propietarios más potentes.
Lo interesante es que, al realizar este muestreo repetido, podemos hacer que modelos inferiores mejoren significativamente su desempeño y superen a estos otros, más grandes y propietarios.
El resultado no depende solo de los autores. Dos ingenieros de la plataforma Modal repitieron el experimento con Llama 3.1 8B en HumanEval, un banco de problemas de Python. Un intento único resolvió el 66.4 por ciento; mil intentos resolvieron el 95.1 por ciento, superando el 90.2 por ciento de GPT-4o en un intento único. Las capacidades de vanguardia, concluyen, que antes parecían requerir «un pato del tamaño de un caballo», ahora se obtienen con «cien caballos del tamaño de un pato».
La duda natural es si el crecimiento se detiene. La respuesta es precisa.
Su propia ley de potencias
Muestrear más solo importa si las ganancias no cesan. Se señala que siguen la misma forma matemática que hizo predecible al entrenamiento.
Aquí la lección pasa de la curiosidad a la ley. En tareas y modelos, la cobertura escala con el número de muestras por órdenes de magnitud, y la relación sigue una ley de potencias exponencial: la misma familia de curvas que gobierna el entrenamiento. En la práctica: cada vez que duplicas el presupuesto de muestras, obtienes una mejora predecible en problemas resueltos. Una curva que puedes extrapolar es un plan de inversión.
Hay dos condiciones. La primera sobre los datos: la ley de potencias solo aparece cuando el banco de pruebas contiene una larga cola de problemas extremadamente difíciles; los conjuntos fáciles se saturan pronto y la curva se aplana. La segunda, sobre qué hace el muestreo. Al preguntar de nuevo, no cambian los pesos del modelo, así que no se aprende nada nuevo. La capacidad, bajo esta lectura, siempre estuvo dentro del modelo:
Parece que los modelos, incluso los pequeños, ya conocen las respuestas a estos problemas difíciles. Solo estamos extrayendo y sacando a la superficie esas respuestas.
Pero tanto el truco como la ley esconden la misma premisa: algo debe contar los aciertos. La cobertura la define un oráculo, un juez que nunca duerme y nunca falla. Donde no existe un oráculo, el artículo es directo: los métodos para adivinar la mejor muestra, desde el voto mayoritario hasta modelos de recompensa entrenados, se estancan. Esto plantea la cuestión práctica de la que depende todo: ¿dónde regala el mundo oráculos gratuitos?
Donde la evaluación es gratuita
El software es el único dominio donde el oráculo viene integrado. El banco de pruebas que lo demuestra está hecho de errores reales.
El dato principal proviene de DeepSeek-Coder-V2-Instruct, un modelo de código abierto. Con un intento por problema, resolvió el 15.9 por ciento de SWE-bench Lite; con doscientos cincuenta intentos, resolvió el 56 por ciento. El mejor resultado de un solo intento en este banco, de cualquier sistema, era del 43 por ciento. El modelo abierto no solo cierra la brecha, sino que supera al mejor intento único por trece puntos.
El cuello de botella cambió: ya no es encontrar la respuesta correcta, sino saber cuál es la correcta.
La razón son las pruebas. La suite de pruebas de un repositorio es un oráculo que no cuesta nada ejecutar y no se puede engañar —el parche pasa o falla—; las matemáticas tienen la misma propiedad mediante claves de respuestas y comprobadores formales. Casi nada más la tiene. Los ingenieros de Modal señalan que no es evidente cómo extender la técnica fuera de las matemáticas y la programación, donde la evaluación es menos precisa. Y el estudio reporta que los evaluadores sustitutos se estancan: tanto el voto mayoritario, donde las muestras eligen la respuesta más común, como los modelos de recompensa, que son segundos modelos entrenados para evaluar a los primeros.
Por tanto, el recurso escaso no es la inteligencia, sino la evaluación; eso redefine el problema de diseño. Ante un presupuesto de muestras limitado y un juez imperfecto, ¿cómo organizar los intentos y quién debe combinar, criticar y clasificar? El segundo artículo de la lección responde a esto.
Archon, el ensamblador
El segundo marco trata a la inferencia como un problema de ingeniería: ante una bolsa de trucos, buscar la mejor combinación.
El marco se llama Archon. Su premisa es que las técnicas de inferencia se han multiplicado más allá de lo que un humano puede combinar manualmente. Por tanto, Archon trata el diseño de la tubería de procesos como un problema de búsqueda, similar a cómo los investigadores automatizaron el diseño de las redes neuronales. La búsqueda abarca cuatro operaciones: generación, fusión, crítica y clasificación.
La generación produce candidatos. La fusión une varios en uno solo. La crítica ordena a un modelo hallar fallos. La clasificación ordena los candidatos para la elección final.
Buscar en ese espacio requiere un método: la optimización bayesiana, una técnica para ajustar sistemas cuando cada experimento es costoso. En lugar de probar cada combinación, mantiene un modelo dinámico de qué diseños parecen prometedores y explora esos primero. Archon lo aplica a las tuberías de inferencia, decidiendo cuántas muestras tomar, cuándo revisar y cuándo fusionar. El resultado es una receta: un proceso fijo aplicable a cada nuevo problema.
La elección más profunda es entre dos direcciones. La revisión secuencial pide a una muestra mejorarse en un bucle, criticando cada paso: es profundo, pero los errores se acumulan y no se acelera añadiendo máquinas. El muestreo paralelo pide lo mismo muchas veces a la vez: es superficial y redundante, pero fácilmente distribuible. Los experimentos del marco comparan ambos sin coronar a ninguno.
Note lo que la búsqueda no puede suministrar: juicio. La crítica y la clasificación las hacen modelos, no oráculos; esto convierte a Archon en una máquina para lidiar con la ausencia de evaluadores gratuitos. La viabilidad de este proceso decidirá su valor real.
Lo que deja abierto el cambio
La lección cierra con un argumento sobre adónde debe ir la próxima unidad de cómputo. Sus límites son la parte interesante.
La recomendación sigue la lógica de las curvas. Si los modelos pequeños alcanzan a los grandes con más intentos, parte del presupuesto destinado a entrenar modelos cada vez mayores debería comprar capacidad de inferencia. La prueba ofrecida es una comparación manteniendo el cómputo total fijo —los FLOP, la unidad contable de la aritmética—. En esa comparación, el gasto en inferencia superó a menudo al pre-entrenamiento adicional en problemas fáciles y medios; los difíciles siguen perteneciendo a la escala.
Esto motiva un cambio en la asignación de cómputo, especialmente para dominios con verificadores automáticos.
El matiz es clave. Los verificadores existen donde las respuestas se comprueban mecánicamente: código con suites de pruebas, demostraciones formales, matemáticas con claves. Aún no existen para la mayoría de las consultas que la gente hace a los chatbots. Según las pruebas actuales, el alcance de la técnica es exactamente el alcance de sus evaluadores; donde el juez es un voto o un modelo sustituto, las ganancias se estabilizan.
Hay una forma antigua de decir esto. El ensayo «La amarga lección» de Richard Sutton sostiene que la búsqueda y el aprendizaje son los dos métodos que escalan fiablemente con el cómputo. La década del aprendizaje profundo perteneció al aprendizaje. El resultado de los monos suena a la búsqueda exigiendo su parte: no modelos más listos, sino más intentos, gastados con astucia.
Lo importante no son los modelos, sino los evaluadores. Los retos son claros: extender la técnica más allá del código y las matemáticas, y romper el estancamiento al elegir la mejor muestra cuando no hay oráculo. Un evaluador barato y confiable para cualquier dominio desbloquearía todos estos resultados. Los monos han demostrado lo que compran los intentos ilimitados; lo que falta es alguien que sepa reconocer a Shakespeare.