Cada medición en este texto depende de un punto de referencia obstinado: cuánto tarda una persona. Un diseñador termina un encargo en cuarenta minutos; un analista necesita un día para limpiar una base de datos. Ante ese reloj humano, las máquinas avanzan a toda velocidad. Un profesor de ingeniería en Stanford dedicó una clase al problema de llevar la cuenta. Los protagonistas ahora son agentes: sistemas que planifican y actúan durante horas, no chatbots que responden en segundos. El marcador se rige por tres criterios. El primero mide la resistencia: la tarea más larga que un modelo puede terminar se ha duplicado cada siete meses, aproximadamente, durante seis años. El segundo mide el valor económico, calificando a los modelos por tareas por las que el mercado realmente paga. El tercero mide la confianza: el modelo debe investigar y luego demostrar que sus citas respaldan sus afirmaciones. En los tres, el punto débil sigue siendo la fiabilidad de las máquinas.
Llevar la cuenta de sistemas que actúan
Los antiguos tableros calificaban respuestas aisladas. A los agentes hay que evaluarlos por lo que terminan, lo que vale y si alguien puede verificarlo.
Vale la pena empezar por entender por qué los exámenes antiguos dejaron de funcionar. Un test de opción múltiple te dice lo que un modelo sabe en un intercambio, pero nada sobre lo que es capaz de hacer. Un agente trabaja durante horas: navega, escribe código, lo ejecuta, corrige fallos y solo entonces entrega resultados. Evaluar eso con una hoja de respuestas correctas es como calificar a un cirujano con un examen de vocabulario. Ahí comienza el problema que aborda la conferencia: la brecha entre lo que los modelos hacen y cómo los medimos.
La conferencia plantea tres marcadores, cada uno enfocado en una faceta. El primero, METR, compara lo que los modelos completan con el tiempo que le toma a un profesional. El segundo, GDPVal, desarrollado en OpenAI, valora el trabajo del modelo bajo estándares de mercado; el tercero, DeepScholar-Bench, de Stanford, audita si la investigación resiste un escrutinio. Tiempo, dinero y confianza: ninguno sustituye a los otros. El cronómetro es el primero porque es el criterio más antiguo y el que tiene la curva más pronunciada.
El cronómetro y la tasa de éxito
El criterio de METR es la hora humana. Con él, la capacidad crece rápido, pero terminar no es lo mismo que terminar de forma fiable.
El diseño es sencillo: se toman tareas reales, desde ajustes de diez minutos hasta proyectos de varios días, y se registra cuánto le toma a un profesional hacer cada una. Cada tarea en el conjunto lleva un tiempo de ejecución profesional humano como ancla. Luego se asignan las mismas tareas al modelo y se observan dos cifras. La primera es el horizonte temporal: cuánto puede abarcar el modelo en el reloj humano. La segunda es la tasa de éxito, y ambas se mantienen estrictamente separadas.
En este eje, la curva es tan pronunciada que invita a la extrapolación. En los últimos seis años, el horizonte se ha duplicado cada siete meses, un crecimiento compuesto que la clase rastrea con la investigación sobre duración de tareas de Rein, Wijk y colegas. Si la línea se mantiene, pronto dejará atrás la jornada laboral para empezar a devorar la semana de trabajo. Esa es la apuesta que todos en el sector están haciendo.
Cuanto más larga es la tarea, más difícil le resulta a los modelos mantener el rumbo y completarla.
Mantener el rumbo es donde el optimismo flaquea: no es lo mismo contratar a un modelo que termina una tarea de dos horas la mitad de las veces, que a uno que lo hace diecinueve de cada veinte. El segundo número de METR, la tasa de éxito, marca la diferencia, y ahí las noticias son más frías: la fiabilidad sigue siendo baja incluso cuando los modelos terminan el trabajo. Las máquinas alcanzan horizontes más lejanos cada pocos meses, pero no lo hacen de forma consistente. La consistencia es algo que el dinero sabe medir, y ahí entra el segundo criterio.
La prueba del sueldo
GDPVal, de OpenAI, hace una pregunta más directa que cualquier examen: ¿es el resultado lo suficientemente bueno como para cobrar por él?
Donde METR cuenta horas, el segundo criterio usa dólares, y su unidad de medida es el producto entregable. GDPVal agrupa 1,320 tareas de ocupaciones reales, resultados por los que la gente recibe un pago, con 220 de ellas abiertas en un subconjunto de oro para su inspección. Aquí no hay acertijos; se trata del memorando, la hoja de cálculo o el diseño que un cliente aceptaría sin editar. La pregunta es la sustitución.
Si vas a entregar esta tarea al modelo en lugar de a un humano, ¿es el resultado lo suficientemente bueno?
«Lo suficientemente bueno» es una cuestión de criterio, por lo que el benchmark depende de evaluadores humanos que comparan el trabajo del modelo con el profesional. Su coherencia conlleva su propia estadística incómoda: el acuerdo entre evaluadores. Una alta concordancia significa que la calificación mide el trabajo; una baja significa que mide a los evaluadores, y la tasa de acierto se convierte solo en una cuestión de gusto con decimales.
Un número de este benchmark destaca más que cualquier tasa de acierto, y no es una nota, sino un tropiezo: qué ocurre con la calificación cuando las instrucciones se vuelven escuetas.
El costo de la instrucción escueta
Elimina el contexto de una tarea y la tasa de acierto del modelo cae. La caída es pequeña en papel, pero enorme en significado.
El experimento de GDPVal es elegante. Se toman las tareas con sus instrucciones completas, se elimina el contexto (ese trasfondo que un colega humano absorbe sin que nadie le explique) y se vuelven a ejecutar. La tasa de acierto baja del 47.7 por ciento al 44.3 por ciento: tres puntos, no un colapso. Pero las tareas no cambiaron, solo la información previa, y el costo de esa brecha ya tiene un precio en la misma moneda que el trabajo.
Los humanos obtienen contexto gratis: asisten a reuniones, leen el ambiente y entienden por qué al cliente no le gusta el color azul. Un agente solo sabe lo que se le dice, y explicar es un trabajo: alguien tiene que escribir la instrucción. Los benchmarks dan a los modelos instrucciones más completas que la vida real, por lo que las notas publicadas halagan al producto final; quien escribe la instrucción hace una parte del trabajo del agente, sin sueldo y sin medición.
Un benchmark que ignora la instrucción está midiendo al trabajador equivocado, y el tercer criterio cambia el enfoque: no qué produce el modelo, sino si alguien puede verificarlo.
Muestra tus fuentes
El benchmark de Stanford califica a los agentes de investigación como los tutores a los alumnos: por la síntesis y por si las citas coinciden con la realidad.
El tercer criterio es el de casa. DeepScholar-Bench, de Stanford, evalúa la síntesis de investigación: se le da al agente una pregunta que requiere leer varios artículos y se califica su reporte. La evaluación tiene dos colmillos: la calidad de la síntesis y la verificabilidad; es decir, ¿apuntan las citas a trabajos reales y dicen esos trabajos lo que el agente afirma?
Aquí los resultados llegan como el jarro de agua fría de la conferencia: en todas las métricas, la mayoría de los sistemas no logran superar el 19 por ciento. El equipo de casa diseñó este examen, y casi todos los que lo toman reprueban. Las máquinas que duplican su resistencia cada siete meses no pueden, cuatro de cada cinco veces, producir una investigación que supere una auditoría. Es un correctivo necesario para la euforia del cronómetro: las tareas largas son difíciles, pero las tareas verificables son más complejas.
La verificabilidad es lo que convierte a un modelo de lenguaje de un simple charlatán en un instrumento serio. Un agente que inventa citas es peor que no tener agente, porque blanquea el error bajo un barniz de autoridad; la auditoría es el verdadero producto. Es ahí, en la métrica más cercana a la confianza, donde el marcador es menos halagador.
Qué observar en el tablero
Capacidad, valor, confianza: el sector cambió una cifra por tres. Lo que importa ahora es cuál de las tres se mueve primero.
La apuesta subyacente es que la era de la nota única terminó. El estatus de un modelo tiene tres coordenadas: cuánto tiempo puede trabajar, qué vale su trabajo y si sus afirmaciones resisten una revisión. Las tres avanzan a ritmos distintos: la resistencia se duplica cada siete meses, el valor económico llega con retraso porque el pago depende de la fiabilidad, y la verificabilidad va a la zaga. A diferencia de un ranking, un tablero te indica dónde está el cuello de botella.
Incluso si los modelos están resolviendo estas tareas, la fiabilidad no es alta.
Quedan tres preguntas abiertas. La primera es si la duplicación se mantendrá cuando los horizontes superen la jornada laboral, porque las curvas largas tienden a doblarse. La segunda, si la fiabilidad puede entrenarse tan rápido como el alcance, o si es un problema de distinta naturaleza. La tercera es si alguien creará el cuarto criterio necesario: uno que ponga precio a la instrucción misma, al trabajo de contexto que los humanos siguen haciendo gratis. Hasta entonces, la lectura honesta de los tres marcadores es la misma: las máquinas avanzan hacia el trabajo mucho más rápido de lo que logran ganarse nuestra confianza.