Una puntuación puede impresionar sin responder la pregunta práctica: ¿puedo confiar en este resultado? La clase de Aakanksha Chowdhery en Stanford CS329A del 17 de noviembre de 2025 es el punto de partida de esta lectura. Tres evaluaciones permiten separar las preguntas. METR relaciona la duración de tareas con una tasa de éxito. GDPval compara entregables con trabajo profesional. DeepScholar-Bench examina la síntesis de investigación, la recuperación de fuentes y el respaldo de las citas. Sus puntuaciones no forman una escala única de capacidad. Antes de encargar trabajo a un agente, conviene preguntar qué requisito mide la prueba y cuál deja abierto.
Llevar la cuenta de sistemas que actúan
Los antiguos tableros calificaban respuestas aisladas. A los agentes hay que evaluarlos por lo que terminan, lo que vale y si alguien puede verificarlo.
Una puntuación de opción múltiple, por sí sola, no demuestra que un sistema pueda completar una tarea con herramientas. Un agente puede navegar, escribir código, ejecutarlo y revisar el resultado. Para ese encargo, la evaluación debe examinar el resultado y los pasos que influyen en él.
Esta lectura compara tres evaluaciones. METR relaciona la finalización con la duración humana de las tareas y una tasa de éxito indicada. GDPval compara entregables con trabajo profesional. DeepScholar-Bench examina la síntesis de investigación y sus fuentes. Son perspectivas para plantear preguntas distintas; ninguna ofrece una nota universal.
El cronómetro y la tasa de éxito
METR relaciona el éxito en sus tareas con el tiempo humano. Su horizonte estimado siempre necesita un umbral de éxito explícito.
El estudio de METR de marzo de 2025 evalúa tareas de software y razonamiento de varios pasos. Usa tiempos de personas con experiencia pertinente y ajusta curvas de éxito según esas duraciones. El horizonte se obtiene para un umbral de éxito elegido. Depende de las tareas y referencias humanas utilizadas; no describe todas las ocupaciones.
En este eje, la curva es tan pronunciada que invita a la extrapolación. En los modelos históricos del estudio de METR de marzo de 2025, el horizonte con un 50% de éxito se duplicaba aproximadamente cada siete meses, una estimación del equipo investigador. Si la línea se mantiene, pronto dejará atrás la jornada laboral para empezar a devorar la semana de trabajo. Que esa tendencia continúe sigue siendo incierto.
Un modelo que acierta la mitad de las veces es distinto de otro que acierta diecinueve de cada veinte. Por eso el umbral de éxito debe acompañar al horizonte temporal. Un resultado al 50% no indica cuál sería el horizonte al 95%. Estas preguntas se refieren a terminar tareas; GDPval plantea otra sobre la calidad del trabajo obtenido.
La prueba del sueldo
GDPval, de OpenAI, hace una pregunta más directa que cualquier examen: ¿es el resultado lo suficientemente bueno como para cobrar por él?
GDPval compara la calidad de los entregables con el trabajo profesional. La relevancia económica describe las tareas; la puntuación no expresa su valor en dólares. GDPval agrupa 1.320 tareas de ocupaciones reales, resultados por los que la gente recibe un pago, con 220 de ellas abiertas en un subconjunto de oro para su inspección. Aquí no hay acertijos; puede tratarse de un memorando, una hoja de cálculo o un diseño. Una puntuación no garantiza que el cliente lo acepte sin editar. La pregunta es la sustitución.
«Lo suficientemente bueno» es una cuestión de criterio, por lo que el benchmark depende de evaluadores humanos que comparan el trabajo del modelo con el profesional. Su coherencia conlleva su propia estadística incómoda: el acuerdo entre evaluadores. La concordancia mide la consistencia entre evaluadores. Por sí sola no demuestra que su juicio sea correcto ni que la prueba mida la capacidad que pretende evaluar.
Un número de este benchmark destaca más que cualquier tasa de acierto, y no es una nota, sino un tropiezo: qué ocurre con la calificación cuando las instrucciones se vuelven escuetas.
El costo de la instrucción escueta
GDPval probó instrucciones más breves en un experimento con GPT-5. Así examinó la sensibilidad a la información suministrada.
El apéndice A.2.7 de GDPval prueba GPT-5 con instrucciones más cortas sobre una versión anterior del subconjunto de referencia. La evaluación humana encontró un rendimiento menor. Es un experimento concreto, no una tasa general de pérdida para todos los agentes.
Las personas adquieren contexto en reuniones, mediante la experiencia y al conversar. Eso lleva tiempo. Un agente puede necesitar instrucciones explícitas o acceso a esa información. Al comparar su resultado con el trabajo humano hay que preguntar quién preparó el contexto y si ese esfuerzo está incluido en el costo.
Un benchmark que ignora la instrucción está midiendo al trabajador equivocado, y el tercer criterio cambia el enfoque: no qué produce el modelo, sino si alguien puede verificarlo.
Muestra tus fuentes
DeepScholar-Bench evalúa un encargo concreto: una sección de trabajos relacionados con fuentes que respalden sus afirmaciones.
DeepScholar-Bench, de investigadores de Stanford y UC Berkeley, pide redactar secciones de trabajos relacionados para artículos académicos. Es una tarea concreta de síntesis bibliográfica. Su evaluación automática separa síntesis, calidad de recuperación y verificabilidad. Encontrar una fuente pertinente y usarla para respaldar una afirmación son requisitos diferentes.
Los resultados de DeepScholar no indican que cuatro de cada cinco informes suspendieran una auditoría. En la primera versión del artículo (agosto de 2025), ningún sistema evaluado superó 0,19 en todas las métricas; varias puntuaciones individuales fueron mayores. Una versión revisada (febrero de 2026) da cifras distintas para sus sistemas. Son medidas separadas, no una tasa única de informes aprobados.
La verificabilidad es lo que convierte a un modelo de lenguaje de un simple charlatán en un instrumento serio. Un agente que inventa citas es peor que no tener agente, porque blanquea el error bajo un barniz de autoridad; la auditoría es el verdadero producto. La pregunta práctica es si la evidencia citada respalda la afirmación que lee la persona.
Qué observar en el tablero
Estas evaluaciones ofrecen perspectivas diferentes del rendimiento. Conviene elegir la que corresponda a la tarea.
La apuesta subyacente es que la era de la nota única terminó. El estatus de un modelo tiene tres coordenadas: qué duración de tareas alcanza con un umbral de éxito dado, cómo se comparan sus entregables con el trabajo profesional y si sus afirmaciones resisten una revisión. Las pruebas estudian tareas y poblaciones diferentes. Sus puntuaciones no establecen una clasificación común del progreso. A diferencia de un ranking, un tablero te indica dónde está el cuello de botella.
sigue existiendo la posibilidad de un error sustancial del modelo.METR · 19 de marzo de 2025 · traducción
La advertencia se refiere al modelo de predicción: prolongar una curva histórica hacia el futuro puede dar una previsión equivocada. No expresa una tasa medida de error para todos los agentes de IA.
Quedan tres preguntas abiertas. La primera es si la duplicación se mantendrá cuando los horizontes superen la jornada laboral, porque las curvas largas tienden a doblarse. La segunda, si la fiabilidad puede entrenarse tan rápido como el alcance, o si es un problema de distinta naturaleza. La tercera es si alguien creará el cuarto criterio necesario: uno que ponga precio a la instrucción misma, al trabajo de contexto que las personas siguen aportando. Antes de confiar una tarea a un agente, hay que elegir qué requisito importa y comprobar si la evaluación realmente lo pone a prueba.