Mercor: solo 208 de 923 ocupaciones con cobertura real de IA

Un chatbot resuelve casi cualquier pregunta de programación en segundos, pero nadie sabe si uno hace bien el trabajo real de un electricista, una enfermera o un inspector de seguridad. Según un informe de Mercor, apenas 208 de las 923 ocupaciones de EE.UU. tienen una tarea medida por benchmarks de IA con cinco pruebas o más.

La cifra agregada es más contundente: el 90% de las horas de trabajo pagadas en el país caen en tareas que las pruebas de IA actuales apenas rozan.

TL;DR

• Mercor halla que solo 208 de 923 ocupaciones de EE.UU. tienen benchmarks de IA con 5 o más tareas cubiertas.- El 90% de las horas laborales del país caen en tareas con poca o nula cobertura de pruebas de IA.- Veintinueve benchmarks mapean 18.797 tareas O*NET agrupadas en 22 familias laborales, según el estudio.- Seis de 22 familias de empleo, entre ellas salud y educación, no tienen ninguna ocupación bien cubierta.- La cobertura sigue el salario: Computación y Matemáticas llega a 29 de 36 ocupaciones medidas.

Qué es el Benchmark Map de Mercor

El Benchmark Map de Mercor es un índice público que cruza las 923 ocupaciones y las 18.797 tareas de la taxonomía O*NET del Departamento de Trabajo de EE.UU. con 29 benchmarks de IA existentes, para medir qué porción del trabajo real del país tiene al menos una prueba que lo evalúe.

Mercor es conocida en la industria por operar un marketplace que conecta expertos de distintas profesiones con laboratorios de inteligencia artificial para generar datos de entrenamiento y evaluación. Su propio benchmark, APEX, forma parte de los 29 incluidos en este índice, con la ventaja de que la empresa tiene acceso a prompts aún no publicados y puede mapearlos directamente a cada tarea O*NET.

Qué pasó

El informe, publicado por Mercor y disponible como mapa interactivo, cruza la taxonomía O*NET con 29 benchmarks de evaluación de modelos de IA. Según el estudio, de las 923 ocupaciones que componen la fuerza laboral estadounidense, solo 208 tienen al menos una tarea con cinco o más prompts de algún benchmark mapeados a ella.

La cifra agregada confirma el problema: nueve de cada diez horas de trabajo pagadas en el país corresponden a tareas sin ningún benchmark o con una cobertura mínima, según el mismo informe. Mercor agrupó las 923 ocupaciones en 22 familias laborales siguiendo la clasificación oficial de O*NET, y encontró que 6 de esas 22 familias, que incluyen salud y educación, no tienen una sola ocupación con cobertura real.

El mapa divide esas 923 ocupaciones en 22 familias que siguen la clasificación estándar de O*NET, desde Computación y Matemáticas hasta Práctica de la Salud. Cada ocupación aparece como una celda que se colorea según el porcentaje de sus tareas con cobertura, lo que permite ver de un vistazo qué sectores concentran casi toda la atención de las pruebas de IA actuales y cuáles quedan prácticamente a oscuras.
El informe cubre 18.797 tareas repartidas en 923 ocupaciones de EE.UU.

Contexto e historia

Los benchmarks que miden qué tan bien razona o programa un modelo se multiplicaron en los últimos años, pero casi todos nacieron para medir capacidades académicas o de ingeniería de software, no el trabajo que sostiene el resto de la economía. Mercor dice que este Benchmark Map es apenas su primer paso hacia un recurso que planea actualizar de forma continua.

La idea de medir qué tan expuesta está una ocupación a la IA no es nueva. En 2023, los investigadores Tyna Eloundou, Sam Manning, Pamela Mishkin y Daniel Rock publicaron un estudio que etiquetó miles de tareas de O*NET según cuánto podía acelerarlas un modelo de lenguaje. Mercor retoma esas etiquetas binarias de exposición y las cruza con su propio mapa de cobertura para ver si las pruebas de IA realmente se concentran donde la exposición es mayor.

El propio informe reconoce que la saturación de pruebas de IA en ingeniería de software no es casual: ese es el tipo de tarea donde es más fácil automatizar la evaluación, porque hay tests, métricas de éxito claras y repositorios públicos, y donde los laboratorios de IA tienen interés directo en medir el progreso de sus propios modelos. Por eso Mercor impuso un tope de benchmarks por familia laboral al armar su índice de 29 pruebas, para que ingeniería de software y investigación académica no dominaran el panorama como lo hacen en catálogos previos.

Cómo mide Mercor los benchmarks de IA

El mecanismo detrás del mapa es un juez automático. Mercor usa un modelo de lenguaje para leer cada prompt de los 29 benchmarks evaluados y asignarle una o varias tareas de la lista de 18.797 que define O*NET; un mismo prompt puede mapear a varias tareas distintas si evalúa habilidades que se superponen. Una tarea O*NET cuenta como cubierta únicamente si el juez le asignó cinco o más prompts entre todos los benchmarks, no basta con una mención aislada.

Para confirmar que el etiquetado automático no inventaba coincidencias, el equipo comparó las etiquetas del juez con las de expertos humanos sobre APEX, el propio banco de pruebas de Mercor, donde la empresa tiene acceso a prompts todavía no publicados. Esa validación es la que permite afirmar que la cobertura medida no es ruido estadístico, sino una aproximación razonable a qué mide cada prueba.

Los 29 benchmarks del índice se eligieron con cinco criterios:

• Disponibilidad pública: al menos 25 tareas públicas, o acceso directo vía APEX en el caso de Mercor.- Tareas agénticas: pedirle al modelo que ejecute una tarea, no solo que responda preguntas sobre ella.- Realismo económico: tareas parecidas a las que una empresa real le pide a un empleado, no acertijos académicos.- Diversidad económica: un tope de benchmarks por familia laboral para que software e investigación no dominen el índice.- Dificultad balanceada: benchmarks que los modelos de frontera todavía no saturan.

Para entender por qué unas ocupaciones tienen más cobertura que otras, Mercor corrió una regresión logística a nivel de tarea: la probabilidad de cobertura se explica con la etiqueta de exposición a la IA de Eloundou et al. y el logaritmo de la masa salarial de la ocupación, calculada multiplicando el salario medio que reporta la Oficina de Estadísticas Laborales por la cantidad de trabajadores y una semana de 40 horas. Los errores estándar se agrupan por familia ocupacional y los intervalos de confianza del 95% usan el método delta.

El resultado de esa regresión es una curva, no una tabla simple: a medida que sube la masa salarial de una ocupación, la probabilidad estimada de que una de sus tareas esté cubierta por algún benchmark sube de manera consistente, y la brecha entre tareas de alta y baja exposición a la IA se mantiene casi constante en todo el rango salarial. Ser una tarea automatizable según Eloundou et al. ayuda, pero ayuda mucho menos que pertenecer a una ocupación bien pagada.

flowchart TD
    A["Taxonomia O*NET: 923 ocupaciones, 18797 tareas"] --> B["Juez LLM etiqueta cada prompt de benchmark con sus tareas O*NET"]
    B --> C["Validacion contra etiquetas humanas en APEX"]
    C --> D{"Tarea con 5 o mas prompts mapeados?"}
    D -->|"Si"| E["Tarea cubierta"]
    D -->|"No"| F["Tarea sin cobertura"]

Impacto y análisis

Solo 29 benchmarks conforman el índice inicial del Benchmark Map.
El hallazgo más incómodo del informe es el patrón detrás del número total de ocupaciones cubiertas, más que el número en sí. Los benchmarks de IA no se reparten al azar entre las 923 ocupaciones: la probabilidad de que una tarea tenga cobertura sube con la masa salarial de la ocupación a la que pertenece, y sube todavía más si esa tarea ya está etiquetada como expuesta a la IA. El ejemplo que da Mercor es contundente: las tareas de abogados, una ocupación de alta exposición y alto salario, están ampliamente cubiertas, pero tareas igual de expuestas en ocupaciones como secretarias legales o empleados de juzgados apenas aparecen en algún benchmark.
Familia laboral (O*NET)Ocupaciones cubiertasCoberturaComputación y Matemáticas29 de 3680,6%Servicio comunitario10 de 1471,4%Legal5 de 771,4%Negocios y Finanzas33 de 4868,8%Administración y oficina21 de 5141,2%Gerencia21 de 5637,5%Arquitectura e Ingeniería19 de 5633,9%Artes y Medios13 de 4032,5%Ventas6 de 2227,3%Ciencia15 de 6025,0%Educación y Bibliotecas9 de 6214,5%Práctica de la Salud12 de 8913,5%
La tabla muestra solo 12 de las 22 familias para no diluir el patrón, pero la tendencia se mantiene en el resto: cuanto más grande es la nómina agregada de una familia laboral, más probable es que algún benchmark la mida, incluso cuando ocupaciones de menor salario comparten el mismo nivel de exposición a la IA según la clasificación de Eloundou et al.

El informe llama a esto la larga cola del trabajo de ingresos medios: ocupaciones como asistentes administrativos, técnicos de laboratorio o coordinadores de proyectos rara vez aparecen en un paper de benchmarks, aunque sumen millones de horas trabajadas al año. Sin una medición directa de esas tareas, cualquier afirmación sobre qué tan buena es la IA en el trabajo real descansa sobre una muestra sesgada hacia el código y las finanzas.

💭 Clave: la exposición a la IA de una tarea importa menos que el salario de la ocupación a la hora de decidir si alguien se molestó en medirla.

Qué sigue

Mercor dice que este mapa es un recurso vivo, no un informe cerrado: planea sumar más pruebas al índice a medida que aparezcan benchmarks con mayor realismo económico, y ampliar la cobertura hacia las familias laborales que hoy quedan en cero, como salud y educación. El objetivo declarado es que cualquiera pueda consultar, ocupación por ocupación, qué tan bien evaluada está la IA frente al trabajo que esa persona hace todos los días.

📖 Resumen en Telegram: Ver resumen

Si evaluás modelos de IA o diseñás benchmarks, abrí el mapa interactivo de Mercor y filtrá la familia laboral de tu propia industria para ver cuántas de sus tareas tienen alguna prueba real detrás.

Preguntas frecuentes

¿Qué mide exactamente el Benchmark Map de Mercor?

Mide qué porción de las 18.797 tareas que O*NET usa para describir el trabajo en Estados Unidos tiene al menos una prueba de modelos de IA que la cubra con cinco o más prompts, agrupando el resultado por las 923 ocupaciones y 22 familias laborales del país.

¿Cuántas de las 923 ocupaciones de EE.UU. están bien cubiertas?

Solo 208 tienen una tarea con cinco o más prompts mapeados por el índice de Mercor; el resto, unas 715 ocupaciones, no alcanza ese umbral o no tiene ninguna prueba asociada.

¿Por qué las ocupaciones legales están mejor evaluadas que las administrativas?

Porque la cobertura del Benchmark Map sigue más de cerca la masa salarial de la ocupación que su exposición real a la IA: abogados, con salarios altos, están bien cubiertos, mientras secretarias legales y empleados de juzgados, con exposición similar según Eloundou et al., quedan casi sin pruebas.

¿Qué es la exposición a la IA de Eloundou et al.?

Es una etiqueta binaria que ese estudio de 2023 asignó a miles de tareas de O*NET según cuánto podía acelerarlas un modelo de lenguaje grande; Mercor la usa como variable de control para separar el efecto del salario del efecto de la exposición real.

¿Mercor seguirá actualizando este índice de benchmarks?

Sí: la empresa lo describe como un primer paso hacia un recurso que planea actualizar de forma continua, sumando benchmarks y ocupaciones conforme aparezcan pruebas con suficiente realismo económico.

Referencias

• Mercor Benchmark Map: el informe original con el mapa interactivo de cobertura por ocupación.- O*NET Resource Center: la taxonomía oficial del Departamento de Trabajo de EE.UU. con las 923 ocupaciones y sus tareas.- Eloundou, Manning, Mishkin y Rock (2023): el estudio que etiquetó la exposición de cada tarea de O*NET a los modelos de lenguaje.- Bureau of Labor Statistics, Occupational Employment and Wage Statistics: la fuente de los salarios usados para calcular la masa salarial de cada ocupación.

📱 ¿Te gusta este contenido? Únete a nuestro canal de Telegram @programacion donde publicamos a diario lo más relevante de tecnología, IA y desarrollo. Resúmenes rápidos, contenido fresco todos los días.