Dev.to AI 🤖 Ai 👁 0 📖 10 min read

O que é OpenAI LifeVal? O benchmark de tarefas do dia a dia

O que é OpenAI LifeVal? O benchmark de tarefas do dia a dia OpenAI LifeVal é um benchmark de 169 tarefas do cotidiano, como matricular uma criança na escola, administrar o orçamento doméstico ou lidar com um órgão gove

O que é OpenAI LifeVal? O benchmark de tarefas do dia a dia

O que é OpenAI LifeVal? O benchmark de tarefas do dia a dia

OpenAI LifeVal é um benchmark de 169 tarefas do cotidiano, como matricular uma criança na escola, administrar o orçamento doméstico ou lidar com um órgão governamental, que um agente de IA executa com uso de navegador, uso de computador e conectores. Uma rubrica avalia cada tentativa, e a pontuação é a recompensa média de 0 a 1. O GPT-6 Astra pontua 80,6% com esforço xhigh.

Experimente o Apidog hoje

Essa é a versão resumida. Abaixo você encontra como a OpenAI construiu o LifeVal, todas as pontuações de modelos que ela publicou (incluindo os números por nível de esforço que só existem dentro do gráfico interativo da página), o que esses números dizem sobre o esforço de raciocínio e o que o benchmark deixa de fora.

O que é o OpenAI LifeVal?

O LifeVal é um benchmark da OpenAI Research que mede quão bem um modelo conclui as tarefas da vida comum, em vez de programação ou questões de prova. Suas 169 tarefas são agênticas: o modelo navega, opera um computador e chama conectores, e uma rubrica específica para cada cenário pontua o resultado.

OpenAI LifeVal

A OpenAI nomeia sete áreas de tarefas:

  • Cuidados com dependentes
  • Saúde
  • Educação
  • Administração doméstica
  • Finanças pessoais
  • Compras
  • Acesso a serviços governamentais

A métrica principal é a recompensa média. Cada ponto faz a média das tentativas dentro de uma tarefa e depois faz a média das 169 médias de tarefas com peso igual. Uma pontuação de 80,6% significa uma recompensa de 0,806. As notas do gráfico dizem "No WTP weighting", o que retomaremos mais adiante.

Como a OpenAI construiu o conjunto de tarefas do LifeVal

A OpenAI não inventou a lista de tarefas do zero. Ela partiu de como as pessoas realmente passam o tempo, usando dois conjuntos de dados públicos e uma pesquisa própria:

  1. A American Time Use Survey do Bureau of Labor Statistics dos EUA, que registra o que os americanos fazem hora a hora.
  2. O Multinational Time Use Study, que harmoniza diários de uso do tempo entre países.
  3. Uma pesquisa própria com 3.995 respondentes demograficamente representativos, perguntando onde eles gostariam de ajuda de IA.

Os dados de uso do tempo mostram à OpenAI quais atividades preenchem os dias das pessoas. A pesquisa mostra quais dessas atividades as pessoas entregariam a um agente. A sobreposição se tornou os 169 cenários.

A página mostra cinco cartões de tarefas de exemplo, cada um com uma pontuação. Esses são os exemplos escolhidos pela OpenAI, não uma amostra aleatória:

Tarefa de exemplo (escolha da OpenAI) Pontuação
Matricular na creche certa após uma mudança 93,1%
Gerenciar voluntários antes de uma enchente 98,0%
Encontrar um novo lar para minha família 100%
Assistir a um jogo com a avó de longe 96,3%
Preparar refeições para um pai com diagnóstico recente de diabetes 90,4%

Pontuações do LifeVal: todos os modelos da OpenAI

O primeiro gráfico da OpenAI plota cada modelo com esforço de raciocínio xhigh em relação à sua data de lançamento. O GPT-6 Astra usa "a configuração xhigh do blog de lançamento".

Modelo Data de lançamento Recompensa média no LifeVal (xhigh)
GPT-5.2 2025-12-11 49,3%
GPT-5.4 2026-03-05 73,0%
GPT-5.5 2026-04-23 77,4%
GPT-5.6 2026-07-09 80,0%
GPT-6 Astra 2026-09-03 80,6%

Bar chart of LifeVal average reward at xhigh effort: GPT-5.2 49.3%, GPT-5.4 73.0%, GPT-5.5 77.4%, GPT-5.6 80.0% and GPT-6 Astra 80.6%

A curva é íngreme e depois achata. Do GPT-5.2 para o GPT-5.4 foram adicionados 23,7 pontos em três meses. Os três lançamentos seguintes adicionaram 7,6 pontos somados, e o GPT-6 Astra superou o GPT-5.6 em 0,6.

O salto do GPT-5.4 não foi só questão de qualidade. Em xhigh, a latência média caiu de 121,0 segundos para 16,7 segundos e os tokens gerados caíram de 202,0K para 30,6K por tarefa. O modelo mais novo chegou a uma resposta muito melhor com cerca de um sétimo da saída.

O GPT-6.1 Sol e o GPT-6.1 Terra não aparecem em nenhum dos gráficos, embora ambos já tenham sido lançados. A linha do tempo para em 3 de setembro de 2026. Se você está escolhendo entre GPT-6.1 Sol e Astra para um produto de agente, o LifeVal ainda não pode ajudar.

LifeVal por esforço de raciocínio

O segundo gráfico é o mais útil, e você só o vê ao passar o mouse. Ele detalha cada modelo por esforço de raciocínio, com quatro números por ponto: recompensa, latência, tokens gerados e custo de API. Aqui está a recompensa para cada configuração:

Modelo low medium high xhigh max
GPT-5.2 27,7% 37,2% 45,2% 49,3% n/a
GPT-5.4 62,8% 70,1% 72,0% 73,0% n/a
GPT-5.5 57,1% 71,3% 75,6% 77,4% n/a
GPT-5.6 63,9% 75,0% 78,8% 80,0% 82,6%
GPT-6 Astra 66,6% 77,6% 80,7% 80,6% 82,5%

Line chart of LifeVal reward against charted API cost per task for each model across reasoning efforts, showing GPT-5.6 max at 82.6% near cost 9.65 and GPT-6 Astra max at 82.5% near cost 20.04

Uma observação sobre a coluna de custo. A OpenAI a rotula como custo de API, mas não informa a unidade, então trate os números abaixo como "custo de API por tarefa conforme plotado", útil para proporções, não como dólares.

GPT-5.6 no máximo empata com o GPT-6 Astra no máximo

Configuração Recompensa Latência Tokens Custo plotado
GPT-5.6, max 82,6% 22,2 s 29,7K 9,65
GPT-6 Astra, max 82,5% 20,6 s 26,3K 20,04
GPT-5.6, xhigh 80,0% 17,5 s 20,7K 7,55
GPT-6 Astra, high 80,7% 13,6 s 12,4K 13,07

O GPT-5.6 no máximo supera o Astra no máximo em 0,1 ponto com cerca de metade do custo plotado. Com esforço equivalente, a vantagem do Astra sobre o GPT-5.6 fica abaixo de três pontos em todas as configurações, 0,6 em xhigh, e desaparece em max. O Astra é um pouco mais rápido e usa menos tokens, mas nessas tarefas você paga aproximadamente o dobro por ele. Nosso detalhamento de preços do GPT-5.6 e o guia da API do GPT-6 Astra trazem as tarifas por token se você quiser conferir essa proporção com o seu próprio tráfego.

Mais raciocínio além de "high" quase não traz ganho

No GPT-6 Astra, high pontua 80,7% e xhigh pontua 80,6%. O esforço extra custa mais 1,4 segundo e mais 2,1K tokens por uma pontuação ligeiramente menor. O GPT-5.4 mostra o mesmo formato: um ponto de high para xhigh.

Os grandes ganhos estão na parte de baixo da curva. Mover o GPT-5.5 de low para medium adiciona 14,2 pontos. Movê-lo de high para xhigh adiciona 1,8. Se o seu agente executa tarefas cotidianas como essas, medium ou high é a configuração a testar primeiro. O guia de raciocínio da OpenAI explica como o parâmetro de esforço funciona na Responses API.

O que o LifeVal deixa de fora

O LifeVal é um sinal útil, mas é um sinal autorrelatado. Antes de citá-lo, conheça seus limites.

  • Não é público. Não há conjunto de tarefas para baixar nem leaderboard público, e a OpenAI não publicou as rubricas nem como calibrou seus avaliadores. Você não pode reproduzi-lo.
  • Ele só pontua modelos da OpenAI. Nenhum Claude, Gemini ou modelo de pesos abertos aparece, então ele não diz nada sobre como o GPT-6.1 Sol se compara com o Claude Sonnet 5.5 ou qualquer outro confronto entre fornecedores.
  • Existe uma versão ponderada em algum lugar. O gráfico diz "No WTP weighting", sendo WTP a sigla de willingness to pay (disposição a pagar). Isso implica que a OpenAI calculou ou considerou uma variante ponderada pelo quanto as pessoas pagariam por cada tarefa, e não a publicou.
  • Os cartões de exemplo são escolhidos a dedo. Os cinco cartões da página pontuam de 90,4% a 100%. A média das 169 tarefas para o melhor modelo é 80,6%. Os exemplos mostram os melhores dias do benchmark, não o dia típico.

Nada disso torna o LifeVal incorreto. Torna-o um benchmark de fornecedor. Leia-o como leria qualquer gráfico de lançamento: como uma afirmação que você pode testar nas suas próprias tarefas.

Faça seu próprio teste de esforço de raciocínio com o Apidog CLI

A tabela por esforço do LifeVal é uma curva de recompensa versus custo. Você pode desenhar a mesma curva para o seu próprio prompt. Em vez de disparar requisições manualmente, entregue o trabalho ao seu agente de programação e deixe-o operar o Apidog CLI.

Instale o CLI, faça login e adicione a skill do Apidog ao seu agente:

npm install -g apidog-cli@latest
apidog auth login --with-token <YOUR_TOKEN>
npx -y skills add https://apidog.com   # pick your agent when prompted

Então dê ao Claude Code, Codex ou Cursor um único [REDACTED PROMPT]
In Apidog project , add a POST https://api.openai.com/v1/responses
endpoint that sends {{model}}, reasoning.effort = {{effort}} and my test prompt.
Create a test case that asserts status 200 and saves latency,
usage.output_tokens and usage.output_tokens_details.reasoning_tokens.
Add a test data set with effort = low, medium, high, xhigh, run the case
once per row against environment , and give me a table of
latency, tokens and estimated cost per effort.


O agente lê cada schema de payload, valida o JSON e então escreve:


bash
apidog cli-schema get endpoint-create
apidog cli-schema validate endpoint-create --file endpoint.json
apidog endpoint create --project --file endpoint.json

apidog test-case category --project
apidog cli-schema validate test-case-create --file case.json
apidog test-case create --project --file case.json

apidog cli-schema validate test-data-create --file efforts.json
apidog test-data create --project --file efforts.json

apidog run --test-case --project -e \
-d -r cli,json --out-dir ./effort-runs




A flag `-d` alimenta uma iteração por linha de dados, e `-r cli,json` fornece ao agente um relatório JSON para montar a tabela. Adicione `--upload-report` se quiser navegar pelas execuções no app do Apidog depois. A [referência do comando apidog run](https://apidog.com/pt/blog/apidog-run-command-reference?utm_source=dev.to&utm_medium=wanda&utm_content=n8n-post-automation) lista todas as flags, e o [guia de configuração do Claude Code](https://apidog.com/pt/blog/apidog-cli-in-claude-code?utm_source=dev.to&utm_medium=wanda&utm_content=n8n-post-automation) cobre o lado do agente.

Execute-o em cinco ou dez dos seus prompts reais, não em um. O LifeVal faz a média de 169 tarefas por um motivo: um único prompt dirá mais sobre variância do que sobre esforço.

## Você deve confiar no LifeVal ao escolher um modelo?

Use-o para direção, não para decisões. O LifeVal diz três coisas sobre as quais você pode agir: os modelos da OpenAI ficaram muito melhores em tarefas cotidianas de várias etapas entre dezembro de 2025 e março de 2026, os ganhos desde então são pequenos, e o esforço de raciocínio acima de high raramente compensa nesse tipo de trabalho.

O que ele não pode dizer é como um modelo que não seja da OpenAI pontuaria, como suas tarefas se comparam com as 169 da OpenAI, ou o que o avaliador recompensa. Para isso, faça sua própria varredura de esforço, como acima, e compare os números que você consegue ver. Nosso [teste prático do GPT-6 Astra](https://apidog.com/pt/blog/gpt-6-astra-hands-on?utm_source=dev.to&utm_medium=wanda&utm_content=n8n-post-automation) é um ponto de partida para o tipo de verificação que vale a pena fazer.

## Perguntas frequentes

### O que significa LifeVal?

A OpenAI não explica o nome na página. É uma avaliação ("Val") de tarefas da vida cotidiana ("Life"): 169 cenários agênticos abrangendo cuidados com dependentes, saúde, educação, administração doméstica, finanças pessoais, compras e serviços governamentais.

### Qual é a pontuação do GPT-6 Astra no LifeVal?

80,6% de recompensa média com esforço xhigh, a configuração usada pela OpenAI no blog de lançamento do Astra. Com esforço max, o Astra pontua 82,5%, e com high pontua 80,7%.

### Posso executar o LifeVal por conta própria?

Não. A OpenAI não divulgou o conjunto de tarefas, as rubricas nem o avaliador. Você pode aproximar sua análise de esforço versus custo nos seus próprios prompts com um harness de testes como o Apidog CLI, mas não pode reproduzir as pontuações do LifeVal.

### O LifeVal inclui Claude ou Gemini?

Não. Ambos os gráficos incluem apenas modelos da OpenAI, do GPT-5.2 ao GPT-6 Astra. O GPT-6.1 Sol e o GPT-6.1 Terra também estão ausentes.

### A coluna de custo do LifeVal está em dólares?

A OpenAI a rotula como custo de API, mas não informa a unidade. Use-a para comparar configurações entre si, por exemplo GPT-5.6 max em 9,65 versus Astra max em 20,04, em vez de como um valor em high e 80,6% em xhigh, então teste medium e high nas suas próprias tarefas antes de pagar por mais.
📰 Read the original article on Dev.to AI

Originally published by Dev.to AI. Aggregated on AIWithGhost for educational purposes — full credit and traffic to the original publisher.