IA Jurídica: o que aprendi analisando 10 falhas de um assistente para contratos na minha pós-graduação

Fala, pessoal!

Recentemente, desenvolvi um trabalho para a minha pós-graduação com um tema que vem aparecendo cada vez mais no dia a dia de quem trabalha com software: IA aplicada ao Direito. O desafio era analisar falhas de um assistente baseado em LLM para apoio à análise preliminar de contratos comerciais.

A proposta era simples na descrição e complexa na prática: mapear 10 cenários realistas de falha, classificar os riscos, analisar o impacto no negócio, propor mitigações e concluir até onde esse tipo de sistema pode operar com autonomia.

Neste artigo, compartilho os principais achados desse trabalho. Se você trabalha com IA em domínios de alto risco — jurídico, financeiro, saúde, compliance —, acho que vale a leitura.

O contexto do trabalho

A empresa fictícia LegalCore queria usar um assistente de IA para apoiar advogados na leitura inicial de contratos: identificar cláusulas relevantes, riscos e inconsistências.

O problema é que, no domínio jurídico, um erro de interpretação não é só um bug no backlog. Pode gerar impacto jurídico, financeiro e reputacional. Então o objetivo do trabalho foi responder:

Até onde esse assistente pode ir sozinho? E a partir de onde ele precisa de intervenção humana?

Para isso, simulei 10 cenários de uso corporativo e documentei, para cada um:

• objetivo do teste;
• entrada utilizada;
• saída observada;
• natureza da falha;
• severidade;
• impacto potencial no negócio;
• mitigação recomendada.

Os 10 casos de falha analisados

O padrão que apareceu foi claro: a maioria dos riscos tem impacto alto, mesmo quando a probabilidade não é extrema. O domínio jurídico é um ambiente de alta criticidade operacional, e o modelo não foi feito para operar nele sem andaimes.

Classificação dos tipos de risco

As falhas foram agrupadas em categorias distintas:

Essa separação foi importante para mostrar que “erro de IA” não é uma categoria única. Cada tipo de falha exige uma mitigação diferente.

O que os dados públicos mostram

Uma parte do trabalho foi buscar evidências reais na internet. E os números justificam o cuidado:

• Ferramentas jurídicas baseadas em RAG podem errar entre 17% e 33% das consultas.
• Modelos de uso geral chegam a desviar de fatos legais em 69% a 88% dos casos, segundo estudo de Stanford.
• Até abril de 2026, 1.313 procedimentos judiciais documentaram conteúdo fabricado por IA, com sanções que chegaram a US$ 55.597 por caso.
• No Brasil, um caso concreto resultou em R$ 35 mil em multas por jurisprudência inventada.
• A Resolução CNJ nº 615/2025 veda expressamente o uso de IA como instrumento autônomo de decisão, exigindo supervisão humana.
• LLMs líderes são instáveis em questões jurídicas difíceis, mesmo com temperatura 0.

Ou seja: não é paranoia de engenheiro. É risco documentado.

As falhas mais críticas

1. Alucinação de cláusula

O modelo afirmou que existia uma cláusula de confidencialidade em um contrato que não tinha essa cláusula.

Mitigação: nada de geração aberta. A arquitetura precisa ser de extração constrangida com citação obrigatória. O system prompt deve exigir texto verbatim, seção e página. Ferramentas como Pydantic ajudam a validar o schema antes de liberar a saída.

2. Inconsistência entre execuções

O mesmo contrato, analisado três vezes, gerou riscos diferentes.

Mitigação: templates estruturados em JSON + testes de regressão contínuos com ferramentas como LangSmith ou Promptfoo. Sem isso, você não consegue medir degradação.

3. Conhecimento desatualizado

O modelo aplicou entendimento de uma legislação que já havia sido alterada.

Mitigação: Temporal RAG, com filtro por data de vigência da norma. O framework Apofasi, por exemplo, usa um Grafo de Conhecimento Temporal para impor validade point-in-time e alcança alta precisão temporal e de citação.

4. Excesso de autonomia

Perguntaram se o contrato era “juridicamente seguro” e o modelo respondeu que sim.

Mitigação: guardrails no system prompt. A IA deve ser instruída a nunca emitir aconselhamento jurídico definitivo e sempre indicar que a análise requer validação de um advogado.

Plano de mitigação

Controles técnicos

• Schema-first com Pydantic: definir tipos de cláusula em um enum, incluindo "other" para não forçar encaixe.
• Citação obrigatória: toda afirmação precisa vir com trecho verbatim, seção e página.
• NER para partes: usar spaCy ou Azure AI Document Intelligence para extrair e validar entidades.
• Temporal RAG: índice versionado com data de vigência.
• Avaliação de grounding: checar existência, alinhamento e jurisdição de cada citação.

Controles operacionais

• Human-in-the-Loop com checkpoint assistido: a IA prepara a triagem; o advogado revisa e aprova.
• Aprovação obrigatória para severidade Alta: casos 1, 2, 3, 7, 9 e 10 não podem virar ação sem assinatura humana.
• Auditoria por amostragem: registrar versão do modelo, prompt, trechos recuperados e decisão humana.

Governança

• Limites explícitos de autonomia, alinhados à Resolução CNJ 615/2025.
• Política formal de uso da IA, com escopo permitido e canal de reporte de falhas.
• Rastreabilidade completa das análises.

Conclusão do trabalho

A conclusão foi que o assistente pode gerar valor real como ferramenta de apoio: acelera triagem, organiza informação e destaca pontos de atenção. Mas as falhas mapeadas — alucinação, inconsistência, omissão, conhecimento obsoleto e excesso de autonomia — não são resolvidas apenas com “um modelo melhor”.

São características estruturais de LLMs aplicados a domínios de alta criticidade.

Por isso, o nível aceitável de autonomia é assistivo, com Human-in-the-Loop obrigatório:

• a IA pode identificar, organizar, citar e propor análises;
• o humano deve decidir, verificar e assumir a responsabilidade;
• nenhuma saída da IA deve se tornar acionável sem validação de um profissional jurídico.

A recomendação final foi implantar o assistente como copiloto, nunca como substituto da análise especializada.

Referências consultadas

1. STJ — Relator identifica alucinações de IA em habeas corpus e comunica OAB (2026).
2. Migalhas — Banca 100% IA #2: A alucinação que me custou 35 mil reais (2026).
3. TJDFT — Análise da Resolução CNJ nº 615/2025.
4. ACM (ICAIL 2025) — LLMs Provide Unstable Answers to Legal Questions.
5. IEEE — Apofasi: A Neuro-Symbolic Temporal RAG Framework for Evolving Mixed Legal Systems (2026).
6. Microsoft Learn — Modelo de contrato da Azure AI Document Intelligence.
7. LangSmith / LangChain — Evaluation types: regression tests and online monitoring.
8. Spellbook / Canadian Lawyer — Analysis of over 3,000 contracts finds 60 percent had drafting errors (2026).

Esse foi um dos trabalhos mais interessantes que fiz na pós, porque juntou engenharia de software, avaliação de LLM e governança de IA em um problema bem concreto. Se você já trabalha com IA em domínios regulados, comenta aí embaixo quais mitigações têm funcionado no seu contexto. E se quiser trocar ideia sobre arquitetura de sistemas Human-in-the-Loop, me chama — esse papo rende. 🚀