Capítulo 4 de 6
Percorra os conceitos em uma trilha visual. Depois, use o laboratório e abra o conteúdo completo para aprofundar.
Você está aqui: conceitos essenciais → exemplo → interação → leitura detalhada
Trilha interativa
Explore como o texto é dividido, representado, recuperado e verificado antes de virar uma resposta.
Classificar, extrair, pesquisar e resumir são produtos diferentes, com erros diferentes.
Exemplo: uma busca encontra documentos; uma classificação atribui uma classe; uma sumarização produz texto.
Qual produto está sendo pedido e como ele será verificado?
O texto é dividido em unidades e pode perder ou preservar informação conforme a transformação.
Exemplo: uma expressão jurídica pode ser quebrada em vários tokens, e a normalização pode apagar distinções.
O que foi preservado e o que foi perdido?
Representações clássicas contam termos e ajudam a criar comparações simples e auditáveis.
Exemplo: um termo raro em um documento pode pesar mais na busca do que uma palavra comum.
Qual termo diferencia este documento dentro do corpus?
Vetores podem aproximar textos, mas proximidade semântica não garante autoridade ou vigência.
Exemplo: duas decisões podem usar vocabulário parecido e tratar de situações jurídicas distintas.
Que filtros precisam acompanhar a similaridade?
A arquitetura calcula relações entre partes da sequência; não significa compreensão humana.
Exemplo: palavras relacionadas podem receber pesos diferentes conforme o contexto disponível.
Qual contexto entrou no cálculo e qual ficou fora da janela?
Um sistema responsável pode recusar uma saída quando a evidência é insuficiente.
Exemplo: extrair um número de processo sem fonte visível deve resultar em revisão, não em preenchimento silencioso.
Quando o sistema deve dizer que não sabe?
A busca pode combinar termos, proximidade e filtros de autoridade, vigência e competência.
Exemplo: o resultado mais parecido nem sempre é o precedente aplicável ao caso.
Quais filtros jurídicos validam o resultado?
Uma frase fluente pode omitir, distorcer ou inventar informação da fonte.
Exemplo: compare cada afirmação do resumo com o trecho que deveria sustentá-la.
A fonte sustenta exatamente esta frase?
RAG recupera fontes, entrega trechos como contexto para a geração e verifica as afirmações antes do uso.
Exemplo: uma busca recupera o artigo sintético; a resposta cita o trecho e uma pessoa confere a aplicação ao caso.
Qual fonte sustenta cada afirmação e o que ainda exige revisão?
Como usar: percorra a trilha, observe o exemplo e use o laboratório abaixo para testar o conceito com dados sintéticos.
Próxima etapa
As simulações ficam em páginas próprias para você se concentrar em uma atividade por vez.
Seu progresso fica somente neste dispositivo.
No capítulo anterior, acompanhamos o caminho entre imagem, reconhecimento óptico de caracteres e texto. Vimos que a omissão de uma negação ou a alteração de um valor pode atravessar o pipeline e afetar a triagem. Agora partiremos do texto - originalmente digital ou extraído por OCR - para estudar como métodos computacionais o representam, classificam, recuperam, extraem e resumem.
Processamento de Linguagem Natural (PLN), também conhecido pela sigla inglesa NLP, reúne métodos para representar, analisar, recuperar e gerar linguagem. O campo abrange tarefas diferentes. Sugerir o tipo de uma peça não é o mesmo que extrair um pedido; recuperar decisões semelhantes não é afirmar que um precedente se aplica; resumir alegações não é decidir o mérito.
O problema central deste capítulo é a fidelidade. Um texto pode ser gramatical, seguro e acompanhado de citação, mas atribuir uma alegação ao juízo, converter possibilidade em certeza, trocar R$ 1.250,00 por R$ 12.500,00 ou citar uma fonte que não sustenta a frase. Fluência pertence à forma; apoio e validade precisam ser verificados.
Começaremos por tokenização, normalização, saco de palavras, TF-IDF e n-gramas. Depois, estudaremos embeddings, similaridade de cosseno, atenção, Transformer, encoders, decoders e grandes modelos de linguagem. Veremos por que LLMs pertencem ao aprendizado de máquina e como podem trabalhar em conjunto com modelos clássicos, recuperação, regras e ferramentas autorizadas. Aplicaremos esses conceitos a classificação documental, extração de informações, pesquisa de jurisprudência, sumarização e geração aumentada por recuperação. Ao final, auditaremos frase a frase um resumo defeituoso produzido a partir de uma peça inteiramente sintética.
Ao final deste capítulo, você deverá ser capaz de:
💬 Pra começo de conversa!
Leia a fonte sintética:
“A autora afirma ter recebido cobrança de R$ 1.250,00 em 5 de maio de 2027. Pede declaração de inexistência e restituição simples. Não requer tutela de urgência. A ré sustenta contrato de 2026 e junta cópia cuja autenticidade é impugnada. Ainda não houve decisão.”
Agora leia o resumo:
“A autora sofreu cobrança fraudulenta de R$ 12.500,00. O juízo declarou o débito inexistente, determinou restituição em dobro e indeferiu a tutela.”
O resumo é fluente. Quantas alterações você identifica? Alguma frase está integralmente apoiada? Uma citação para a fonte tornaria o resumo correto? Registre sua análise; retomaremos o caso na atividade prática.
Linguagem apresenta sinonímia, polissemia, negação, referências, temporalidade, modalidade e vocabulário especializado. “O pedido pode ser acolhido” não equivale a “o pedido foi acolhido”. “A autora sustenta” não equivale a “o juízo reconhece”. O sistema precisa preservar essas distinções conforme a tarefa.
| Tarefa | Entrada | Saída | Limite crítico |
|---|---|---|---|
| Classificação | documento ou trecho | categoria e pontuação | categoria não é decisão jurídica |
| Extração | texto | entidades, campos e relações | valor correto pode ser atribuído ao papel errado |
| Busca | consulta e acervo | lista ordenada | relevância textual não é aplicabilidade |
| Similaridade | dois textos ou vetores | grau de proximidade | proximidade não prova equivalência |
| Agrupamento | coleção | conjuntos exploratórios | grupo não cria classe jurídica |
| Sumarização | documento | síntese | concisão pode omitir ressalva ou alterar sentido |
| Resposta a perguntas | pergunta e contexto | resposta | resposta precisa de apoio verificável |
| Geração | instrução e contexto | texto novo | plausibilidade não garante fidelidade |
Nomear a tarefa permite escolher dados, métricas e revisão. Um modelo que classifica páginas não está automaticamente apto a resumir processos. Uma busca que recupera texto semelhante não decide competência, vigência ou distinção fática.
Um pipeline clássico pode ser representado assim:
texto bruto
↓
segmentação e tokenização
↓
normalização controlada
↓
representação numérica
↓
modelo ou mecanismo de busca
↓
saída, avaliação e revisão
Se o texto vem de OCR, a imagem e o texto bruto continuam parte da proveniência. Uma transformação anterior pode ser a verdadeira origem de uma falha posterior.
Token é uma unidade processada pelo modelo. Pode ser palavra inteira, parte de palavra, número, pontuação ou símbolo. Compare:
art. 5º, § 2º
RE 1.234.567
R$ 1.250,00
não-provimento
Um tokenizador pode separar art, ., 5, º; manter sequências maiores; ou dividir palavras raras em subpalavras. Escolhas diferentes alteram representação, limite de contexto e custo. Número de páginas não determina quantidade exata de tokens.
Em documentos jurídicos, números processuais, parágrafos, abreviaturas, valores e nomes exigem teste específico. Dividir 1.250,00 de modo inadequado pode dificultar a extração; separar não-provimento pode ser útil ou prejudicial, conforme o método e a tarefa.
Normalização pode transformar texto em minúsculas, tratar pontuação, lematizar palavras, padronizar espaços ou anonimizar dados. Não há procedimento universal. Cada alteração deve ter finalidade e versão.
Riscos incluem:
não como se fosse termo irrelevante;Uma prática segura preserva o texto original e registra a transformação. O modelo pode receber uma versão normalizada, mas a interface de revisão precisa permitir acesso à fonte.
⚠ Atenção!
“Limpar” texto não é tornar seu conteúdo objetivamente melhor. É produzir outra representação, com ganhos e perdas que precisam ser avaliados.
💡 Para refletir!
Que transformação aparentemente inocente poderia alterar um número, uma negação ou uma referência normativa no seu acervo?
O modelo de saco de palavras representa o documento pelas contagens dos termos, sem preservar a ordem geral.
| Documento | pedido | não | deferido |
|---|---|---|---|
| “pedido deferido” | 1 | 0 | 1 |
| “pedido não deferido” | 1 | 1 | 1 |
Os vetores são semelhantes, embora a negação altere o sentido. Ainda assim, a representação é simples, rápida e inspecionável. Pode funcionar como linha de base para classificação ou busca.
TF-IDF combina frequência do termo no documento com sua raridade no conjunto. Um termo que aparece bastante em um documento, mas pouco no acervo, recebe peso maior. O objetivo é reduzir o domínio de palavras presentes em quase todos os textos e destacar termos discriminativos.
“Raro” não significa juridicamente relevante. É propriedade estatística do corpus. Uma expressão decisiva pode ser comum, e um cabeçalho raro pode ser mero artefato do sistema.
N-grama é uma sequência de n unidades. O bigrama não deferido preserva uma relação curta que termos isolados perdem. N-gramas de caracteres também ajudam com variações morfológicas e ruído.
O ganho vem acompanhado de mais atributos, esparsidade e sensibilidade a pequenas mudanças. O contexto preservado continua limitado. Antes de adotar um modelo grande, TF-IDF com n-gramas e classificador linear pode oferecer uma linha de base rápida, explicável e competitiva para uma tarefa delimitada.
📝 Tome nota!
Modelo clássico não é sinônimo de modelo inútil. A comparação deve considerar desempenho, custo, latência, manutenção, inspeção e benefício no fluxo.
Embedding é um vetor denso aprendido. Um trecho é convertido em uma sequência de números:
“recurso extraordinário” → [0,12; -0,44; 0,08; ...]
Em embeddings estáticos, uma palavra tende a manter o mesmo vetor em contextos diferentes. Em embeddings contextuais, sua representação depende dos termos ao redor. Isso permite diferenciar, por exemplo, “recurso financeiro” e “recurso extraordinário”.
Embeddings de sentença representam trechos completos para comparação e recuperação. Sentence-BERT foi proposto para produzir vetores de sentença comparáveis por similaridade de cosseno com eficiência maior que a comparação conjunta de todos os pares (REIMERS; GUREVYCH, 2019).
A similaridade de cosseno compara a direção de dois vetores. Valores maiores indicam proximidade segundo a representação. Não é necessário calcular vetores extensos manualmente; importa saber o que a medida não demonstra.
Alta similaridade não prova:
Um embedding treinado em textos gerais pode representar mal vocabulário local. A avaliação precisa usar consultas, documentos e julgamentos de relevância do contexto pretendido.
Descrição acessível: Pontos representando trechos próximos em um espaço vetorial seguem para filtros de fonte, autenticidade, vigência, competência, autoridade, fatos e fundamento, antes da análise humana.
Atenção permite que cada posição combine informações de outras posições por pesos aprendidos. Em uma frase, o modelo pode relacionar um pronome a termos anteriores ou combinar uma negação com o verbo. A relação é numérica; não implica foco consciente nem explicação jurídica.
Pesos de atenção também não constituem, por si, justificativa completa de uma previsão. Eles mostram componentes internos de uma operação em determinada camada e cabeça, não necessariamente a causa suficiente do resultado.
O Transformer foi apresentado em 2017 em tarefas de tradução e substituiu recorrência por mecanismos de atenção, favorecendo paralelização (VASWANI et al., 2017). A arquitetura passou a sustentar muitos modelos de linguagem. O resultado histórico em tradução não valida automaticamente um uso jurídico.
Em nível conceitual, o Transformer combina:
Descrição acessível: Tokens recebem vetores e posições, passam por atenção e camadas de transformação e produzem representações ou probabilidades de saída.
| Arquitetura | Função predominante | Usos típicos |
|---|---|---|
| Encoder | representar entrada | classificação, extração e busca |
| Decoder | gerar sequência | continuação e geração de texto |
| Encoder-decoder | representar entrada e gerar saída | tradução e sumarização |
BERT é um encoder Transformer pré-treinado para produzir representações bidirecionais e ajustável a tarefas como classificação e resposta a perguntas (DEVLIN et al., 2019). O nome de uma arquitetura não define o sistema inteiro: dados, ajuste, saída, limiar e interface permanecem decisivos.
Um modelo de linguagem estima probabilidades de sequências e, em geração, produz tokens sucessivos conforme contexto e estratégia de decodificação. Continuação plausível é diferente de afirmação apoiada.
Temperatura e amostragem alteram variabilidade. Temperatura menor tende a respostas menos variadas, mas não corrige erro sistemático. Uma resposta falsa pode ser produzida de modo consistente.
Termos próximos descrevem processos diferentes:
Anexar um documento a uma solicitação não significa retreinar o modelo. Incluir exemplos no prompt não é o mesmo que ajuste fino. Consultar um banco autorizado não transforma seu conteúdo em parâmetro permanente.
A janela de contexto limita os tokens processados em uma execução. Dividir um documento pode separar alegação, contestação e decisão. Caber no limite não garante que todas as partes influenciem igualmente a saída.
Estratégias de divisão devem preservar unidade semântica, metadados e ligação com a fonte. Sobreposição pode reduzir rupturas, mas cria duplicação. Documentos longos exigem teste de cobertura: informações no meio ou em anexos não podem ser presumidas como consideradas.
Um grande modelo de linguagem, ou LLM, do inglês large language model, é um modelo de aprendizado de máquina treinado para representar e produzir sequências de tokens. Muitos LLMs atuais são redes neurais profundas baseadas em Transformer. Portanto, LLM não é uma tecnologia externa ao aprendizado de máquina: é uma família particular de modelos dentro do aprendizado profundo, voltada principalmente ao processamento e à geração de linguagem.
No pré-treinamento, o modelo ajusta grande quantidade de parâmetros por objetivos como prever partes omitidas ou o próximo token. Esses objetivos costumam ser chamados de auto-supervisionados porque os sinais de treinamento são derivados do próprio material. Isso não elimina decisões humanas sobre coleta, licenciamento, filtragem, idioma, qualidade, objetivo, arquitetura e critérios de avaliação.
Treinamento e inferência também precisam ser separados. No treinamento, parâmetros são ajustados a partir de dados. Na inferência, o modelo já treinado recebe contexto e produz uma saída. Instruções, exemplos e documentos fornecidos durante uma execução podem orientar a resposta sem alterar permanentemente os parâmetros.
Convém distinguir ainda três camadas: o modelo fundacional, que oferece capacidades gerais; a adaptação, feita por ajuste, instruções, recuperação ou ferramentas; e a aplicação, que acrescenta interface, permissões, regras, registros e supervisão. Avaliar apenas o nome ou o tamanho do modelo ignora grande parte do sistema que determina o resultado institucional.
📝 Tome nota!
LLMs são modelos de aprendizado de máquina. O produto usado por uma instituição, porém, é um sistema sociotécnico mais amplo, composto também por dados, recuperação, ferramentas, regras, interface, pessoas e controles.
Uma solução não precisa atribuir todas as etapas ao mesmo modelo. Em um fluxo documental, OCR ou Docling pode converter e estruturar a entrada; busca lexical ou vetorial pode recuperar fontes; um classificador supervisionado pode sugerir classe e pontuação; um LLM pode extrair relações, sintetizar trechos ou preparar um rascunho; regras explícitas e sistemas autorizados podem validar campos; e uma pessoa pode revisar a saída com acesso à fonte.
O componente adequado depende da tarefa. Uma taxonomia estável, com exemplos rotulados e necessidade de pontuação calibrada, pode favorecer um modelo clássico. Linguagem variada, extração flexível ou redação assistida pode justificar um LLM, desde que haja teste de fidelidade e revisão. Conhecimento mutável pode pedir recuperação antes da geração. Cálculo exato, consulta de situação processual, verificação de permissão e prática de ato devem recorrer a regras ou sistemas autorizados, e não à memória textual do modelo.
💡 Para refletir!
Em quais etapas do seu fluxo há padrão estável, linguagem aberta, informação atualizável ou operação determinística? A resposta ajuda a distribuir tarefas entre modelo clássico, LLM, recuperação, regras e revisão humana.
Descrição acessível: fluxo vertical iniciado por documento ou consulta e preparação com OCR, Docling e proveniência. Um roteamento divide o trabalho entre um modelo clássico, voltado a classe, pontuação ou abstenção, e um LLM, voltado a extração, síntese ou rascunho. Busca, RAG e sistemas autorizados fornecem fontes e operações controladas. Os resultados convergem para regras e validações, revisão humana e uma saída rastreável ou abstenção.
| Alternativa | Vantagem | Limite | Uso adequado |
|---|---|---|---|
| Modelo clássico | tarefa delimitada, custo previsível e saída mais fácil de calibrar | depende de rótulos e pode se adaptar mal a linguagem ou classes novas | classificação estável, priorização e pontuação de risco |
| LLM | flexibilidade linguística e adaptação por instrução e contexto | variabilidade, conteúdo não apoiado, custo e dificuldade de calibração | extração complexa, síntese e rascunho com verificação |
| Solução híbrida | combina componentes especializados e fontes atualizáveis | integração mais complexa e possibilidade de propagação de erro | fluxos que exigem recuperação, classificação, geração, regras e rastreabilidade |
⚠ Atenção!
Arquiteturas híbridas acrescentam pontos de falha. Erro de OCR pode afetar recuperação e classificação; uma fonte inadequada pode contaminar a geração; e uma instrução maliciosa presente no documento pode tentar desviar o LLM. Cada componente deve ser avaliado separadamente e o fluxo completo precisa de teste ponta a ponta, controle de permissões, versionamento e registro.
🔖 Lembre-se!
Escolher entre modelo clássico e LLM não é uma disputa por sofisticação. A decisão deve considerar tarefa, evidência, custo, latência, rastreabilidade, consequência do erro e possibilidade de abstenção e revisão.
Um pipeline de classificação pode usar OCR, representação, classificador, pontuação, limiar e revisão. Antes do modelo, defina se a unidade é página, peça ou processo; se há uma ou várias classes; e como tratar taxonomia hierárquica, ambiguidade e classes raras.
documento → texto → representação → classificador
↓
classe, pontuação ou abstenção
Abstenção significa não forçar uma classe quando a evidência é insuficiente ou a entrada está fora do escopo. Ela pode encaminhar o caso para revisão. Uma taxa de abstenção alta aumenta trabalho; uma baixa pode esconder erro. Deve ser avaliada junto a precisão, sensibilidade, macro-F1, calibração, erros de roteamento e tempo de correção.
Macro-F1 calcula F1 por classe e dá peso equivalente às classes na média, tornando classes raras mais visíveis. Ainda assim, a consequência de cada erro precisa ser analisada no fluxo.
Extração pode localizar pessoas, órgãos, datas, valores, artigos, pedidos e relações. Reconhecer a sequência R$ 1.250,00 é apenas parte da tarefa. O sistema precisa associá-la ao papel correto: cobrança alegada, pedido, condenação ou valor de contrato.
A avaliação deve observar:
Cada campo deve apontar para página, parágrafo ou intervalo de caracteres. A interface precisa mostrar fonte lado a lado e permitir corrigir a extração sem alterar silenciosamente o original.
⚠ Atenção!
Entidade correta com relação errada continua sendo erro factual. “Empresa X” e “R$ 1.250,00” presentes na fonte não sustentam qualquer frase que conecte os dois.
Busca lexical favorece correspondência de termos, números, artigos e expressões exatas. Pode falhar diante de sinônimos.
Busca semântica usa representações vetoriais para aproximar formulações diferentes. Pode recuperar textos tematicamente próximos, mas juridicamente inadequados.
Busca híbrida combina sinais lexicais e semânticos com metadados e filtros. Depois, uma etapa de ranqueamento ordena os resultados.
Considere uma consulta sintética sobre “restituição simples em cobrança impugnada”. A busca lexical encontra a expressão exata; a semântica encontra “devolução do valor contestado”; filtros eliminam decisões fora do período ou órgão definidos. Nenhuma etapa conclui que a decisão se aplica.
Suponha quatro documentos relevantes conhecidos para uma consulta. Entre os cinco primeiros resultados, três são relevantes:
Precisão@5 = relevantes nos cinco primeiros / cinco
Precisão@5 = 3 / 5 = 60%
Recall@5 = relevantes recuperados / relevantes conhecidos
Recall@5 = 3 / 4 = 75%
Precisão@5 pergunta quanto dos primeiros resultados é útil. Recall@5 pergunta quanto do conjunto relevante conhecido apareceu. Alta precisão pode omitir fonte decisiva; alto recall pode sobrecarregar a revisão.
nDCG - ganho cumulativo descontado normalizado - considera a posição e diferentes graus de relevância. Um documento altamente relevante no primeiro lugar contribui mais que o mesmo documento no quinto. A medida compara o ranking obtido com uma ordenação ideal segundo julgamentos de relevância.
Ela depende da qualidade desses julgamentos e não mede vigência, autoridade ou aplicabilidade se esses critérios não estiverem incorporados. Avaliação por especialistas deve registrar consulta, intenção, unidade, critérios, discordância e período.
Quando avaliadores discordam, a divergência não deve ser apagada por votação automática. Ela pode revelar consulta ambígua, mais de uma intenção legítima ou fronteira jurídica que o ranking não consegue representar. O protocolo deve registrar o motivo, admitir graus de relevância e separar pertinência temática de utilidade para a questão concreta.
Essa separação torna a avaliação reproduzível e mais útil para revisar o mecanismo.
Após a recuperação, ainda precisam ser examinados:
Pesquisa auxilia localização. A análise de aplicabilidade continua sendo atividade jurídica competente.
PLN também pode apoiar a identificação de citações, o agrupamento exploratório de decisões, a descrição de vocabulário e o mapeamento de padrões ao longo do tempo. Esses resultados ajudam a formular perguntas e localizar conjuntos para leitura; não revelam automaticamente a orientação jurídica de um tribunal.
A unidade de análise muda a conclusão. Contar documentos não é o mesmo que contar processos, decisões colegiadas, votos ou temas. Uma decisão pode citar vários precedentes; um processo pode gerar múltiplos documentos; e a publicação disponível pode excluir casos sigilosos ou não digitalizados. Metadados incompletos e mudanças de taxonomia também criam rupturas artificiais.
Antes de apresentar percentuais, registre:
Se o agrupamento encontra dois conjuntos, a equipe ainda precisa interpretar se representam fundamentos, órgãos, templates ou períodos. Frequência de uma expressão não mede força de precedente. Uma tendência temporal pode decorrer de mudança de sistema ou publicação, e não de alteração decisória.
Descrição acessível: Uma consulta segue por índice de termos, índice vetorial e metadados. Os sinais combinados passam por verificação de vigência, autoridade, fatos e fundamento antes de formar resultados revisados.
| Tipo | Funcionamento | Vantagem | Risco |
|---|---|---|---|
| Extrativa | seleciona trechos da fonte | rastreabilidade literal | omissão de contexto e combinação enganosa |
| Abstrativa | produz nova redação | concisão e reorganização | conteúdo não apoiado ou sentido alterado |
Resumo extrativo não é automaticamente fiel: selecionar uma afirmação e omitir a negação anterior pode distorcer. Resumo abstrativo precisa preservar quem alegou, pedidos, fatos como alegações, controvérsias, datas, valores, modalidade, estado processual e diferença entre manifestação e decisão.
Neste contexto, alucinação designa conteúdo não apoiado ou incorreto em relação à fonte ou ao contexto autorizado. Estudos de sumarização abstrativa documentam textos fluentemente infiéis e geração de entidades ausentes (MAYNEZ et al., 2020; NAN et al., 2021).
Uma métrica de sobreposição pode premiar palavras compartilhadas e não detectar relação invertida. Avaliação humana estruturada e verificações automáticas complementares devem observar, no mínimo:
| Critério | Pergunta |
|---|---|
| Apoio | Existe trecho que sustenta integralmente a frase? |
| Atribuição | Quem alegou, pediu, impugnou ou decidiu? |
| Negação | Algum não foi perdido ou acrescentado? |
| Entidade | Nome, papel e relação conferem? |
| Número | Data, valor, artigo e quantidade conferem? |
| Modalidade | Possibilidade, pedido ou alegação virou fato? |
| Cobertura | Pedido, defesa, controvérsia ou estado foram omitidos? |
| Privacidade | Há dado desnecessário no produto? |
Uma frase parcialmente correta não deve receber citação como se estivesse totalmente apoiada. Divida afirmações compostas quando a fonte sustenta apenas uma parte.
Geração aumentada por recuperação - RAG, de retrieval-augmented generation - combina um mecanismo que recupera conteúdos com um modelo que gera a saída condicionada aos trechos. A formulação de Lewis et al. (2020) combinou memória paramétrica e índice externo em tarefas intensivas em conhecimento.
pergunta
↓
recuperação em base autorizada
↓
seleção e montagem de trechos
↓
geração condicionada
↓
citações, verificação e revisão
RAG pode facilitar atualização da base e inspeção das fontes. Não elimina:
A avaliação deve separar recuperação e geração. Primeiro, o sistema encontrou fontes adequadas? Depois, cada afirmação está apoiada nelas? Por fim, a resposta é útil e segura para o uso?
Um único julgamento de “resposta boa” dificulta localizar a origem da falha. Avalie a cadeia em camadas:
| Etapa | Pergunta | Evidência |
|---|---|---|
| Corpus | A base é autorizada, íntegra, atual e coberta por metadados? | inventário, versões e controles de acesso |
| Recuperação | Os documentos relevantes aparecem nas primeiras posições? | Precisão@k, Recall@k, nDCG e análise por consulta |
| Seleção | O trecho inclui contexto, ressalva, data e identificação da fonte? | revisão de trechos e testes de divisão |
| Geração | Cada afirmação é sustentada e corretamente atribuída? | auditoria frase a frase |
| Citação | A referência abre a passagem exata e vigente? | verificação de ligação e apoio |
| Uso | A pessoa consegue revisar, corrigir e contestar? | teste de interface e estudo do fluxo |
Uma resposta pode estar correta por acaso apesar de recuperação ruim, ou citar boa fonte e contradizê-la. O diagnóstico por etapa permite corrigir o componente adequado e definir abstenção quando nenhuma fonte suficiente é recuperada.
Documento recuperado é dado não confiável, não instrução de sistema. Ele pode conter texto malicioso que tente modificar a tarefa, solicitar segredo ou acionar ferramenta. Controles incluem:
RAG torna a fonte disponível para verificação quando bem projetado; não transforma o modelo em autoridade.
Viés de automação é a tendência de aceitar ou privilegiar uma saída por ter sido produzida pelo sistema. Fluência, layout profissional e citação aparente aumentam esse risco. Revisão sem tempo, competência, fonte visível, autoridade para corrigir e registro é apenas confirmação formal.
Salvaguardas incluem:
O relatório do CNJ sobre uso de IA generativa no Judiciário brasileiro documenta o contexto institucional de adoção e interesse por essas ferramentas (CNJ, 2024). Esse contexto reforça a necessidade de governança, sem servir como evidência de adequação de uma ferramenta ou tarefa específica.
Na redação vigente consultada, a Resolução CNJ nº 615/2025 exige supervisão humana, transparência, proteção de dados, segurança, monitoramento e classificação de risco proporcional ao uso. O art. 34 prevê supervisão e possibilidade de modificação do produto gerado, quando cabível. A norma precisa ser aplicada ao sistema concreto por equipe multidisciplinar (CNJ, 2025).
⚠ Atenção!
Nunca copie peça sigilosa, dado pessoal desnecessário ou conteúdo institucional protegido para serviço externo não autorizado. Demonstrações pedagógicas devem utilizar texto sintético ou fonte pública previamente avaliada.
Não. A fonte pode não sustentar a frase, estar desatualizada ou ser inadequada ao uso.
Não. Recuperação, seleção, geração e citação são etapas falíveis.
Não. Reduz variabilidade; não elimina erro sistemático.
Ele representa padrões aprendidos. Equivalência e aplicabilidade exigem avaliação jurídica.
Verificar apoio, atribuição, negação, entidades, números, modalidade e cobertura e produzir resumo fiel em até três frases.
A autora afirma ter recebido cobrança de R$ 1.250,00 em 5 de maio de 2027. Pede declaração de inexistência e restituição simples. Não requer tutela de urgência. A ré sustenta contrato de 2026 e junta cópia cuja autenticidade é impugnada. Ainda não houve decisão.
A autora sofreu cobrança fraudulenta de R$ 12.500,00. O juízo declarou o débito inexistente, determinou restituição em dobro e indeferiu a tutela.
| Afirmação do resumo | Situação | Falha | Correção necessária |
|---|---|---|---|
| autora sofreu cobrança fraudulenta | |||
| valor de R$ 12.500,00 | |||
| juízo declarou inexistência | |||
| restituição em dobro | |||
| tutela foi indeferida |
Tabela preenchida e resumo fiel de até três frases, com atribuições e estado processual preservados.
Uma resposta possível:
A autora afirma ter recebido cobrança de R$ 1.250,00 em 5 de maio de 2027 e pede declaração de inexistência com restituição simples, sem tutela de urgência. A ré sustenta contrato de 2026, cuja cópia é impugnada. Ainda não houve decisão.
A redação preserva alegação, valor, pedidos, negação, defesa, controvérsia e estado processual. Ela não conclui que a cobrança ocorreu nem que o contrato é autêntico ou inválido.
Por que token não deve ser tratado sempre como palavra, especialmente em documentos jurídicos?
Qual vantagem o bigrama não deferido oferece sobre saco de palavras com termos isolados, e qual limite permanece?
“Dois julgados têm similaridade de cosseno de 0,92; logo, o segundo precedente se aplica ao caso.” Avalie a conclusão.
Associe: encoder; decoder; encoder-decoder. Opções: geração de continuação; classificação de documento; sumarização de texto.
Anexar uma peça ao prompt e solicitar uma síntese altera necessariamente os parâmetros do modelo? Que estratégia isso representa?
Há quatro resultados relevantes conhecidos. Três aparecem entre os cinco primeiros. Calcule Precisão@5 e Recall@5.
Por que um resumo extrativo composto apenas por trechos literais ainda pode ser infiel?
Cite três pontos de falha em um pipeline RAG e uma salvaguarda contra instruções maliciosas em documentos.
Uma unidade precisa classificar peças em uma taxonomia estável e, depois, preparar uma síntese vinculada aos trechos de origem. Por que uma arquitetura híbrida pode ser mais adequada do que atribuir as duas tarefas a um único LLM?
Token pode ser palavra, subpalavra, pontuação, número ou símbolo. Artigos, parágrafos, números processuais e valores podem ser segmentados de formas distintas, afetando contexto, extração e custo. Revise a Seção 4.2.1.
O bigrama preserva a sequência curta entre negação e verbo, que termos isolados perdem. Ainda não representa contexto longo, modalidade, atribuição ou todas as variações linguísticas. Revise a Seção 4.3.3.
A conclusão é indevida. O número indica proximidade segundo modelo e dados, não vigência, autoridade, razão de decidir, identidade fática ou aplicabilidade. O resultado pode priorizar leitura, seguida de análise jurídica. Revise a Seção 4.4.1.
Encoder → classificação; decoder → geração de continuação; encoder-decoder → sumarização. São papéis predominantes, não limites absolutos de todos os sistemas. Revise a Seção 4.5.3.
Não necessariamente. Fornecer documento e instrução durante a execução é condicionamento no contexto; não é, por si, ajuste fino nem pré-treinamento. Revise a Seção 4.6.
Precisão@5 = 3 / 5 = 60%
Recall@5 = 3 / 4 = 75%
A primeira observa a qualidade dos cinco resultados; a segunda, a cobertura dos relevantes conhecidos. Revise a Seção 4.9.2.
Trechos verdadeiros podem perder negação, ressalva, atribuição ou contexto quando selecionados e justapostos. Literalidade das partes não garante fidelidade do conjunto. Revise a Seção 4.10.1.
Falhas: consulta inadequada, documento relevante não recuperado, trecho fora de contexto, fonte revogada, geração incorreta ou citação sem apoio. Uma salvaguarda é tratar conteúdo recuperado como dado, isolando-o das instruções confiáveis e impedindo execução automática de comandos. Revise a Seção 4.11.
A classificação estável pode usar um modelo supervisionado com classes, limiares, calibração e abstenção definidos. O LLM pode atuar apenas na síntese, condicionado aos trechos recuperados e submetido a verificação. Essa divisão permite métricas próprias para cada tarefa, reduz a dependência de uma saída generativa e torna mais claro onde ocorreu uma falha. O sistema completo ainda exige teste ponta a ponta e revisão humana. Revise a Seção 4.6.3.
Neste capítulo, partimos do texto bruto para representações e produtos de PLN. Tokenização e normalização transformam a fonte e precisam ser controladas. Saco de palavras, TF-IDF e n-gramas oferecem linhas de base simples e inspecionáveis; embeddings capturam proximidades contextuais, mas não equivalência jurídica.
Vimos que atenção cria relações numéricas entre posições e que o Transformer organiza essas operações em arquiteturas de encoder, decoder ou encoder-decoder. LLMs pertencem ao aprendizado de máquina e podem ser combinados com modelos clássicos, recuperação, regras e ferramentas em arquiteturas híbridas. Pré-treinamento, ajuste fino, aprendizagem no contexto, RAG e ferramentas são mecanismos diferentes. Nenhum converte automaticamente plausibilidade em verdade.
Aplicamos esses conceitos a classificação, extração e pesquisa. Abstenção evita classe forçada; extração precisa preservar relação e trecho-fonte; busca lexical, semântica e híbrida exige avaliação por precisão, cobertura e ordenação, seguida de análise de vigência, autoridade, fatos e fundamento.
Na sumarização, fluência não substitui fidelidade. A auditoria do caso sintético revelou alterações de atribuição, valor, pedido, tutela e estado processual. RAG pode disponibilizar fontes, mas acrescenta uma cadeia na qual recuperação, seleção, geração e citação precisam ser testadas separadamente. Conteúdo recuperado também pode carregar instruções maliciosas.
No próximo capítulo, usaremos os conhecimentos acumulados para estruturar um projeto de IA no Judiciário. Começaremos pelo problema e pelas pessoas afetadas, compararemos alternativas sem ML e definiremos dados, saída, abstenção, sucesso, piloto e condição de não implantação em um Canvas de projeto.
Os termos abstenção, alucinação, aprendizagem no contexto, atenção, decoder, embedding, encoder, janela de contexto, LLM, modelo fundacional, nDCG, n-grama, PLN, RAG, similaridade de cosseno, sumarização abstrativa, sumarização extrativa, TF-IDF, token, tokenização, Transformer e viés de automação foram selecionados para o glossário cumulativo.
CONSELHO NACIONAL DE JUSTIÇA (CNJ). O uso da inteligência artificial generativa no Poder Judiciário brasileiro: relatório de pesquisa. Brasília, DF: CNJ, 2024. 11 p. ISBN 978-65-5972-158-0. Disponível em: Biblioteca Digital do CNJ. Acesso em: 13 ago. 2026.
CONSELHO NACIONAL DE JUSTIÇA (CNJ). Resolução nº 615, de 11 de março de 2025. Estabelece diretrizes para o desenvolvimento, utilização e governança de soluções desenvolvidas com recursos de inteligência artificial no Poder Judiciário. Brasília, DF: CNJ, 2025. Disponível em: Atos CNJ. Acesso em: 13 ago. 2026.
DEVLIN, Jacob et al. BERT: pre-training of deep bidirectional transformers for language understanding. In: Proceedings of NAACL-HLT 2019. Minneapolis: Association for Computational Linguistics, 2019. p. 4171–4186. DOI: 10.18653/v1/N19-1423.
LEWIS, Patrick et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. In: Advances in Neural Information Processing Systems, v. 33, 2020. Disponível em: NeurIPS Proceedings. Acesso em: 13 ago. 2026.
MAYNEZ, Joshua et al. On faithfulness and factuality in abstractive summarization. In: Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Online: Association for Computational Linguistics, 2020. p. 1906–1919. DOI: 10.18653/v1/2020.acl-main.173.
NAN, Feng et al. Entity-level factual consistency of abstractive text summarization. In: Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics. Online: Association for Computational Linguistics, 2021. p. 2727–2733. DOI: 10.18653/v1/2021.eacl-main.235.
REIMERS, Nils; GUREVYCH, Iryna. Sentence-BERT: sentence embeddings using Siamese BERT-networks. In: Proceedings of EMNLP-IJCNLP 2019. Hong Kong: Association for Computational Linguistics, 2019. p. 3982–3992. DOI: 10.18653/v1/D19-1410.
VASWANI, Ashish et al. Attention is all you need. In: Advances in Neural Information Processing Systems, v. 30, 2017. Disponível em: NeurIPS Proceedings. Acesso em: 13 ago. 2026.
Descrição acessível: o texto é apresentado em HTML semântico, com títulos, tabelas e alternativas textuais. Os laboratórios interativos são complementos e não substituem a leitura.