Capítulo 2 de 6
Percorra os conceitos em uma trilha visual. Depois, use o laboratório e abra o conteúdo completo para aprofundar.
Você está aqui: conceitos essenciais → exemplo → interação → leitura detalhada
Trilha interativa
Veja como alvo, dados, avaliação, limiar e monitoramento mudam o significado de uma previsão.
O modelo aprende o alvo que foi definido, não o problema inteiro.
Exemplo: prever uma classe documental é diferente de prever a melhor ação processual.
A saída está ligada a uma decisão legítima e revisável?
A origem, a finalidade e a representatividade dos dados condicionam o que pode ser inferido.
Exemplo: registros coletados para tramitação podem não ser adequados para avaliar risco individual.
A origem e a finalidade autorizam este novo uso?
O que entra como variável e quando é transformado pode facilitar ou falsear o aprendizado.
Exemplo: incluir informação disponível somente depois do evento cria vazamento de dados.
Esta variável estaria disponível no momento real da decisão?
Compare modelos complexos com uma regra, uma linha de base e alternativas simples.
Exemplo: uma regressão logística transparente pode ser suficiente para uma triagem inicial.
O ganho compensa a complexidade e o custo de explicar?
Separar conjuntos evita avaliar o modelo com exemplos que influenciaram seu ajuste.
Exemplo: o teste final simula dados novos e deve permanecer protegido até a avaliação.
Qual evidência ainda não foi usada para escolher o modelo?
Acertos e erros têm direções diferentes, custos diferentes e consequências diferentes.
Exemplo: falso positivo pode encaminhar uma petição ao fluxo errado; falso negativo pode deixar uma prioridade passar.
Qual erro é mais grave nesta tarefa e por quê?
A métrica e o limiar traduzem escolhas sobre erros, cobertura e confiança estimada.
Exemplo: baixar o limiar sinaliza mais casos, mas pode aumentar falsos positivos.
O que muda quando o limiar passa de 50% para 80%?
Uma métrica global pode esconder diferenças relevantes entre grupos e contextos.
Exemplo: compare erros por grupo sintético antes de afirmar que o modelo é justo.
Quem suporta cada tipo de erro e com qual possibilidade de contestação?
O teste não encerra o ciclo: dados, contexto e desempenho podem mudar.
Exemplo: uma alteração no formulário pode mudar a distribuição das entradas e exigir recalibração.
Qual sinal faria manter, recalibrar, suspender ou descontinuar?
Como usar: percorra a trilha, observe o exemplo e use o laboratório abaixo para testar o conceito com dados sintéticos.
Próxima etapa
As simulações ficam em páginas próprias para você se concentrar em uma atividade por vez.
Seu progresso fica somente neste dispositivo.
No capítulo anterior, vimos que um projeto de aprendizado de máquina começa pela formulação do problema, e não pela escolha do algoritmo. Também distinguimos tarefa, modelo e ação institucional. Agora avançaremos para a pergunta seguinte: que evidências permitem avaliar se um modelo preditivo pode apoiar o uso pretendido?
Imagine que uma equipe apresente um classificador para auxiliar a triagem de petições e destaque um único resultado: “o modelo alcançou 89% de acurácia”. O número parece alto. Entretanto, ele não informa quantas petições urgentes foram deixadas de lado, quantas não urgentes foram encaminhadas desnecessariamente, como os dados foram separados nem se documentos do mesmo processo apareceram no treinamento e no teste. Também não revela o desempenho de uma regra simples que sempre escolhesse a classe mais frequente.
Avaliar um modelo exige reconstruir o caminho completo: origem e unidade dos dados, produção dos rótulos, informação disponível no momento real da previsão, representatividade do teste, custo dos erros, revisão humana e mudança de contexto.
Estudaremos dados, modelos, validação, teste e monitoramento. Construiremos uma matriz de confusão e calcularemos acurácia, precisão, sensibilidade, especificidade e F1, interpretando os números à luz do fluxo, dos direitos afetados e das salvaguardas.
Não será necessário programar. Os cálculos usarão dados sintéticos. Ao final, analisaremos Victor, Athos e Sinapses, que têm finalidades distintas.
Ao final deste capítulo, você deverá ser capaz de:
💬 Pra começo de conversa!
Uma unidade recebeu 1.000 petições em um período. Após revisão independente, 100 foram classificadas como urgentes e 900 como não urgentes. Um modelo sinalizou corretamente 80 das 100 urgentes, mas também marcou como urgentes 90 petições que não eram urgentes.
A equipe informa que o modelo “acertou 89% dos casos” e propõe colocá-lo em produção. Antes de prosseguir, responda: esse desempenho supera uma regra que sempre prevê “não urgente”? Quantas petições urgentes o modelo deixou de sinalizar? Entre tudo o que ele sinalizou, qual proporção realmente era urgente? Que informação ainda falta para decidir sobre o uso?
Registre sua hipótese. Retomaremos os números na Seção 2.6 e na atividade prática.
Um modelo preditivo estima uma saída para uma entrada nova a partir de regularidades encontradas em dados anteriores. Em uma tarefa de classificação, a saída pode ser uma categoria, como “tipo A”, “tipo B” ou “tipo C”. Em uma regressão, pode ser um valor numérico, como uma estimativa de volume mensal.
“Preditivo” não significa apenas antecipar o futuro. Classificar uma peça recebida é estimar categoria ainda não informada.
Em tarefas supervisionadas, costuma-se representar os dados como pares:
atributos de entrada (X) → resposta de referência (y)
Os atributos podem ser campos, medidas ou representações de texto. O rótulo é a categoria ou valor que orienta treinamento e avaliação.
⚠ Atenção!
Rótulo não é sinônimo automático de verdade incontestável. Ele pode resultar de decisão humana, regra operacional, evento posterior ou conciliação entre revisores. Sua qualidade depende do critério, da consistência e do contexto em que foi produzido.
O alvo é aquilo que se pretende estimar. Um alvo mal definido pode tornar o desempenho sem significado. “Processo complexo”, “risco alto” ou “caso relevante” parecem categorias, mas exigem critérios verificáveis. Pessoas diferentes podem usar essas expressões de maneiras incompatíveis.
Antes de construir a base, a equipe deve responder:
Uma formulação operacional pode ser: “sugerir, no recebimento, se a petição deve ser encaminhada à fila de verificação de urgência, com confirmação obrigatória por servidor competente”. Ela delimita tempo, função e revisão. Mesmo uma sugestão altera atenção e sequência do trabalho; por isso, previsão não deve ser confundida com reconhecimento jurídico definitivo.
Uma planilha não nasce pronta na realidade. Seus campos resultam de formulários, sistemas, rotinas, prioridades, normas e decisões de pessoas. Um registro pode indicar o que aconteceu, o que foi possível cadastrar ou o que o sistema obrigou a selecionar. Por isso, dados são evidências parciais de processos institucionais.
Considere o campo “tipo de petição”. Ele pode ter sido preenchido pela pessoa que enviou o documento, corrigido pela unidade, importado de outro sistema ou inferido automaticamente. Esses caminhos produzem níveis diferentes de confiabilidade. Se a origem não for registrada, o mesmo código poderá misturar significados.
Proveniência é a história do dado: de onde veio, como foi coletado, transformado, rotulado e mantido. Uma ficha de proveniência deve registrar, no mínimo:
| Dimensão | Perguntas essenciais |
|---|---|
| Origem | Qual sistema, documento ou processo gerou o registro? |
| Unidade | Cada linha representa peça, página, processo, pessoa ou evento? |
| Período | Que intervalo temporal está coberto? Houve mudança normativa ou sistêmica? |
| Coleta | O dado foi preenchido, importado, extraído por OCR ou inferido? |
| Rótulo | Quem o produziu, segundo qual manual e com que revisão? |
| Transformações | Quais limpezas, junções, exclusões e anonimizações ocorreram? |
| Cobertura | Quais unidades, classes, regiões ou situações estão ausentes? |
| Acesso | Quem pode utilizar o dado e sob quais controles? |
| Versão | Qual versão da base e do manual está sendo usada? |
Documentar torna limitações visíveis para decidir se a base é adequada, precisa de curadoria ou impede o projeto. A proposta de datasheets for datasets sistematiza perguntas sobre motivação, composição, coleta, pré-processamento, usos e manutenção (GEBRU et al., 2021).
📝 Tome nota!
Um conjunto volumoso pode ser inadequado para a tarefa. Quantidade não substitui pertinência, legitimidade, representatividade nem qualidade do rótulo.
Quando há tratamento de dados pessoais, a definição técnica caminha com a análise jurídica e de governança. A Lei Geral de Proteção de Dados Pessoais - LGPD - estabelece, entre outros, finalidade, adequação, necessidade, qualidade, transparência, segurança, prevenção, não discriminação e prestação de contas (BRASIL, 2018).
“Temos acesso” não equivale a “podemos usar para qualquer finalidade”. A equipe deve identificar finalidade pública, base jurídica, dados estritamente necessários, acesso, retenção e riscos. Dados públicos também demandam avaliação de contexto e segurança.
Pergunte atributo por atributo:
Excluir nomes não garante anonimização. Texto livre pode conter números de documentos, endereços, saúde, filiação, narrativa de violência ou combinações que permitam reidentificação. A análise deve considerar conteúdo, contexto e possibilidade razoável de associação.
Qualidade não é um único número. Seis dimensões merecem análise:
Uma classe rara de grande impacto pode exigir amostragem e avaliação específicas. É preciso distinguir população de interesse, dados disponíveis e amostra rotulada.
Rótulos podem apresentar ambiguidade e discordância. Um protocolo deve definir:
Concordância alta não prova correção jurídica, mas discordância recorrente revela que o alvo pode estar mal definido ou exigir mais contexto. Se especialistas não conseguem aplicar o critério consistentemente, pedir ao modelo que o reproduza não resolve a indefinição.
💡 Para refletir!
Em seu ambiente de trabalho, qual campo parece objetivo, mas depende de interpretação ou de hábitos locais? Uma mudança de sistema alterou seu significado ao longo do tempo?
Descrição acessível: Fluxo do documento original ao treinamento ou teste, passando por sistema de origem, extração, limpeza, rotulagem e separação. Cada etapa registra acesso, versão e responsável.
Preparar dados não é apenas corrigir formato. É decidir qual unidade será observada, que informação entrará, como ausências serão tratadas e como impedir que o teste revele respostas ao treinamento.
Cada linha deve representar uma unidade compatível com a previsão. Se a saída se refere à petição, a unidade pode ser a petição. Se se refere ao processo inteiro, combinar páginas ou peças sem preservar o vínculo pode gerar inconsistência.
Documentos do mesmo processo compartilham trechos e metadados. Se parte estiver no treinamento e outra no teste, o resultado superestimará a capacidade de generalizar para processos novos.
O teste deve ser reservado antes de decisões guiadas pelos dados. Normalização, vocabulário, seleção, imputação e calibração são ajustados no treinamento ou em subdivisões apropriadas e apenas aplicados à validação e ao teste.
dados elegíveis
├── treinamento → ajuste de transformações e parâmetros
├── validação → escolha de modelo, hiperparâmetros e limiar
└── teste → avaliação final, sem orientar escolhas anteriores
A documentação do scikit-learn, biblioteca de aprendizado de máquina descrita por Pedregosa et al. (2011), define o vazamento como uso, durante a construção, de informação indisponível no momento da previsão. Esse uso produz estimativas otimistas e desempenho inferior em dados novos (SCIKIT-LEARN DEVELOPERS, 2026c).
Limpeza exige regras registradas e reproduzíveis. Entre as verificações estão:
Valor ausente pode indicar “não se aplica”, falha de integração ou informação ainda indisponível. Imputar sem compreender o mecanismo pode apagar diferenças. Duplicatas podem super-representar padrões, mas removê-las sem critério pode apagar eventos reais; ambas as decisões dependem da unidade de análise.
Modelos operam sobre representações numéricas: escalas, indicadores para categorias, contagens, pesos de termos ou vetores densos. Cada escolha preserva aspectos e perde outros.
Em texto jurídico, cabeçalhos, assinaturas e nomes de unidades podem funcionar como atalhos. O modelo pode associar um template à classe e falhar após mudança. Testes por origem e período ajudam a revelar isso.
O Capítulo 4 aprofundará representações textuais, embeddings e modelos de linguagem. Neste momento, a pergunta central é: a representação contém apenas informação pertinente e disponível no instante de uso?
Uma base é desbalanceada quando algumas classes aparecem muito mais que outras. No caso inicial, apenas 10% das petições são urgentes. Um classificador que sempre prevê “não urgente” alcança 90% de acurácia e sensibilidade igual a zero para urgentes.
Estratégias incluem coleta dirigida, ponderação, reamostragem, ajuste de limiar e abstenção. Repetir exemplos minoritários não cria diversidade; remover majoritários pode descartar informação. O teste deve representar a situação de decisão.
Uma divisão aleatória é inadequada quando observações relacionadas atravessam os conjuntos. O agrupamento deve acompanhar a unidade que compartilha informação: processo, pessoa, documento de origem, lote, unidade judiciária ou evento.
Para uso futuro, uma separação temporal costuma ser mais realista:
período anterior → treinamento
período intermediário → validação
período posterior → teste
Misturar anos pode expor ao treino norma, sistema ou template posterior. A avaliação temporal deve preservar a ordem dos eventos (SCIKIT-LEARN DEVELOPERS, 2026a).
⚠ Atenção!
A separação deve ser desenhada conforme o modo como o modelo encontrará casos novos. “Treino e teste diferentes” não basta se eles compartilham o mesmo processo, texto duplicado ou informação futura.
Antes de um modelo sofisticado, é necessário estabelecer linhas de base. Uma linha de base é uma referência simples contra a qual se mede o ganho: classe majoritária, média histórica, regra vigente ou desempenho do fluxo humano em condições comparáveis. A apresentação das famílias a seguir utiliza a terminologia consolidada por Géron (2021).
No caso das petições, prever sempre “não urgente” alcança 90% de acurácia. Essa linha de base é inadequada para localizar urgentes, mas demonstra por que 89% não é, sozinho, resultado convincente.
A regressão linear estima valor numérico como combinação ponderada de atributos. Pode servir de referência para estimar volume. Seus coeficientes favorecem inspeção, mas não são automaticamente efeitos causais; relações não lineares podem exigir outro método.
A regressão logística é usada para classificação. Estima um valor entre zero e um, convertido em classe por um limiar. Pode ser mais inspecionável que modelos complexos, mas atributos correlacionados e representações extensas ainda dificultam interpretação.
Uma árvore divide dados por perguntas sucessivas e pode ser intuitiva quando pequena. Árvores profundas memorizam particularidades e podem ser instáveis. Legibilidade não garante validade: um atributo inadequado pode ser usado de modo transparente.
Conjuntos, como florestas aleatórias e gradient boosting, combinam modelos e capturam relações complexas, com maior custo e dificuldade de inspeção. Importância indica associação com a previsão, não causalidade ou legitimidade.
Métodos de vizinhança usam exemplos próximos conforme distância, escala e representação. Em muitos atributos, proximidade pode perder significado. Em documentos, similaridade apoia exploração, mas não equivale a identidade jurídica.
Redes neurais ajustam transformações em camadas e são úteis para imagem, áudio e linguagem, mas podem exigir muitos dados, recursos e controle. O Capítulo 3 aprofundará o tema.
| Critério | Pergunta de seleção |
|---|---|
| Tarefa | A saída é classe, valor, similaridade ou alerta? |
| Dados | Há quantidade, qualidade e representatividade suficientes? |
| Linha de base | O modelo supera regra e fluxo atuais no que importa? |
| Consequência do erro | Que tipos de erro devem ser reduzidos? |
| Inspeção | Que explicação o usuário e a auditoria precisam? |
| Operação | Há capacidade de implantar, monitorar e corrigir? |
| Segurança e privacidade | O tratamento e a arquitetura são proporcionais? |
| Sustentabilidade | O benefício persiste diante de custo, atualização e dependência? |
📝 Tome nota!
O melhor modelo não é o mais complexo nem o que vence em uma única métrica. É o que oferece evidência suficiente para o uso delimitado, supera referências relevantes e pode ser operado com segurança.
Treinar é ajustar parâmetros. Validar é orientar escolhas sem tocar no teste final. Testar é estimar o desempenho do sistema já definido em dados independentes e representativos do uso.
Usar o teste repetidamente para escolher o melhor modelo transforma-o, na prática, em validação. O resultado deixa de ser independente. Se muitas escolhas foram guiadas pelo mesmo teste, será necessário um novo conjunto final ou uma estratégia de avaliação apropriada.
Na validação cruzada, o conjunto de desenvolvimento é dividido em partes. O modelo treina em algumas e valida em outra; o processo se repete. Isso reduz a dependência de uma única divisão e permite observar variação.
As partições devem respeitar grupos e tempo. Em séries temporais, períodos de avaliação vêm depois dos usados no ajuste. A média sem dispersão entre partições pode esconder instabilidade.
Sobreajuste ocorre quando o modelo se adapta excessivamente ao treinamento, inclusive a ruídos e particularidades, e generaliza mal. É comum observar desempenho muito alto no treinamento e queda na validação.
Subajuste ocorre quando o modelo é simples demais, os atributos são insuficientes ou o treinamento é inadequado. O desempenho é ruim tanto no treinamento quanto na validação.
Respostas incluem regularizar, melhorar dados e atributos, obter diversidade, corrigir rótulos e revisar a formulação. Adicionar complexidade não é resposta automática.
Vazamento ocorre quando informação indisponível na previsão real influencia o treinamento ou a avaliação. Exemplos:
O vazamento é perigoso porque produz números convincentes. Ele não costuma aparecer como erro de execução, mas como sucesso que desaparece em produção.
💡 Para refletir!
Se o modelo fosse chamado no instante real da tarefa, quais campos ainda não existiriam? Algum atributo revela indiretamente uma decisão posterior?
Retomemos o caso sintético. A classe positiva será “urgente”, porque é o evento que desejamos localizar.
| Referência \ Previsão | Urgente | Não urgente | Total |
|---|---|---|---|
| Urgente | 80 - verdadeiro positivo (VP) | 20 - falso negativo (FN) | 100 |
| Não urgente | 90 - falso positivo (FP) | 810 - verdadeiro negativo (VN) | 900 |
| Total | 170 | 830 | 1.000 |
Os nomes dependem da classe positiva:
Acurácia é a proporção total de previsões corretas:
acurácia = (VP + VN) / total
acurácia = (80 + 810) / 1.000 = 890 / 1.000 = 0,89 = 89%
A interpretação isolada é inadequada. A linha de base que sempre prevê “não urgente” acerta 900 de 1.000, ou 90%. O modelo tem acurácia menor, embora localize parte das urgências. A acurácia não representa sozinha o objetivo.
Precisão responde: entre as petições sinalizadas como urgentes, quantas realmente eram urgentes?
precisão = VP / (VP + FP)
precisão = 80 / (80 + 90) = 80 / 170 ≈ 0,471 = 47,1%
Assim, cerca de 47 em cada 100 alertas correspondem a urgentes segundo a referência. Os demais exigiriam revisão sem confirmar a classe. Se a equipe receber alertas em excesso, poderá surgir fadiga e redução de confiança.
Sensibilidade, também chamada de recall da classe positiva, responde: entre as urgentes, quantas foram localizadas?
sensibilidade = VP / (VP + FN)
sensibilidade = 80 / (80 + 20) = 80 / 100 = 0,80 = 80%
O modelo localizou 80% das urgentes e deixou passar 20%. A taxa de falsos negativos é o complemento: 20%.
Especificidade responde: entre as não urgentes, quantas foram corretamente reconhecidas como não urgentes?
especificidade = VN / (VN + FP)
especificidade = 810 / (810 + 90) = 810 / 900 = 0,90 = 90%
A taxa de falsos positivos é 10%. Como a classe não urgente é numerosa, esses 10% geram 90 revisões adicionais.
F1 combina precisão e sensibilidade pela média harmônica:
F1 = 2 × (precisão × sensibilidade) / (precisão + sensibilidade)
F1 ≈ 2 × (0,471 × 0,80) / (0,471 + 0,80) ≈ 0,593 = 59,3%
Ela cai quando uma das duas medidas é baixa. Ainda assim, F1 não considera verdadeiros negativos e não substitui a análise dos custos.
A acurácia balanceada é a média entre sensibilidade e especificidade:
acurácia balanceada = (80% + 90%) / 2 = 85%
Ela evita que a classe majoritária domine a medida, mas também não decide qual erro é aceitável (SCIKIT-LEARN DEVELOPERS, 2026b).
| Medida | Pergunta | Resultado | Limite principal |
|---|---|---|---|
| Acurácia | Quanto o modelo acertou no total? | 89% | pode ocultar classe rara |
| Precisão | Quantos alertas eram corretos? | 47,1% | não mostra urgentes perdidas |
| Sensibilidade | Quantas urgentes foram localizadas? | 80% | não mostra volume de alarmes falsos |
| Especificidade | Quantas não urgentes foram descartadas corretamente? | 90% | não mostra urgentes perdidas |
| F1 | Como equilibrar precisão e sensibilidade? | 59,3% | ignora verdadeiros negativos e custos |
| Acurácia balanceada | Como ponderar igualmente as classes? | 85% | não incorpora consequência institucional |
⚠ Atenção!
Métrica não contém o custo do erro. Esse custo depende da tarefa, do momento, da possibilidade de correção e das pessoas afetadas. A mesma matriz pode ser aceitável para um filtro exploratório e inaceitável para uma ação automática.
Descrição acessível: Matriz dois por dois em que 80 urgentes foram sinalizadas, 20 urgentes não foram sinalizadas, 90 não urgentes foram sinalizadas e 810 não urgentes foram corretamente descartadas. Os quadros laterais destacam o custo institucional dos erros.
Muitos classificadores produzem um escore ou probabilidade estimada. O limiar converte esse valor em ação. Se o limiar cair, mais casos tendem a ser sinalizados: a sensibilidade pode aumentar e a precisão diminuir. Se subir, o volume de alertas pode cair, mas mais positivos podem ser perdidos.
O limiar não deve ser escolhido por conveniência técnica nem pelo padrão de uma biblioteca. Ele deve refletir capacidade de revisão, custo dos erros, possibilidade de abstenção e proteção das pessoas afetadas.
A curva ROC relaciona sensibilidade e taxa de falsos positivos em vários limiares. A curva precisão–sensibilidade evidencia a troca entre encontrar positivos e manter alertas úteis. Em classes raras, precisão–sensibilidade costuma tornar mais visível o efeito da prevalência.
A área sob a curva resume ordenação em muitos limiares, mas não escolhe o ponto operacional.
Calibração pergunta se as probabilidades estimadas correspondem às frequências observadas. Em um modelo bem calibrado, entre casos aos quais se atribui valor próximo de 0,80, aproximadamente 80% pertencem à classe positiva em condições comparáveis. Isso é diferente de acurácia e de capacidade de ordenar casos (SCIKIT-LEARN DEVELOPERS, 2026d).
Uma probabilidade não calibrada não deve ser apresentada como certeza. Mesmo calibrada, permanece condicionada aos dados, à população, ao período e ao modelo. Mudança de prevalência pode alterar sua interpretação.
Uma média global pode esconder pior desempenho em determinada unidade, período, tipo documental ou grupo relevante. A equipe deve definir recortes legítimos e suficientes para analisar:
Critérios como igualdade de oportunidade orientam a comparação de taxas entre grupos (HARDT; PRICE; SREBRO, 2016), mas diferentes critérios podem ser incompatíveis quando prevalências diferem (KLEINBERG; MULLAINATHAN; RAGHAVAN, 2016). Igualar uma taxa pode deslocar o problema. A escolha deve ser declarada e justificada por equipe multidisciplinar.
💡 Para refletir!
Se a sensibilidade global for 90%, mas cair para 60% em uma unidade com documentos digitalizados de pior qualidade, qual é o problema principal: o modelo, a digitalização, a base ou o fluxo? Que medida imediata protege as pessoas enquanto a causa é investigada?
O desempenho prévio é uma estimativa. Em produção, população, documentos, norma, sistema e comportamento podem mudar.
É necessário combinar indicadores técnicos, operacionais e institucionais: tempo de resposta não revela queda na sensibilidade, e saídas sem amostra revisada não revelam erro.
| Elemento | Definição necessária |
|---|---|
| Finalidade e escopo | tarefa, usuários, pessoas afetadas e usos proibidos |
| Versões | dados, código, modelo, limiar, manual e interface |
| Indicadores | qualidade da entrada, cobertura, erros, abstenção, tempo e retrabalho |
| Recortes | classe, período, unidade e grupos tecnicamente e juridicamente pertinentes |
| Amostragem | como obter referência humana pós-implantação |
| Frequência | acompanhamento contínuo, semanal, mensal ou por volume |
| Limites | valores que geram alerta, redução de escopo ou suspensão |
| Responsável | quem acompanha, decide e registra |
| Contestação | como usuário e pessoa afetada reportam e corrigem |
| Retorno seguro | como voltar ao fluxo anterior sem perda de informação |
Rollback é o retorno controlado a uma versão ou fluxo anterior. Se a sensibilidade cair, surgir vazamento, a integração falhar ou houver indício discriminatório, a equipe deve suspender a automação, preservar registros e retomar o fluxo seguro.
O plano deve prever descontinuidade. Mudança normativa, benefício insuficiente ou risco não mitigável podem justificar retirada.
📝 Tome nota!
Produção não é o fim do projeto. É o início de uma nova fase de evidência, na qual o contexto real pode confirmar, limitar ou invalidar a hipótese do teste.
Os três nomes não designam objetos equivalentes. Victor e Athos se voltam a tarefas específicas; Sinapses é plataforma de infraestrutura e governança. A comparação deve respeitar finalidade, fonte e período.
O Projeto Victor resulta de parceria entre o Supremo Tribunal Federal e a Universidade de Brasília. Em publicação institucional de 19 de agosto de 2021, o STF descreveu quatro frentes: conversão de imagens em texto por reconhecimento óptico de caracteres, delimitação de documentos, classificação de peças processuais e identificação de temas de repercussão geral de maior incidência. A notícia informou que a camada textual para determinadas classes recursais estava implementada desde o fim de 2020 e apresentou Victor como apoio à análise de admissibilidade recursal (STF, 2021).
Notícia de 23 de outubro de 2018 registrou 85% de acuidade em testes e comparação de tempo para uma tarefa. É um registro daquele estágio, não garantia atual. Sem conjunto de teste, classes e definição da medida, o número não pode ser transportado para outro uso (STF, 2018).
Sua avaliação deve identificar unidade classificada, temas cobertos, efeito de mudanças de formato, modo de correção e métricas por classe e período.
O Superior Tribunal de Justiça informou, em maio de 2019, que o Sistema Athos foi criado para identificar grupos de processos com acórdãos semelhantes e apoiar atividades relacionadas a repetitivos. Publicação institucional de 2020 acrescentou funções de apontar entendimentos convergentes ou divergentes, matérias relevantes e possíveis distinções ou superações de precedentes, sempre como apoio ao trabalho especializado (STJ, 2019; STJ, 2020).
“Similaridade” é resultado intermediário: profissionais interpretam a relação jurídica, verificam o contexto e decidem sobre aderência, distinção ou providência.
Sua avaliação deve verificar definição de similaridade, documentos usados, desempenho por matéria ou origem, correções humanas e ganho em qualidade e tempo.
O CNJ apresenta o Sinapses como plataforma nacional para armazenar, treinar, versionar, distribuir e auditar modelos de IA. A Resolução CNJ nº 615/2025 o define como solução disponível na Plataforma Digital do Poder Judiciário. Em 24 de abril de 2026, o CNJ anunciou a versão 2.0 como ecossistema voltado a desenvolver, treinar, armazenar, versionar e auditar modelos, promovendo colaboração entre tribunais (CNJ, 2025; CNJ, 2026b).
Sinapses é infraestrutura de ciclo de vida, cuja avaliação envolve versões, autoria, acesso, documentação, testes, auditoria e responsabilidades.
| Dimensão | Victor | Athos | Sinapses |
|---|---|---|---|
| Órgão de referência | STF, em parceria com a UnB | STJ | CNJ |
| Natureza | projeto com tarefas de OCR e classificação | sistema de similaridade e apoio a precedentes | plataforma de ciclo de vida e governança |
| Saída típica | texto extraído, tipo de peça ou tema sugerido | grupos ou relações de similaridade | modelos, versões, registros e recursos de auditoria |
| Risco de interpretação | tratar tema sugerido como decisão | tratar semelhança como identidade jurídica | tratar disponibilização como aprovação automática do uso |
| Papel humano | confirmar e aplicar no fluxo | interpretar relação e decidir providência | governar, testar, autorizar, monitorar e auditar |
| Evidência necessária | métricas por tarefa, classe e período | qualidade da recuperação e utilidade no fluxo | rastreabilidade, testes, controles, responsabilidades e conformidade |
“Uso de IA” pode designar extração, classificação, similaridade ou infraestrutura. Relato institucional não substitui relatório técnico ou avaliação de impacto. Transferência entre tribunais exige teste local de dados, classes, fluxo e revisão.
Descreva a tarefa antes de comparar números: classificação não avalia uma plataforma; similaridade não é acurácia; tempo reduzido em uma etapa não prova melhora de todo o serviço.
A Resolução CNJ nº 615, de 11 de março de 2025, estabelece diretrizes para desenvolvimento, uso e governança de soluções de IA no Poder Judiciário. O texto estava vigente na consulta realizada em 13 de agosto de 2026 e indicava alteração pela Resolução CNJ nº 674, de 25 de março de 2026, restrita ao art. 15, relativo à composição do Comitê Nacional de Inteligência Artificial do Judiciário (CNJ, 2025; CNJ, 2026c).
Para os temas deste capítulo, merecem atenção:
As obrigações concretas dependem do risco, da finalidade e do contexto. Este capítulo não substitui análise jurídica, de segurança da informação, de proteção de dados nem de contratação. Ele oferece perguntas técnicas para uma avaliação multidisciplinar.
⚠ Atenção!
Conformidade não é um documento produzido ao final. Finalidade, proteção de dados, supervisão, auditabilidade e monitoramento influenciam a arquitetura desde a concepção.
Antes de autorizar um piloto, a equipe deve ser capaz de responder, com evidências:
Se respostas essenciais faltarem, reduzir o escopo ou adiar o piloto pode ser a decisão responsável.
Construir e interpretar uma matriz de confusão, relacionar métricas às consequências do erro e elaborar salvaguardas para um piloto.
Use somente os dados sintéticos deste capítulo:
O modelo apenas sugere prioridade para revisão; não reconhece urgência de modo definitivo.
Etapa 1 - Reconstrua a matriz. Preencha as quatro células e confira os totais das linhas e colunas.
Etapa 2 - Calcule. Mostre numerador, denominador e resultado para:
Etapa 3 - Interprete. Complete:
| Pergunta | Sua análise |
|---|---|
| Quantas urgentes ficam fora do alerta? | |
| Quantas revisões adicionais recaem sobre não urgentes? | |
| O modelo supera a linha de base em acurácia? | |
| Por que ainda pode existir alguma utilidade? | |
| Que erro merece prioridade e por quê? |
Etapa 4 - Decida sobre o limiar. Suponha que reduzir o limiar aumente a sensibilidade, mas também o número de falsos positivos. Explique que dados você exigiria antes de mudar e como avaliaria a capacidade da equipe de revisão.
Etapa 5 - Proponha salvaguardas. Defina, no mínimo:
Uma nota técnica de uma a duas páginas com cálculos, interpretação, decisão provisória e salvaguardas. A nota não deve concluir apenas “aprovar” ou “rejeitar”; deve indicar finalidade, condições e evidências faltantes.
Resultados: acurácia 89%; precisão 47,1%; sensibilidade 80%; especificidade 90%; F1 59,3%; falsos negativos 20%; falsos positivos 10%; linha de base 90%.
O modelo não supera a linha de base em acurácia, mas a linha de base não localiza urgências. A utilidade depende de reduzir perdas sem criar revisão ou confiança excessivas. O limiar exige comparação de alternativas, capacidade operacional e confirmação humana.
Uma boa proposta evita automação direta, preserva análise jurídica, monitora período e origem e define limites de suspensão.
Qual procedimento reduz melhor o risco de vazamento?
A) Normalizar toda a base e depois separar treino e teste.
B) Separar os dados primeiro e ajustar as transformações apenas no treino.
C) Escolher o modelo várias vezes com base no teste final.
D) Colocar páginas do mesmo processo em conjuntos diferentes.
Um modelo alcança 98% no treinamento e 71% na validação. Qual fenômeno é provável e que duas medidas podem ser investigadas?
Em uma matriz, VP = 45, FP = 15 e FN = 5. Calcule precisão e sensibilidade.
“Se uma classe representa 2% da base, acurácia de 98% demonstra que o modelo localiza essa classe.” Justifique.
Por que documentos do mesmo processo devem permanecer na mesma partição?
Explique a diferença entre reduzir o limiar e calibrar as probabilidades.
Qual diferença central impede tratar Victor, Athos e Sinapses como três classificadores equivalentes?
Cite quatro componentes indispensáveis de um plano de monitoramento e explique a função de um deles.
Primeiro se reserva o teste e se define a separação adequada. Transformações que aprendem parâmetros - média, vocabulário, imputação ou seleção - são ajustadas no treino e aplicadas aos demais conjuntos. A alternativa A deixa o teste influenciar o pré-processamento; C desgasta a independência do teste; D permite compartilhamento de informação. Revise as Seções 2.3.2 e 2.5.4.
O padrão sugere sobreajuste: excelente adaptação ao treino e queda em dados não usados no ajuste. Podem ser investigadas simplificação ou regularização, mais dados representativos, revisão de atributos, eliminação de vazamento e melhoria de rótulos. Não basta aumentar a complexidade. Revise a Seção 2.5.3.
precisão = 45 / (45 + 15) = 45 / 60 = 75%
sensibilidade = 45 / (45 + 5) = 45 / 50 = 90%
Precisão observa os alertas; sensibilidade observa os positivos de referência. O mesmo número de verdadeiros positivos participa de perguntas diferentes. Revise a Seção 2.6.
Um classificador que sempre escolha a classe majoritária também alcançaria 98% e teria sensibilidade zero para a classe rara. É necessário examinar matriz de confusão, sensibilidade, precisão e consequências do erro. Revise as Seções 2.3.5 e 2.6.2.
Peças do mesmo processo compartilham texto, partes, metadados e contexto. Se atravessarem treino e teste, o modelo pode reconhecer particularidades já vistas, produzindo estimativa otimista. A divisão deve ocorrer por grupo, preservando o processo inteiro em uma única partição. Revise a Seção 2.3.6.
Reduzir o limiar muda o ponto em que o escore vira classe e tende a aumentar alertas. Calibrar procura fazer os valores probabilísticos corresponderem às frequências observadas. Um modelo pode ter bom ranking e má calibração; calibrar não elimina a necessidade de escolher limiar segundo custos. Revise a Seção 2.7.
Victor envolve tarefas como OCR, classificação de peças e identificação de temas; Athos trabalha com similaridade e apoio à gestão de precedentes; Sinapses é plataforma de ciclo de vida e governança de modelos. Suas unidades, saídas e evidências necessárias são diferentes. Revise a Seção 2.9.
Componentes possíveis: versões, indicadores, recortes, amostragem de referência, frequência, limites, responsáveis, contestação e retorno seguro. Por exemplo, o limite de suspensão define quando o sistema deve sair de operação para proteger o fluxo enquanto a causa é investigada. Revise a Seção 2.8.2.
Neste capítulo, transformamos a afirmação “o modelo teve alta acurácia” em uma sequência de perguntas verificáveis. Vimos que dados possuem história, finalidade, lacunas e escolhas de representação. Antes do treinamento, é necessário definir unidade de análise, origem, rótulo, período, acesso e separação compatível com o uso.
Comparamos linhas de base e modelos sem confundir complexidade com qualidade. Distinguimos treinamento, validação e teste e identificamos sobreajuste, subajuste e vazamento. A avaliação deve impedir compartilhamento indevido de processo, tempo ou informação futura.
O caso das 1.000 petições mostrou que 89% de acurácia pode esconder 20 urgentes perdidas e desempenho inferior à linha de base na própria acurácia. Precisão, sensibilidade, especificidade, F1 e acurácia balanceada respondem a perguntas distintas. Nenhuma inclui, por si, o custo institucional. Limiar e calibração acrescentam outras dimensões: transformar escore em ação e verificar se probabilidades estimadas correspondem a frequências observadas.
O teste não encerra o ciclo. Deriva, mudança normativa e nova origem documental degradam desempenho. Monitoramento, suspensão e retorno seguro devem preceder o piloto. A regulamentação do CNJ reforça curadoria, rastreabilidade, supervisão, classificação de risco e auditoria.
Os casos Victor, Athos e Sinapses mostraram funções distintas de IA no Judiciário: extração e classificação, similaridade e infraestrutura de governança. Comparar iniciativas exige descrever tarefa, dado, saída, período e papel humano, sem transformar relatos institucionais em garantias universais.
No próximo capítulo, examinaremos como redes neurais profundas aprendem representações e como a visão computacional processa documentos e imagens. Retomaremos OCR, qualidade de digitalização, vieses de avaliação e limites do reconhecimento facial. A pergunta continuará a mesma: que evidência sustenta o uso e que salvaguarda protege quando o modelo erra?
Os termos acurácia, acurácia balanceada, calibração, classe positiva, deriva, especificidade, falso negativo, falso positivo, F1, linha de base, limiar, matriz de confusão, precisão, proveniência, sensibilidade, subajuste, sobreajuste, teste, validação, validação cruzada, vazamento de dados, verdadeiro negativo e verdadeiro positivo foram selecionados para o glossário cumulativo.
BRASIL. Lei nº 13.709, de 14 de agosto de 2018. Lei Geral de Proteção de Dados Pessoais (LGPD). Brasília, DF: Presidência da República, 2018. Disponível em: texto compilado da LGPD. Acesso em: 13 ago. 2026.
CONSELHO NACIONAL DE JUSTIÇA (CNJ). Resolução nº 615, de 11 de março de 2025. Estabelece diretrizes para o desenvolvimento, utilização e governança de soluções desenvolvidas com recursos de inteligência artificial no Poder Judiciário. Brasília, DF: CNJ, 2025. Disponível em: Atos CNJ. Acesso em: 13 ago. 2026.
CONSELHO NACIONAL DE JUSTIÇA (CNJ). Resolução nº 674, de 25 de março de 2026. Altera o art. 15 da Resolução CNJ nº 615/2025. Brasília, DF: CNJ, 2026c. Disponível em: Atos CNJ. Acesso em: 13 ago. 2026.
CONSELHO NACIONAL DE JUSTIÇA (CNJ). Lançamento de inovações de inteligência artificial para o Judiciário marcam evento no CNJ. Brasília, DF, 24 abr. 2026b. Disponível em: Portal CNJ. Acesso em: 13 ago. 2026.
GEBRU, Timnit et al. Datasheets for datasets. Communications of the ACM, v. 64, n. 12, p. 86–92, 2021. DOI: 10.1145/3458723.
GÉRON, Aurélien. Mãos à obra: aprendizado de máquina com Scikit-Learn, Keras e TensorFlow. 2. ed. Rio de Janeiro: Alta Books, 2021.
HARDT, Moritz; PRICE, Eric; SREBRO, Nati. Equality of opportunity in supervised learning. In: Advances in Neural Information Processing Systems, v. 29, 2016. Disponível em: NeurIPS Proceedings. Acesso em: 13 ago. 2026.
KLEINBERG, Jon; MULLAINATHAN, Sendhil; RAGHAVAN, Manish. Inherent trade-offs in the fair determination of risk scores. 2016. Disponível em: arXiv:1609.05807. Acesso em: 13 ago. 2026.
PEDREGOSA, Fabian et al. Scikit-learn: machine learning in Python. Journal of Machine Learning Research, v. 12, p. 2825–2830, 2011. Disponível em: JMLR. Acesso em: 13 ago. 2026.
SCIKIT-LEARN DEVELOPERS. Cross-validation: evaluating estimator performance. 2026a. Disponível em: scikit-learn documentation. Acesso em: 13 ago. 2026.
SCIKIT-LEARN DEVELOPERS. Metrics and scoring: quantifying the quality of predictions. 2026b. Disponível em: scikit-learn documentation. Acesso em: 13 ago. 2026.
SCIKIT-LEARN DEVELOPERS. Common pitfalls and recommended practices. 2026c. Disponível em: scikit-learn documentation. Acesso em: 13 ago. 2026.
SCIKIT-LEARN DEVELOPERS. Probability calibration. 2026d. Disponível em: scikit-learn documentation. Acesso em: 13 ago. 2026.
SUPERIOR TRIBUNAL DE JUSTIÇA (STJ). Tribunal lança solução de inteligência artificial. Brasília, DF, 15 maio 2019. Disponível em: Conexão STJ. Acesso em: 13 ago. 2026.
SUPERIOR TRIBUNAL DE JUSTIÇA (STJ). Revolução tecnológica e desafios da pandemia marcaram gestão do ministro Noronha na presidência do STJ. Brasília, DF, 23 ago. 2020. Disponível em: Portal STJ. Acesso em: 13 ago. 2026.
SUPREMO TRIBUNAL FEDERAL (STF). Inteligência artificial: trabalho judicial de 40 minutos pode ser feito em 5 segundos. Brasília, DF, 23 out. 2018. Disponível em: Notícias STF. Acesso em: 13 ago. 2026.
SUPREMO TRIBUNAL FEDERAL (STF). Projeto Victor avança em pesquisa e desenvolvimento para identificação dos temas de repercussão geral. Brasília, DF, 19 ago. 2021. Disponível em: Notícias STF. Acesso em: 13 ago. 2026.
Descrição acessível: o texto é apresentado em HTML semântico, com títulos, tabelas e alternativas textuais. Os laboratórios interativos são complementos e não substituem a leitura.