Capítulo 6 de 6
Percorra os conceitos em uma trilha visual. Depois, use o laboratório e abra o conteúdo completo para aprofundar.
Você está aqui: conceitos essenciais → exemplo → interação → leitura detalhada
Trilha interativa
Risco, direitos, supervisão, segurança e reversibilidade precisam existir antes, durante e depois do uso.
Governar é decidir responsabilidades, evidências e limites em cada etapa.
Exemplo: a revisão começa na definição do problema e continua no monitoramento pós-implantação.
Qual decisão precisa de registro nesta etapa?
A norma orienta princípios, escopo, finalidade, direitos e controles para uso de IA.
Exemplo: use a norma como referência de governança, sem transformar o simulador em parecer jurídico.
Qual princípio ou controle se aplica ao caso analisado?
A intensidade das salvaguardas deve acompanhar impacto, probabilidade e possibilidade de dano.
Exemplo: uma função informativa e uma decisão que afeta direitos não exigem os mesmos controles.
O impacto permite experimentar ou exige parar e avaliar?
Dado público não significa uso irrestrito: finalidade, necessidade, segurança e contexto continuam relevantes.
Exemplo: minimize dados e evite inserir documentos reais nos laboratórios de estudo.
Qual é a finalidade e qual proteção reduz a exposição?
Uma variável indireta pode reproduzir desigualdades mesmo quando um atributo sensível não aparece.
Exemplo: compare taxas de erro por grupos sintéticos e investigue diferenças de contexto.
Quem se beneficia, quem suporta o erro e como contestar?
Pessoas precisam saber o papel do sistema, contestar a saída e encontrar uma resposta responsável.
Exemplo: uma justificativa deve indicar limites, fonte e possibilidade de revisão.
A pessoa consegue entender o papel da ferramenta e contestar?
Ter uma pessoa no circuito não basta sem tempo, competência, fonte, autoridade e registro.
Exemplo: revisão sem acesso ao contexto ou sem poder discordar é apenas validação aparente.
A pessoa revisora consegue recusar, corrigir e registrar?
Menor privilégio, registro, resposta a incidentes e continuidade protegem o uso e as pessoas.
Exemplo: uma instrução maliciosa em documento não deve assumir o controle do fluxo.
Como detectar, conter, comunicar e aprender com o incidente?
Uma solução responsável precisa de retorno seguro, correção e encerramento quando necessário.
Exemplo: suspender uma versão problemática é uma salvaguarda, não um fracasso.
Qual condição aciona rollback ou descontinuidade?
Govern, Map, Measure e Manage ajudam a ligar riscos, evidências e decisões no projeto.
Exemplo: reúna Canvas, matriz de riscos, responsáveis, métricas e condições de parada em um dossiê.
Qual evidência sustenta a decisão de seguir, corrigir ou parar?
Como usar: percorra a trilha, observe o exemplo e use o laboratório abaixo para testar o conceito com dados sintéticos.
Próxima etapa
As simulações ficam em páginas próprias para você se concentrar em uma atividade por vez.
Seu progresso fica somente neste dispositivo.
No capítulo anterior, estruturamos um projeto de classificação assistida: problema, atores, alternativas, dados, linha de base, tarefa, sucesso, implantação e parada. O Canvas tornou a proposta examinável, mas não respondeu sozinho se a solução pode ser desenvolvida e utilizada de modo responsável. Essa resposta depende da finalidade, do contexto, das pessoas afetadas, da integração ao fluxo e das salvaguardas durante todo o ciclo de vida.
Considere uma interface que exibe a classe sugerida e um botão “confirmar”. Há uma pessoa no circuito. Contudo, ela recebe dezenas de sugestões por minuto, não vê o documento original, não foi capacitada, não consegue registrar discordância e é cobrada por velocidade. A supervisão existe no desenho, mas não na prática. O clique humano tornou-se um selo formal para uma saída que ninguém tem condições de avaliar.
Este capítulo começa por essa diferença entre presença e efetividade. Aplicaremos a Resolução CNJ nº 615/2025, a Lei Geral de Proteção de Dados Pessoais (LGPD) e o NIST AI Risk Management Framework (AI RMF) ao projeto. Discutiremos risco, viés, equidade, transparência, explicabilidade, contestabilidade, auditabilidade, privacidade, segurança e descontinuidade. Ao final, o Canvas será convertido em uma matriz de riscos, salvaguardas, responsáveis e evidências e apresentado por meio de um pitch crítico.
Delimitação normativa: as afirmações normativas deste capítulo consideram os textos oficiais consultados em 13 de agosto de 2026. A Resolução CNJ nº 615/2025 foi consultada em sua versão compilada, que incorpora a alteração do art. 15 pela Resolução CNJ nº 674/2026. Normas podem mudar, e cada tribunal pode possuir atos internos complementares. A versão oficial e as regras locais devem ser verificadas antes de qualquer uso funcional.
Ao final deste capítulo, você deverá ser capaz de:
💬 Pra começo de conversa!
Retome o classificador de cinco tipos documentais. Imagine três integrações:
- a saída aparece como sugestão e precisa ser confirmada antes do roteamento;
- a saída roteia o documento automaticamente, mas uma pessoa pode corrigir depois;
- a mesma tecnologia passa a estimar a autenticidade da prova e a recomendar como ela deve ser valorada.
O modelo pode ser idêntico nos três casos. Os riscos são? A classificação normativa é a mesma? Em que momento uma correção ainda evita o efeito? Registre suas hipóteses e retorne a elas após a Seção 6.3.
Governança é o conjunto de papéis, processos e controles que orienta decisões sobre uma solução. Não é um documento produzido depois do modelo. Começa na escolha do problema e segue por concepção, planejamento, dados, desenvolvimento, treinamento, teste, validação, contratação, implantação, uso, monitoramento, alteração, retreinamento e descontinuidade.
necessidade → desenho → dados → desenvolvimento → validação → implantação
↑ ↓
encerramento ← correção ← incidente ← monitoramento ← uso real
Cada fase muda a exposição ao risco. Um protótipo com dados sintéticos não tem o mesmo efeito de uma integração com processos reais. Um classificador supervisionado pode mudar de natureza se uma atualização automatizar o roteamento. Um fornecedor pode substituir a versão do modelo e alterar desempenho sem que o código da interface mude. Por isso, finalidade, versão, dados, integração e responsáveis precisam ser reavaliados.
Uma governança operacional responde:
O pacote documental do Capítulo 5 - enunciado do problema, ficha de dados, cartão do modelo, protocolo de testes e registro de dependências - funciona como memória do projeto. Datasheets tornam explícitas escolhas e limites dos dados (GEBRU et al., 2021); cartões de modelo registram usos pretendidos e desempenho em condições relevantes (MITCHELL et al., 2019); o mapa de dependências ajuda a controlar a dívida técnica descrita por Sculley et al. (2015). Nenhum documento substitui avaliação real: juntos, eles permitem perguntar o que mudou e quem decidiu.
Descrição acessível: Ciclo contínuo entre necessidade, desenho, dados, desenvolvimento, validação, implantação, uso, monitoramento e correção, com encerramento ou reinício. Documentação, participação, segurança e proteção de dados atravessam todas as fases.
A Resolução CNJ nº 615/2025 estabelece diretrizes para desenvolvimento, utilização e governança de soluções de IA no Poder Judiciário. Seu alcance inclui projetos já em desenvolvimento ou implantados, e seu art. 44 preserva a aplicação das demais normas do ordenamento. Não se trata, portanto, de regime isolado.
Entre os princípios e fundamentos relevantes estão direitos fundamentais, centralidade humana, igualdade, pluralidade, proteção de dados e segredo de justiça, segurança, transparência, explicabilidade, contestabilidade, auditabilidade, devido processo, prevenção, precaução, supervisão e capacitação.
A classificação não acompanha a marca do produto nem a família do modelo. Ela considera finalidade e contexto. O art. 9º orienta a avaliação por fatores como impacto potencial em direitos fundamentais, complexidade, sustentabilidade financeira, usos pretendidos e potenciais e quantidade de dados sensíveis. Integração e ação importam: sugerir uma classe para revisão é diferente de produzir movimentação automática relevante; extrair uma referência é diferente de valorar prova.
O procedimento começa por uma avaliação preliminar documentada. Pergunte:
O grau não deve ser congelado. O art. 11 prevê revisão ao menos anual das hipóteses de alto risco e monitoramento periódico das soluções de baixo risco. Mudança tecnológica, de finalidade ou de contexto pode exigir reclassificação.
⚠ Atenção!
“Uso interno” não significa automaticamente baixo risco. Uma ferramenta interna pode influenciar prova, fatos, liberdade, acesso a serviço ou decisão. Examine a função, o contexto e o efeito.
O enquadramento pode ser resumido assim, sem dispensar a leitura do texto vigente:
| Categoria | Tratamento | Exemplos no texto consultado |
|---|---|---|
| risco excessivo | desenvolvimento e uso vedados | ausência de revisão humana ou dependência absoluta; previsão de crime ou reiteração por traços, características ou comportamentos para fundamentar decisão; ranqueamento de pessoas para plausibilidade de direitos, mérito ou testemunho; reconhecimento de emoções por padrões biométricos |
| alto risco | admitido sob governança reforçada | perfis e padrões comportamentais fora das exceções; adequação e valoração de prova; averiguação ou interpretação de fatos como ilícitos penais, com ressalvas; juízo conclusivo sobre norma ou precedente aplicado a fatos concretos; certos usos biométricos de monitoramento |
| baixo risco | admitido sob condições e monitoramento | extração, classificação, agrupamento, transcrição e sumarização em tarefas de apoio; detecção de padrões e precedentes para apoio interno; relatórios jurimétricos; textos de apoio com versão final humana; tarefas preparatórias; estatística; transcrição revisada; anonimização |
Risco excessivo é uma vedação, não um nível a ser mitigado até se tornar aceitável. Se uma solução passar a se enquadrar nas vedações do art. 10 durante o uso, a norma determina descontinuidade e registro das razões e providências no Sinapses.
Alto risco exige, entre outros elementos aplicáveis, auditoria e monitoramento contínuo, dados adequados e representativos quando tecnicamente possível, registros, documentação, logs, explicabilidade adequada e avaliação de impacto algorítmico. O cadastro no Sinapses ocorre necessariamente antes do início do desenvolvimento, após os estudos preliminares.
Baixo risco não é ausência de risco. A solução continua sujeita a supervisão, segurança, transparência, cadastro, monitoramento e revisão periódica. O cadastro no Sinapses deve anteceder a entrada em produção. Uma mudança de integração pode retirar a solução de seu contexto inicial.
Retome as três integrações da abertura. A primeira se aproxima do item BR1 quando constitui tarefa acessória supervisionada. A segunda exige análise mais cuidadosa porque a movimentação automática pode ampliar impacto e reduzir reversibilidade. A terceira se aproxima de AR2 por envolver adequação ou valoração da prova - e, conforme o desenho, pode tocar outras categorias ou vedações. Isso é uma análise pedagógica preliminar, não parecer sobre projeto real.
O art. 7º da Resolução exige representatividade dos dados usados no desenvolvimento ou treinamento, além de cautelas com proteção de dados e segredo de justiça. O dispositivo prevê anonimização sempre que possível e a torna obrigatória para dados sigilosos ou protegidos por segredo de justiça, nos termos ali estabelecidos. Curadoria e monitoramento precisam continuar depois do treinamento.
Para grandes modelos de linguagem e outros sistemas generativos, os arts. 19 e 20 admitem uso auxiliar ou complementar sob condições. A solução não deve funcionar como instrumento autônomo de decisão judicial sem orientação, interpretação, verificação e revisão do magistrado. O texto estabelece restrições para dados sigilosos, treinamento, soluções privadas ou externas e finalidades de alto risco ou risco excessivo. Uso funcional requer leitura integral desses dispositivos e das políticas locais.
Transparência inclui existência, finalidade, versão, registro, técnicas, desempenho, riscos de erro e responsáveis. Os sistemas processuais que usem IA devem apresentar, em sua interface principal, relação dos modelos, versão, registro no Sinapses e atualização; produtos automatizados devem ser identificados nos logs. O Sinapses funciona como cadastro das soluções em desenvolvimento e uso, organizado por risco, com atualização ao longo do ciclo.
Eventos adversos também integram a governança. Conforme o art. 42 do texto consultado, os órgãos devem informar ao Comitê Nacional de Inteligência Artificial do Judiciário eventos com impacto negativo sobre operação, segurança dos dados ou prestação de serviços. A comunicação deve ocorrer em até 72 horas após a identificação, com descrição, causas e medidas de correção.
O prazo externo não substitui resposta imediata. O plano precisa definir detecção, triagem, contenção, preservação de evidências, comunicação interna, correção de pessoas afetadas, notificação às instâncias aplicáveis, retorno seguro e aprendizado posterior.
📚 Saiba mais!
Em junho de 2026, o CNJ aprovou a Manifestação Técnica CNIAJ nº 1/2026 sobre mitigação de riscos de injeção de comandos ocultos (prompt injection) em sistemas judiciais. O ato evidencia que segurança de IA exige atualização contínua; consulte a versão oficial e as orientações técnicas vigentes antes de projetar controles.
A LGPD não começa quando o modelo entra em produção. Seus princípios orientam escolhas desde a finalidade até a eliminação.
| Princípio do art. 6º | Pergunta para o projeto |
|---|---|
| finalidade | Qual propósito legítimo, específico, explícito e informado justifica o tratamento? |
| adequação | Dados, modelo e uso são compatíveis com o contexto informado? |
| necessidade | Qual é o mínimo de dados e operações para cumprir a finalidade? |
| livre acesso | Como o titular exercerá direitos e compreenderá duração e tratamento? |
| qualidade | Como inexatidões, desatualização e erros de vínculo serão corrigidos? |
| transparência | Que informações claras e acessíveis serão fornecidas? |
| segurança | Que medidas protegem confidencialidade, integridade e disponibilidade? |
| prevenção | Que danos previsíveis serão evitados antes do efeito? |
| não discriminação | Como detectar e tratar uso ilícito ou abusivo? |
| responsabilização e prestação de contas | Que evidências demonstram medidas eficazes e conformidade? |
Essas perguntas precisam ser aplicadas a coleta, seleção, rotulagem, treinamento, teste, inferência, logs, compartilhamento, retenção e descarte. Um campo útil para avaliação exploratória pode ser desnecessário na produção. Um log necessário à auditoria também deve ter finalidade, acesso e retenção definidos.
Dado público não é dado livre de governança. Publicidade não elimina finalidade, necessidade, qualidade, segurança, direitos, segredo, propriedade intelectual ou regras institucionais. Da mesma forma, “consentimento” não deve ser preenchido automaticamente como resposta genérica: a hipótese jurídica depende do tratamento concreto e deve ser validada pelas áreas competentes.
O art. 20 da LGPD assegura ao titular solicitar revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses. Também prevê informações claras e adequadas sobre critérios e procedimentos, observados segredos comercial e industrial, e possibilidade de auditoria pela autoridade na hipótese legal.
Não se deve aplicar o dispositivo como frase automática a todo uso de IA. É preciso verificar se há tratamento de dados pessoais, decisão tomada unicamente de forma automatizada e efeito sobre interesses. A existência de um clique humano não encerra a análise: se a pessoa apenas confirma sem condições reais, a caracterização e outras obrigações exigem exame jurídico contextual.
Dois instrumentos de impacto podem dialogar, mas não são sinônimos:
| Instrumento | Fonte | Objeto apresentado neste capítulo |
|---|---|---|
| relatório de impacto à proteção de dados pessoais | LGPD, especialmente definição do art. 5º, XVII, e art. 38 | operações de tratamento, riscos às liberdades e direitos, medidas e salvaguardas; a ANPD pode determinar sua elaboração nas condições legais |
| avaliação de impacto algorítmico | Resolução CNJ nº 615/2025, arts. 13 e 14 | processo contínuo aplicável às soluções de alto risco, com auditoria, monitoramento, revisão e ações corretivas |
Uma documentação pode compartilhar inventário de dados, atores, fluxos e salvaguardas, mas cada instrumento preserva fundamento, escopo, responsáveis e requisitos próprios. A equipe deve evitar duplicação vazia e, ao mesmo tempo, não tratar um relatório como substituto automático do outro.
Viés pode surgir na definição do problema, cobertura, medição, rótulos, representação, modelo, limiar, interface, decisão e retroalimentação. Um histórico registra práticas institucionais: reproduzi-lo pode estabilizar desigualdades ou erros anteriores. Uma classe aparentemente objetiva também pode resultar de divergência entre rotuladores.
Remover atributo sensível não elimina discriminação. Outros campos podem atuar como proxies, isto é, variáveis associadas direta ou indiretamente ao atributo ou à posição social. Além disso, sem informação adequada, pode ser impossível medir disparidades. Coletar ou usar tais dados, contudo, exige finalidade, necessidade, proteção e análise jurídica.
Métricas por grupo respondem a perguntas diferentes:
| Critério ilustrativo | Pergunta |
|---|---|
| paridade de seleção | A proporção de resultados positivos é semelhante? |
| igualdade de sensibilidade | Casos positivos de referência são identificados em proporções semelhantes? |
| igualdade de falso positivo | Casos negativos sofrem marcação indevida em proporções semelhantes? |
| calibração por grupo | Entre escores semelhantes, frequências observadas são semelhantes? |
Esses critérios podem conflitar, especialmente quando prevalências diferem. Barocas, Hardt e Narayanan (2023) mostram que noções estatísticas formalizam intuições diferentes e possuem limites. A escolha não é puramente matemática: depende do direito aplicável, da finalidade, da qualidade do rótulo, do custo dos erros e das consequências da intervenção.
Média global pode esconder concentração de falhas; paridade numérica pode ocultar barreiras anteriores; igualdade em um indicador pode piorar outro. A análise responsável combina distribuição de dados e erros, participação de atores, revisão de casos, conhecimento do processo e justificação normativa.
💡 Para refletir!
Se duas unidades têm taxas de erro diferentes, isso decorre do modelo, da qualidade do OCR, dos formatos, dos rótulos, do fluxo ou de uma combinação? Que intervenção deve ser testada antes de alterar o limiar?
Os quatro conceitos são relacionados, mas não intercambiáveis:
Explicação pode ser global, sobre comportamento geral; local, sobre fatores associados a uma saída; procedimental, sobre desenvolvimento e validação; ou orientada ao usuário, sobre como interpretar e agir. Uma explicação plausível não garante fidelidade causal. Um destaque de palavras pode ser útil para revisão, mas não prova que o modelo “decidiu por aquelas razões”.
Transparência também não significa publicar indiscriminadamente dados sigilosos, vulnerabilidades ou propriedade intelectual. É preciso compatibilizar acesso e proteção sem permitir que segredo comercial elimine o mínimo necessário à supervisão, contestação e prestação de contas.
Contestação efetiva exige canal conhecido, prazo, pessoa ou unidade competente, acesso às informações pertinentes, suspensão ou correção quando cabível e registro do desfecho. Auditoria exige preservar versão do modelo, configuração, entrada autorizada, saída, ação humana, alterações e incidentes. Sem proveniência, explicar depois se torna reconstrução especulativa.
Supervisão efetiva não é uma caixa marcada. A pessoa precisa de:
O viés de automação é a tendência de aceitar ou privilegiar uma saída por ter sido produzida por sistema automatizado. Ele pode aumentar quando a interface apresenta o resultado como certeza, quando a sugestão vem pré-selecionada, quando discordar exige mais cliques ou quando metas punem a revisão cuidadosa.
Controles incluem mostrar fonte e limitações, exigir ação consciente em casos relevantes, facilitar correção, inserir abstenção, testar a interface com usuários, monitorar concordância quase total e avaliar carga de trabalho. Uma taxa de aceitação de 99% pode significar excelente modelo, mas também revisão ritual; precisa ser investigada.
📝 Tome nota!
A responsabilidade permanece humana e institucional, mas isso só produz proteção quando a organização fornece condições reais para exercê-la.
Descrição acessível: Pessoa revisora no centro, ligada a nove condições: tempo, competência, fonte, contexto, interface, autoridade, registro, correção e monitoramento.
Privacidade desde a concepção integra proteção ao desenho; privacidade por padrão mantém configuração protetiva sem exigir ação adicional da pessoa. Na prática:
Anonimização não é simplesmente remover nome e CPF. Combinações de datas, unidade, assunto, eventos raros e texto livre podem reidentificar. A LGPD define dado anonimizado considerando meios técnicos razoáveis e disponíveis na ocasião do tratamento; o risco é contextual e pode mudar quando novas bases ou técnicas aparecem.
Também há tensão entre minimização e auditoria. Preservar evidência não autoriza registrar tudo indefinidamente. A equipe deve determinar quais logs são necessários, quem acessa, por quanto tempo e como se protegem. Dados sintéticos ou agregados podem reduzir exposição em ensino, desenvolvimento inicial e demonstração, desde que sua utilidade e limitações sejam declaradas.
Segurança de IA inclui os controles de software e infraestrutura e riscos próprios do uso de dados e modelos. A superfície pode abranger:
Menor privilégio significa conceder somente acessos e ações necessários, pelo tempo necessário. Um componente de busca não precisa alterar processo; um gerador não deve executar comando; um fornecedor não deve reter entrada para finalidade não autorizada. Redes, credenciais, dados e ambientes devem ser segregados conforme risco.
Conteúdo recuperado deve ser tratado como dado potencialmente não confiável, não como instrução autorizada. Controles possíveis incluem separar instruções confiáveis do conteúdo, restringir ferramentas e permissões, validar formatos, testar ataques, exigir confirmação para ações, registrar chamadas e manter retorno manual. A Manifestação Técnica CNIAJ nº 1/2026 reforça a atualidade institucional desse risco.
O plano de incidente responde antes da crise:
| Etapa | Pergunta |
|---|---|
| detectar | Que alertas, reclamações e indicadores revelam o evento? |
| conter | Que acesso, integração ou versão pode ser suspensa? |
| preservar | Quais logs e evidências devem ser protegidos? |
| comunicar | Quem decide e quais prazos e destinatários se aplicam? |
| corrigir | Como restaurar serviço e reparar casos afetados? |
| aprender | Que causa, controle e documentação serão atualizados? |
Fornecedor deve participar com obrigações, prazos, evidências e acesso compatíveis, mas o tribunal não terceiriza a decisão de risco nem a prestação de contas.
Reversibilidade é a capacidade de impedir, corrigir ou compensar um efeito. Ela depende do momento: corrigir uma classe antes do roteamento difere de descobrir o erro após perda de prazo, exposição de dado ou decisão influenciada.
Pergunte:
Rollback retorna a versão ou fluxo anterior. Descontinuidade encerra uso de modo planejado, preservando evidências, continuidade do serviço, tratamento de dados, comunicação e correção. Um rollback pode resolver atualização defeituosa; não basta quando a própria finalidade é vedada ou o projeto deixou de produzir valor.
Critérios de descontinuidade incluem enquadramento em risco excessivo, incompatibilidade insanável com direitos, viés discriminatório não eliminável, segurança inadequada, perda de base jurídica, desempenho persistentemente inferior à linha de base, mudança de finalidade não autorizada, fornecedor sem condições de auditoria ou custo total desproporcional.
⚠ Atenção!
Desligar o modelo sem planejar continuidade pode criar novo risco. Descontinuidade responsável inclui retorno do serviço, comunicação e cuidado com pessoas já afetadas.
O NIST AI RMF 1.0, publicado em 2023, é voluntário, não setorial e orientado à gestão de riscos. Ele não substitui a Constituição, a LGPD, a Resolução CNJ nº 615/2025 ou atos locais. Pode complementar o projeto ao organizar quatro funções:
| Função | Aplicação ao Canvas |
|---|---|
| Govern | definir papéis, políticas, cultura, prestação de contas e tolerância a risco |
| Map | descrever contexto, atores, finalidade, usos, impactos e limites |
| Measure | avaliar desempenho, segurança, privacidade, equidade, explicabilidade e incerteza |
| Manage | priorizar riscos, implementar controles, responder, monitorar e decidir continuidade |
Govern é transversal; as funções não formam checklist linear. O ciclo volta a Map quando contexto muda, a Measure quando surge nova evidência e a Manage quando controles falham. Em agosto de 2026, o NIST informa que o AI RMF 1.0 está em revisão. Por isso, a edição e os perfis aplicáveis devem ser confirmados no momento do uso.
Descrição acessível: As funções Map, Measure e Manage formam um ciclo cercado por Govern. O diagrama conecta o ciclo ao Canvas do projeto e à matriz de riscos e ressalta que o framework não substitui normas brasileiras.
Em 2016, a Suprema Corte de Wisconsin examinou o uso do COMPAS, instrumento proprietário de avaliação de risco, no contexto da sentença de Eric Loomis. O relatório comparava informações individuais com dados de grupos e apresentava escores de risco. Loomis questionou, entre outros pontos, a impossibilidade de avaliar o método proprietário, a individualização e o uso de gênero.
A corte concluiu que, naquele ordenamento e contexto, a consideração do instrumento não violaria o devido processo se observadas limitações e cautelas. O escore não poderia determinar encarceramento, severidade da pena nem ser fator determinante para supervisão comunitária. A decisão ressaltou dados de grupo, dúvidas sobre diferenças entre grupos, ausência então de validação cruzada específica para Wisconsin e necessidade de monitoramento e atualização.
O caso não autoriza transposição para o Brasil. Ele é útil para formular perguntas:
No Poder Judiciário brasileiro, o art. 10, II, da Resolução CNJ nº 615/2025 veda soluções que valorem traços, características ou comportamentos de pessoas para prever cometimento de crime ou probabilidade de reiteração delitiva na fundamentação de decisões judiciais. Assim, o contraste pedagógico central é que uma cautela aceita em decisão estrangeira não supera vedação normativa brasileira.
Validade é contextual; opacidade pode comprometer contestação; e aviso de limitação não impede uso indevido se o fluxo atribui peso material ao escore. A análise começa pela finalidade permitida no ordenamento aplicável.
O Canvas do Capítulo 5 descreveu a hipótese. Agora acrescente uma camada de governança:
| Bloco do Canvas | Pergunta de governança | Evidência esperada |
|---|---|---|
| problema e atores | quem pode ser prejudicado e participar? | mapa de atores e registro de participação |
| alternativas e linha de base | há opção menos arriscada e ganho demonstrável? | comparação documentada |
| tarefa e dados | finalidade, hipótese jurídica, sigilo e usos proibidos estão claros? | inventário, ficha de dados e validações |
| saída e supervisão | revisão ocorre antes do efeito e pode discordar? | teste de interface, manual e logs |
| sucesso e erro | há métricas por classe, grupo, fluxo e direitos? | protocolo e relatório de avaliação |
| implantação | quais portões, incidentes e rollback? | plano de piloto e resposta |
| continuidade | quando atualizar, suspender ou descontinuar? | painel, responsáveis e critérios |
A decisão final do projeto pode ser: prosseguir para estudos preliminares; reformular; adotar alternativa sem ML; ou não desenvolver. Maturidade não é aprovar toda proposta, mas sustentar a decisão com evidências e limites.
Classificar preliminarmente o cenário do Canvas e transformar riscos em controles verificáveis, responsáveis, monitoramento e condições de descontinuidade.
Use seu Canvas ou o caso sintético de classificação de cinco tipos documentais. Não use dados pessoais ou processos reais.
| Risco e causa | Pessoa/serviço afetado | Consequência e reversibilidade | Salvaguarda | Responsável | Evidência | Indicador/frequência | Resposta e parada |
|---|---|---|---|---|---|---|---|
| Risco e causa | Salvaguarda | Responsável | Evidência | Monitoramento e parada |
|---|---|---|---|---|
| falso negativo em classe crítica por OCR ruim | validar campo e qualidade; abstenção; revisão antes do roteamento | produto, operação e equipe técnica | protocolo por condição e log de correções | sensibilidade por classe e origem; suspender automação se inferior ao limite definido contra a linha de base |
| aceitação automática por interface e meta de velocidade | fonte visível, correção simples, capacitação e teste de carga | produto, acessibilidade e gestão | teste com usuários e relatório de carga | aceitação/correção por unidade; investigar padrão quase invariável |
| acesso indevido a texto, embeddings ou logs | minimização, segregação, menor privilégio e retenção | segurança e proteção de dados | matriz de acesso e teste técnico | alertas e revisão periódica; conter acesso e acionar plano de incidente |
| mudança de versão do fornecedor sem validação | congelamento de versão, aviso contratual e teste prévio | contratação, produto e técnica | registro de versão e aceite | bloquear atualização não avaliada; rollback se houver degradação |
Matriz preenchida, classificação preliminar fundamentada, risco residual declarado e decisão explícita. “Há revisão humana” ou “dados anonimizados” sem responsável e evidência não conta como salvaguarda completa.
Uma matriz forte liga cada risco a consequência concreta, controle testável, responsável com autoridade, evidência e gatilho de ação. Se a salvaguarda não pode ser verificada, ela é intenção. Se o risco residual continua incompatível com direitos ou com a norma, a resposta é não implantar ou descontinuar.
Prepare uma apresentação de até dois minutos:
Depois, reserve até dois minutos para perguntas. Em autoestudo, grave o áudio ou redija síntese de até 300 palavras e faça a autoavaliação pela rubrica.
| Critério | Pontos |
|---|---|
| Problema e valor público | 15 |
| Usuários e pessoas afetadas | 10 |
| Tarefa e linha de base | 10 |
| Dados e proteção | 15 |
| Métricas e erros | 15 |
| Risco e governança | 15 |
| Supervisão e contestação | 10 |
| Monitoramento e descontinuidade | 5 |
| Clareza e viabilidade | 5 |
| Total | 100 |
Use a pontuação para localizar lacunas, não para mascará-las. Uma proposta vedada ou sem base jurídica não se torna aceitável por somar pontos em clareza e desempenho.
Um classificador de apoio, inicialmente confirmado por servidor, passa a rotear automaticamente documentos e a priorizar filas. Por que sua classificação e seus controles precisam ser revistos?
Qual diferença prática existe entre uma finalidade de risco excessivo e uma de alto risco na Resolução consultada?
Uma decisão foi publicada sem segredo de justiça. Isso basta para autorizar seu uso no treinamento de qualquer modelo? Justifique com princípios da LGPD.
Remover raça, gênero ou outro atributo sensível da base elimina automaticamente discriminação? Por que duas métricas de equidade podem apontar direções diferentes?
Uma servidora confirma 99% das sugestões, mas não vê a fonte e é avaliada por velocidade. Há supervisão efetiva? Indique três correções.
Um fornecedor apresenta explicação local colorida para cada resultado, mas não informa versão, dados de avaliação, limitações nem logs. Quais dimensões de governança continuam ausentes?
Uma atualização começa a enviar documentos à fila incorreta. Quais são as primeiras ações e qual prazo de comunicação ao Comitê consta do art. 42 do texto consultado?
Como as funções Govern, Map, Measure e Manage ajudam a decidir descontinuidade, e por que o AI RMF não basta sozinho no Judiciário brasileiro?
A integração alterou ação, reversibilidade e impacto. Correção posterior pode não evitar prioridade ou atraso, e o uso potencial tornou-se mais amplo. A avaliação de risco deve acompanhar finalidade e contexto, com novos testes, logs, supervisão, parada e eventual reclassificação. Revise as Seções 6.1 a 6.3.
Risco excessivo corresponde a finalidade vedada: não se trata de prosseguir após acrescentar controles. Alto risco pode ser admitido sob regime reforçado, incluindo avaliação de impacto algorítmico, auditoria, monitoramento, documentação e demais requisitos aplicáveis. Revise a Seção 6.3.
Não. Publicidade não elimina finalidade, adequação, necessidade, qualidade, transparência, segurança, prevenção, não discriminação e responsabilização. Também devem ser avaliadas hipótese jurídica, direitos, propriedade intelectual, regras institucionais e o novo contexto. Revise a Seção 6.5.
Outras variáveis podem funcionar como proxies, e o viés pode estar no problema, rótulo, cobertura, limiar ou fluxo. Critérios estatísticos igualam quantidades diferentes - seleção, erros ou calibração - e podem conflitar quando distribuições e prevalências diferem. A escolha exige contexto jurídico e consequência dos erros. Revise a Seção 6.7.
Não há condições suficientes. A servidora precisa acessar fonte e contexto, ter tempo e competência, autoridade e interface para discordar e registrar correção. A gestão deve rever incentivos e monitorar concordância e carga. Revise a Seção 6.9.
Faltam transparência sistêmica, documentação, rastreabilidade, auditabilidade e condições de contestação. A explicação local não informa uso pretendido, desempenho, versão, limitações nem permite reconstruir a operação. Revise a Seção 6.8.
Conter a integração ou versão, preservar logs, acionar responsáveis, avaliar e corrigir casos afetados, restaurar fluxo seguro e cumprir comunicações aplicáveis. A Resolução consultada prevê comunicação ao Comitê em até 72 horas após a identificação, com descrição, causas e medidas. Revise as Seções 6.4 e 6.11.
Govern define papéis; Map revê contexto e impactos; Measure produz evidências; Manage prioriza resposta, suspensão e encerramento. O AI RMF é voluntário e não setorial; não substitui LGPD, Resolução CNJ nº 615/2025, Constituição ou atos locais. Revise as Seções 6.12 e 6.13.
Chegamos ao fim do percurso partindo de uma situação simples: organizar documentos. Aprendemos que aprendizado de máquina não é sinônimo de toda inteligência artificial e que o modelo é apenas parte de uma solução sociotécnica. Dados são registros de processos institucionais; métricas recebem sentido pelas consequências dos erros; imagens e OCR propagam falhas; textos fluentes e citações não garantem fidelidade.
Nos dois últimos capítulos, colocamos a tecnologia em seu lugar. O projeto começou pelo problema, pelas pessoas afetadas e pela alternativa sem ML. Depois, sua finalidade e integração foram confrontadas com risco, direitos, proteção de dados, segurança, equidade, transparência, supervisão e contestação.
Governança não elimina incerteza. Ela torna decisões justificáveis, revisáveis e corrigíveis. Baixo risco continua exigindo cuidado; humano no circuito só protege quando pode compreender e discordar; anonimização depende do contexto; explicação não substitui auditoria; e monitoramento precisa conduzir a ação. Rollback e descontinuidade são capacidades de segurança, não sinais de fracasso.
O produto final deste capítulo é mais que um pitch: é uma decisão sustentada por Canvas, matriz de riscos, responsáveis e evidências. A proposta pode prosseguir, ser reformulada, adotar alternativa simples ou ser encerrada. Em todos os casos, a aprendizagem central permanece: no Judiciário, potencial técnico deve conviver com direitos fundamentais, devido processo, igualdade, segurança, transparência e responsabilidade institucional.
Os termos alto risco, auditabilidade, avaliação de impacto algorítmico, baixo risco, contestabilidade, descontinuidade, evento adverso, explicabilidade, governança, menor privilégio, privacidade desde a concepção, proxy, relatório de impacto à proteção de dados pessoais, risco excessivo e supervisão humana efetiva foram selecionados para o glossário cumulativo.
BAROCAS, Solon; HARDT, Moritz; NARAYANAN, Arvind. Fairness and machine learning: limitations and opportunities. Cambridge, MA: MIT Press, 2023. Disponível em: versão aberta dos autores. Acesso em: 13 ago. 2026.
BRASIL. Lei nº 13.709, de 14 de agosto de 2018. Lei Geral de Proteção de Dados Pessoais (LGPD). Brasília, DF: Presidência da República, 2018. Disponível em: texto compilado da LGPD. Acesso em: 13 ago. 2026.
CONSELHO NACIONAL DE JUSTIÇA (CNJ). Ata e Certidões de Julgamento nº 9, de 9 de junho de 2026. Aprova manifestação técnica sobre mitigação de riscos de injeção de comandos ocultos (prompt injection) em sistemas judiciais. DJe/CNJ, n. 145/2026, p. 2–9, 24 jun. 2026a. Disponível em: Atos CNJ. Acesso em: 13 ago. 2026.
CONSELHO NACIONAL DE JUSTIÇA (CNJ). Resolução nº 615, de 11 de março de 2025. Estabelece diretrizes para o desenvolvimento, utilização e governança de soluções desenvolvidas com recursos de inteligência artificial no Poder Judiciário. Brasília, DF: CNJ, 2025. Disponível em: texto compilado nos Atos CNJ. Acesso em: 13 ago. 2026.
CONSELHO NACIONAL DE JUSTIÇA (CNJ). Resolução nº 674, de 25 de março de 2026. Altera o art. 15 da Resolução CNJ nº 615/2025. Brasília, DF: CNJ, 2026c. Disponível em: Atos CNJ. Acesso em: 13 ago. 2026.
GEBRU, Timnit et al. Datasheets for datasets. Communications of the ACM, v. 64, n. 12, p. 86–92, 2021. DOI: 10.1145/3458723.
MITCHELL, Margaret et al. Model cards for model reporting. In: Proceedings of the Conference on Fairness, Accountability, and Transparency. New York: ACM, 2019. p. 220–229. DOI: 10.1145/3287560.3287596.
NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY (NIST). Artificial Intelligence Risk Management Framework (AI RMF 1.0). Gaithersburg, MD: NIST, 2023. NIST AI 100-1. DOI: 10.6028/NIST.AI.100-1.
SCULLEY, D. et al. Hidden technical debt in machine learning systems. In: Advances in Neural Information Processing Systems, v. 28, 2015. p. 2503–2511. Disponível em: Google Research. Acesso em: 13 ago. 2026.
WISCONSIN SUPREME COURT. State v. Loomis, 2016 WI 68, case n. 2015AP157-CR. Madison, 13 jul. 2016. Disponível em: decisão oficial. Acesso em: 13 ago. 2026.
Descrição acessível: o texto é apresentado em HTML semântico, com títulos, tabelas e alternativas textuais. Os laboratórios interativos são complementos e não substituem a leitura.