A IA que implantamos gerou problema grave

Contenção: parar antes de explicar

IA com erro conhecido continuando a operar amplia o estrago em escala. Diferente de software determinístico (onde "errar uma vez não significa errar todas"), modelo probabilístico errante tende a errar de novo em padrão similar. A contenção precisa ser imediata: desligar o sistema, fazer fallback para versão anterior ou para humano no loop, restringir escopo para casos comprovadamente seguros. Comunicação interna a quem opera o sistema para parar de usar.

Auditoria do incidente

Diferente de bug em código tradicional, IA exige investigação em camadas próprias.

O que aconteceu exatamente

Caso a caso na janela em que o sistema operou: qual o input, qual o output, qual o dano, em quantos casos similar. Mapeamento honesto do escopo é base de tudo que vem depois.

Por que o modelo errou

Pode ser problema nos dados de treino (viés histórico, amostra não representativa), no prompt ou contexto fornecido em runtime, em mudança de distribuição (drift — o mundo mudou e o modelo não acompanhou), em integração quebrada que passou input mal-formado, em ausência de guardrail (limite, validação, filtro) para casos sensíveis.

Por que o erro não foi detectado antes

Faltou monitoramento de qualidade do output? Faltou validação humana em decisão sensível? Faltou caso de teste cobrindo cenário similar? Modelo foi colocado em produção sem critério de release definido?

Comunicação aos afetados

Comunicação sobre erro de IA tem armadilha específica: a tentação de explicar com termos técnicos ("o modelo teve drift", "houve hallucination") afasta o afetado real. Linguagem clara, sem tecnicismo, com reconhecimento honesto do erro e da reparação oferecida funciona muito melhor. Para clientes diretamente prejudicados, contato pessoal (não em massa) preserva relação. Para comunicação em massa quando aplicável, mensagem revisada por jurídico e comunicação, com canal de dúvida ativo.

Revisão da governança de IA

Erro grave em IA expõe que a governança era insuficiente para o uso pretendido. Revisão pós-incidente cobre as frentes que costumam fazer diferença.

Guardrails

Limites técnicos no modelo ou ao redor dele: filtro de conteúdo (vetar resposta sobre temas sensíveis), validação de output (formato esperado, valor dentro de faixa), restrição de input (escopo permitido).

Humano no loop em decisão sensível

Decisões com efeito material sobre pessoa não deveriam ser totalmente automatizadas sem validação humana. Definir quais casos exigem revisão humana é parte da política.

Monitoramento contínuo

Acompanhamento dos outputs em produção — distribuição de respostas, taxa de erro reportado, drift do modelo, casos extremos. Monitoramento ativo detecta degradação antes de virar crise.

Política de uso e treinamento

Política clara de quais usos são permitidos, vetados e exigem aprovação. Treinamento de quem opera para reconhecer limitações da IA, validar outputs sensíveis, escalar quando suspeitar.

Critérios de release e descontinuação

Modelo só vai para produção se passar critérios definidos (acurácia, viés, robustez). Modelo em produção é monitorado e pode ser desligado se sair dos critérios. Sem isso, IA fica em produção indefinidamente mesmo degradando.