Dados como combustível de IA: qualidade, volume e governança

Por que dados de baixa qualidade amplificam erros em IA

BI e IA relacionam-se diferente com dados ruins. Um relatório BI com 5% de valores faltantes é frustrante mas interpretável — analista aplica contexto e avança. Um modelo de IA treinado com 5% de faltantes aprende a compensar o padrão de ausências, e depois reproduz esse comportamento sistematicamente em produção.

IA amplifica erros em quatro formas^[2]: (1) viés — se dados históricos sub-representam um grupo, modelo aprende a discriminar esse grupo; (2) alucinação — modelo preenche gaps nos dados com padrão aprendido, frequentemente errado; (3) propagação — erro em um campo afeta cálculos derivados em cascata; (4) não-detecção — BI com faltantes dispara alerta ao analista, IA continua fazendo previsões confiantes sem saber que são ruins.

Por isso, qualidade em IA é não-negociável. Dados ruins não são apenas pior entrada, são entrada que gera saída confiante mas errada.

As cinco dimensões de qualidade críticas para IA

Qualidade não é uma dimensão única — é um diagnóstico em cinco eixos que afetam IA diferentemente.

Completude (Completeness): Qual percentual de valores esperados está presente? Faltantes são aceitáveis em BI (analyst nota), mas em IA criam viés. Modelo treinado com clientes que têm idade documentada aprende padrão diferente de clientes que não têm. Depois, ao prever, constrói comportamento baseado em idade, mesmo que 30% dos clientes não tenham. Limite aceitável para IA: 99%+ de completude em campos críticos. Campos secundários: até 95%, mas precisam ser marcados como opcionais no modelo.

Acurácia (Accuracy): Os valores estão corretos? Uma venda registrada com valor 10x maior que deveria é um erro de entrada que BI não detecta automaticamente. IA treina nesse erro e depois prediz valores anormais para clientes similares. Acurácia é difícil de medir sem gold standard (dados confirmados manualmente). Abordagem: amostragem aleatória (revisar 100-200 registros aleatórios), ou comparação com fonte externa. Limite: 98%+ de acurácia em campos críticos.

Consistência (Consistency): Mesmo conceito é representado da mesma forma? Exemplo: cliente "João Silva" vs "JOAO SILVA" vs "JOAO S." vs "Silva, João" — BI reconhece como pessoas diferentes, IA treina em múltiplos perfis para mesma pessoa. Recomendação de produto falha porque padrão de compra é dilído. Consistência inclui: normalização de strings, categorias padronizadas, codificação clara. Limite: 99%+ consistência em fields de dimensão.

Timeliness (Freshness): Dados são atualizados com frequência conhecida? Se dados de venda foram atualizados pela última vez há 3 meses, modelo treinado neles faz previsão sobre padrão antigo. Timeliness não significa "real-time" — significa "frequência conhecida e mantida". Exemplo: dados de clientes atualizados diariamente, dados de produtos semanalmente. SLA claro importa mais que velocidade absoluta. Limite: atualizar em frequência declarada, 99%+ do tempo.

Validade (Validity): Valores estão dentro do intervalo esperado? Idade de cliente: deve estar entre 18 e 100. Preço de produto: deve ser positivo. Um registro com idade -5 ou preço -1000 é erro de entrada que BI deixa passar (está na coluna certa), mas IA usa na multiplicação de padrões. Validação é regra: cada campo tem intervalo ou set de valores válidos; valores fora geram erro ou flag. Limite: 100% validação — zero registros fora do intervalo.

Medição de qualidade: métricas e SLAs para IA

Qualidade precisa ser medida continuamente, não apenas antes do modelo. Três abordagens de medição:

Métricas de dataset: Calcule para cada dataset crítico: (1) % completude por campo (registros não-nulos / registros totais), (2) % acurácia por campo (registros "corretos" / totais, requer amostragem), (3) % consistência (registros com valor único por conceito / totais), (4) lag de atualização (data última atualização vs agora), (5) % registros fora do intervalo válido. Exemplo: dataset "Cliente", campo "Email": 99.2% complete, 97.8% accurate (amostra de 100 emails válidos), 100% consistent (nenhum cliente tem email duplicado), lag 4h, 0% inválidos.

SLAs de qualidade: Defina expectativa por criticidade. Exemplo: "Dados de receita (crítico): 99.5% completude, 99% acurácia, 100% valididade, atualizado diariamente." "Dados demográficos (suportante): 98% completude, 97% acurácia, 99% consistência, atualizado semanalmente." Quando SLA é violado, alerta é disparado.

Monitoramento contínuo: Depois que modelo está em produção, qualidade dos dados de entrada continua importante. Se qualidade degrada (ex: campo Customer Age passa de 99% completude para 85% completude), model performance degrada também — resultado é alucinação. Dashboard de qualidade deve mostrar: última verificação, status vs SLA, histórico de 30 dias, alertas abertos.

Melhoramento de qualidade: profiling, limpeza e deduplicação

Aumentar qualidade de 80% para 99% requer processo estruturado:

Etapa 1 — Profiling (descoberta): Rodde ferramenta automática que scaneia todo dataset e identifica problemas: campos com 30% de faltantes, valores outliers (ex: age > 150), inconsistência (duplicatas de mesmo cliente). Resultado: relatório que mostra para cada campo: distribuição de valores, % missing, anomalias detectadas, valores únicos. Profiling não corrige, apenas identifica.

Etapa 2 — Decisão de ação: Para cada problema encontrado, decida: (a) corrigir (dados está errado, consertar), (b) deletar (registro inteiro está corrompido), (c) aceitar (é faltante legítimo — opcional). Exemplo: campo "Email secundário" com 40% faltantes é aceitável (clientes não fornecem). Campo "CPF" com 2% faltantes deve ser corrigido (requerido por lei).

Etapa 3 — Limpeza (correção): Implementar processo automático ou manual dependendo de escala. Exemplos: (a) normalização: padronizar strings (UPPER, trim, accent removal), datas (DD/MM/YYYY), números (1000.5 vs 1,000.50); (b) deduplicação: identificar e mesclar registros duplicados (mesmo CPF, nome com variação); (c) validação: rejeitar registros fora do intervalo (idade > 150), alertar para revisão manual; (d) enrichment: preencher faltantes a partir de source secundária (ex: endereço de cliente a partir de base de CEP).

Etapa 4 — Monitoramento (manutenção): Após limpeza, dados permanecem como limpos? Dados novos que chegam diariamente, passam pela mesma qualidade? Rodar profiling recorrentemente (semanal para crítico, mensal para resto) para detectar degradação.

Governance de dados para IA: linhagem, versioning e compliance

Qualidade é necessária, mas governance assegura que qualidade é mantida e documentada. Três pilares:

Data lineage (linhagem de dados): Rastreie origem de cada dado. Exemplo: tabela "Customer_Churn" vem de quê? Vem de "Customer" + "Order" + "Support_Ticket", processada em script "churn_model_v2". Se modelo falha, qual fonte causou? Documentação clara de lineage permite rastrear impacto de mudanças. Ferramenta: data catalog (ex: Apache Atlas, Collibra) que mapeia tabelas e transformações automaticamente.

Data versioning: Quando dados mudam (ex: redefinição de campo, renomeação de categoria), versão anterior não deve desaparecer. Modelos de IA foram treinados na versão 1; quando dados mudam para versão 2, versão 1 ainda existe. Isso evita quebra de modelo. Ferramenta: versionamento no warehouse (ex: Snowflake zero-copy clones, Delta Lake) ou data lakehouse (ex: dbt, iceberg).

Compliance e consentimento: Se dados incluem PII (informação pessoal identificável), governance deve rastrear consentimento. LGPD no Brasil, GDPR na EU exigem que dados só sejam usados se há consentimento. Exemplo: campo "email" só deve ser usado em modelo se cliente consentiu em receber comunicação. Data catalog deve marcar que campos requerem consentimento, modelos devem respeitar isso (não usar email não-consentido em modelo de targeting).

Impacto de qualidade degradada em modelos em produção

Muitas empresas pensam que qualidade é pré-requisito de treinamento. Errado — qualidade é pré-requisito permanente. Mesmo após modelo treinar e ir para produção, qualidade dos dados de entrada continua criticamente importante.

Cenário: O que acontece quando qualidade degrada? Você treinou modelo de churn em dados de cliente com 99% completude. Modelo vai para produção, faz previsão semanal. Semana 3, pipeline de dados quebra (fonte estava em manutenção), completude cai para 70%. Modelo continua rodando, mas dados de entrada agora têm 30% de faltantes. Modelo não sabe — continua fazendo previsão com confiança. Resultado: predições começam a falhar sistematicamente, mas ninguém percebe (não há alerta).

Por isso, monitoramento de qualidade é essencial mesmo em produção. Defina SLA de entrada para modelos: "Dados de entrada de churn_model devem ter 99% completude no campo customer_age. Se cair abaixo de 98%, parar previsão e alertar time."

Retraining com dados degradados: Periódico, modelo precisa ser retreinado com dados novos. Se dados novos têm qualidade menor que dados originais, modelo retreinado será pior que versão anterior. Detecte degradação antes de retraining: execute validação de qualidade em dados novos vs dados originais. Se qualidade caiu, invista em correção antes de retraining.

Checklist de qualidade de dados para projetos de IA (20 itens)

Antes de começar um projeto de IA, verifique:

Completude e cobertura: Qual é o % de registros com valor para cada campo? Para campos críticos, > 99%? Faltantes estão distribuídos aleatoriamente ou concentrados em subgrupo? Existe bias (ex: clientes de uma região têm mais dados que outra)? Dados cobrem período suficiente (12+ meses para IA preditiva)?

Acurácia e validação: Há validação de tipo de dado (string, número, data)? Valores estão dentro de intervalo válido (idade 18-100, preço >= 0)? Amostra aleatória de 100+ registros foi revisada manualmente — quantos % estão corretos? Há fonte de verdade para comparação (ex: dados de venda vs nota fiscal)?

Consistência e deduplicação: Mesmo conceito é representado de forma única (ex: 1 pessoa = 1 ID único)? Existe deduplicação (dados não tem duplicatas)? Strings estão normalizadas (maiúscula, acento)? Categorias estão padronizadas (sim/não vs true/false vs S/N)?

Timeliness e freshness: Qual é a frequência de atualização? É mantida (99%+ de atualização na frequência declarada)? Lag de dados é aceitável (ex: receita tem lag de 1 dia, é ok para previsão de fluxo)?

Documentação e governance: Existe dicionário de dados documentado (definição, tipo, formato, intervalo válido)? Linhagem de dados é conhecida (origem, transformações)? SLA de qualidade é definido por dataset? Existe responsável (data steward) nomeado?