Medindo incrementalidade de campanhas

Por que incrementalidade é a pergunta certa

Imagine uma campanha de busca paga sobre o próprio nome da marca. O relatório da plataforma mostra retorno sobre investimento em mídia (ROAS) de oito para um — para cada real investido, oito de receita atribuída. Excelente, certo? Talvez. Boa parte dessas vendas teria acontecido de qualquer forma: o cliente já tinha decidido comprar, digitou o nome da marca, clicou no primeiro resultado (que é pago) em vez do segundo (que é orgânico). A campanha está canibalizando tráfego orgânico — ela aparece no relatório, mas não está gerando vendas adicionais.

Atribuição responde "qual canal merece o crédito pelo que aconteceu". Incrementalidade responde "qual canal trouxe vendas que não viriam de qualquer jeito". São perguntas diferentes, e só a segunda permite decidir corretamente se vale aumentar, manter ou cortar investimento. Quando o diretor financeiro pede prova de retorno e a equipe entrega apenas relatório da plataforma com ROAS atribuído, a conversa trava — ele intui (com razão) que o número não capta o que importa.

Os canais onde a diferença entre atribuição e incrementalidade é mais dramática: busca paga sobre termos de marca, redirecionamento (retargeting), email para base muito engajada, mídia programática sobre público que já estava em consideração. Em todos esses, parte significativa da conversão atribuída teria ocorrido sem o estímulo.

Os quatro métodos principais

Existem quatro abordagens consolidadas para medir incrementalidade. Cada uma tem custo, escala mínima e nível de rigor estatístico distintos.

1. Teste de grupo de controle (holdout)

O método mais simples e mais robusto para canais próprios (CRM, email, push). Antes de qualquer campanha, separe aleatoriamente um percentual da base (tipicamente 5% a 10%) e não envie a campanha para esse grupo. Ao final do período, compare a métrica de interesse (compra, retenção, cancelamento) entre quem recebeu e o grupo de controle. A diferença é o impacto incremental real.

Vantagens: simples de operacionalizar, custo marginal próximo de zero, evidência causal direta. Limitações: exige base com volume suficiente para o grupo de controle atingir significância (regra prática: pelo menos 5.000 contatos por braço), e é desconfortável internamente — pessoas ficam sem comunicação.

2. Estudos de lift nativos da plataforma (ghost ads, PSA test)

Meta (Conversion Lift) e Google (Brand Lift, Conversion Lift) oferecem estudos de incrementalidade nativos. Funcionam assim: a plataforma separa aleatoriamente parte do público-alvo da campanha e, para esse grupo, não exibe o anúncio (ou exibe um anúncio neutro — PSA, public service announcement). Compara-se conversão entre quem viu e quem não viu.

Vantagens: rigor estatístico alto, integração nativa com a campanha, ideal para mídia paga em plataformas grandes. Limitações: exigem volume mínimo significativo de investimento (Meta tipicamente pede campanhas de R$ 30.000 ou mais; Google Brand Lift exige base ampla). Não cobrem canais fora da plataforma. Resultados às vezes inconclusivos por baixa potência estatística.

3. Geo experiments

Divide-se o país (ou área de atuação) em grupos de cidades estatisticamente equivalentes. Em metade das cidades roda-se a campanha (grupo de tratamento); na outra metade não (grupo de controle). Compara-se vendas, tráfego ou métrica-chave entre os grupos no período do teste.

Ferramentas: GeoLift (open-source da Meta), Google GeoExperiments, Nielsen Lift, plus consultorias especializadas. Vantagens: independente de plataforma (mede o canal inteiro, não só uma campanha), aplicável a mídia tradicional (TV, rádio, mídia exterior) e digital. Limitações: exige operação multi-região (não serve para empresa de cidade única), planejamento de 4 a 8 semanas, escala mínima razoável.

4. Modelagem de mix de marketing (MMM)

Modelo estatístico que correlaciona, ao longo do tempo, investimento por canal com vendas totais, controlando por sazonalidade, promoções, condições econômicas. Estima a contribuição marginal de cada canal — uma aproximação contínua de incrementalidade.

Vantagens: cobre todos os canais simultaneamente, incluindo mídia tradicional e fora do digital; gera curvas de saturação que orientam alocação; não depende de cookies nem de identificação. Limitações: exige histórico de pelo menos 18-24 meses de dados granulares, equipe de analytics ou consultoria, calibração regular. Não é experimento — é inferência estatística sobre observação.

Tamanho de amostra, duração e significância

Qualquer experimento de incrementalidade depende de três parâmetros estatísticos:

Tamanho de amostra. Quanto menor a diferença que se quer detectar, maior a amostra necessária. Para detectar lift de 10% com 80% de poder e 95% de confiança, costuma-se precisar de pelo menos 5.000 a 10.000 unidades (pessoas, cidades, sessões) por braço. Para lift de 3%, são dezenas de milhares. Calculadoras: Optimizely Sample Size, ABTestGuide, calculadora nativa do GeoLift.

Duração. Curta demais e o ruído estatístico domina. Longa demais e fatores externos (promoção de concorrente, evento sazonal) contaminam. Regra prática: 4 a 6 semanas para geo experiments; 2 a 4 semanas para lift studies em mídia paga; 8 a 12 semanas para grupos de controle em CRM observando retenção.

Critério de significância. A convenção é valor-p menor que 0,05 (95% de confiança). Resultados acima disso são considerados inconclusivos — você não tem evidência suficiente para afirmar lift. É comum experimentos terminarem inconclusivos, especialmente em base pequena; isso é informação valiosa, não fracasso. Não force interpretações de resultados não significativos.

LGPD em segmentação de público para teste

Experimentos de incrementalidade envolvem segmentar pessoas em grupos (tratamento e controle) com base em identificadores. Sob a LGPD, isso é tratamento de dado pessoal e exige base legal. As bases mais comuns: execução de contrato (quando o cliente já tem relação com a empresa), legítimo interesse (com avaliação documentada), consentimento (quando aplicável).

Cuidados específicos: documentar o desenho do experimento em registro de operações de tratamento (ROT); garantir que dados de identificação usados na segmentação não vazem para o time de marketing operacional; revisar com encarregado de proteção de dados antes do primeiro experimento. Geo experiments e MMM trabalham com dados agregados e têm risco menor; lift studies em plataformas operam sob a base legal já acordada com Meta ou Google.

Erros comuns que invalidam o experimento

Amostra pequena demais. Rodar geo experiment com 4 cidades de cada lado, declarar lift de 6%, comemorar — sem reparar que o intervalo de confiança vai de -8% a +20%. Sempre calcular amostra antes; aceitar quando o experimento não é viável.

Contaminação entre grupos. Em geo experiments, anúncios de TV "vazam" para regiões adjacentes. Em holdout de email, o grupo de controle vê o conteúdo no Instagram. Anote as fontes de contaminação e descarte experimentos onde ela domina.

Sem hipótese clara. Rodar lift study esperando "ver o que dá". Sem hipótese, qualquer resultado parece interessante e a leitura vira pesca por significância (p-hacking). Defina a magnitude esperada de lift antes; se o resultado for muito diferente, investigue causa.

Confundir lift de campanha com atribuição last-click. Resultado de lift study mede impacto causal da campanha; relatório de atribuição mede crédito contábil. Não são comparáveis diretamente. Documente claramente em qual lente cada métrica está.

Não comunicar resultado para liderança. Experimento bem desenhado, resultado claro, relatório técnico — e ninguém da diretoria entende a conclusão. Cada experimento precisa de versão executiva: pergunta, método, resposta e implicação para o orçamento. Sem essa tradução, o programa de incrementalidade fica isolado.