Como mensurar citações em LLMs

Por que mensurar antes de investir em GEO

GEO (otimização para motores generativos) é uma disciplina nova, derivada do trabalho de pesquisa publicado por equipes de Princeton e do trabalho aplicado de SEO. A pressão executiva para "aparecer no ChatGPT" cresce a cada trimestre, mas a maioria das empresas começa pelo investimento (reescrever páginas, contratar agência, publicar conteúdo) antes de construir a linha de base de medição. O resultado é previsível: depois de seis meses ninguém sabe se a iniciativa funcionou.

Sem linha de base não há retorno sobre investimento. Sem retorno sobre investimento, GEO vira capítulo de orçamento que se justifica por moda, não por dado. A regra é simples: o primeiro mês de qualquer programa de GEO deve ser de mensuração — coletar onde a marca está hoje, com que perguntas, em que motores, com que sentimento — antes de qualquer ação corretiva. A diretoria precisa ver um painel inicial. A partir desse painel, todo investimento posterior tem termo de comparação.

As seis métricas centrais de visibilidade em IA

O vocabulário de GEO ainda está se consolidando, mas seis métricas já formam um núcleo estável que cobre a maior parte das decisões.

1. Taxa de citação (citation rate). Percentual de perguntas do conjunto monitorado em que a marca é citada na resposta, em qualquer posição. É a métrica fundadora — análoga ao alcance no marketing tradicional. Se o conjunto tem 100 perguntas e a marca aparece em 23, a taxa de citação é 23%. Indispensável como linha de base.

2. Menção de marca (brand mention). Variante da taxa de citação que conta menções sem necessariamente atribuição de fonte. Útil quando o modelo cita o nome da marca em texto corrido mas não inclui o site como referência clicável. Em alguns motores essa distinção importa muito (Perplexity costuma listar fontes; ChatGPT em modo padrão nem sempre).

3. Participação relativa (share of voice em LLM). Razão entre as menções da marca e as menções de todas as marcas no espaço considerado, dentro do conjunto de perguntas. Se em 100 perguntas categóricas a marca aparece 23 vezes e os três concorrentes principais somam 90 menções, a participação relativa é 23 / (23 + 90), aproximadamente 20%. É a métrica mais usada em comparação competitiva.

4. Sentimento. Tom da menção: positivo, neutro ou negativo. Citação negativa também aparece — uma resposta que cita a marca como exemplo de problema, controvérsia ou alternativa inferior é citação, mas não é desejável. Sentimento pode ser classificado manualmente (com critério escrito) ou por modelo auxiliar. Sem sentimento, taxa de citação alta pode mascarar risco reputacional.

5. Atribuição de fonte (source attribution). Quais sites e URLs o modelo cita como referência quando fala da marca. É a métrica mais acionável para o time de conteúdo: revela quais páginas estão sendo lidas pelos motores. Páginas próprias citadas indicam autoridade reconhecida; páginas de terceiros indicam onde investir em parcerias e assessoria de imprensa.

6. Posição/ordem. Em respostas listadas (ranking de melhores soluções, comparativos, recomendações), a ordem em que a marca aparece. Primeira posição vale muito mais que sétima. Análoga ao posicionamento em página de resultados do Google.

O método manual: planilha que funciona

Antes de qualquer ferramenta, a empresa precisa do conjunto de perguntas. Esse conjunto é o ativo central da disciplina — sem ele, nenhuma ferramenta entrega valor. Um conjunto saudável tem três famílias de perguntas:

Categóricas. "Quais são as principais plataformas de e-mail marketing no Brasil?" "Que sistemas de gestão são usados por pequenas empresas brasileiras?" Capturam presença em listas — onde o modelo decide quem entra.

Comparativas. "Comparar Marca A e Marca B" ou "Qual a diferença entre X e Y." Capturam posicionamento competitivo direto e atributos que o modelo associa a cada concorrente.

De recomendação. "Qual o melhor sistema de gestão para uma empresa de 100 pessoas?" "Recomenda uma ferramenta de automação de marketing para startup B2B." Capturam o momento de decisão, quando o usuário pede sugestão direta.

Para empresa pequena, um conjunto de 20 a 30 perguntas distribuído nas três famílias é o mínimo operacional. Para média, 50 a 200 perguntas categorizadas por intenção e por etapa do funil. Para grande, centenas, frequentemente segmentadas por região e por linha de produto.

A operação manual é direta. Toda segunda-feira (ou primeiro dia útil do mês, dependendo da cadência) o analista abre os motores monitorados em janelas anônimas, roda cada pergunta do conjunto, captura tela da resposta e registra na planilha: pergunta, motor, marca citada (sim/não), posição, sentimento (positivo/neutro/negativo), fontes citadas, observação. Ao final, a planilha calcula taxa de citação por motor, por família de pergunta e a evolução em série temporal.

Custo: tempo do analista. Limitação: trabalhoso, sujeito a viés do operador (resultados de modelos generativos variam entre execuções), difícil de escalar acima de 50 perguntas por motor.

Ferramentas dedicadas: o que cada uma faz

O mercado de ferramentas de mensuração de citações em IA generativa cresceu rápido. Descrevemos as principais funcionalmente, sem ranking — a escolha depende de motores cobertos, volume de perguntas, idiomas e integrações disponíveis.

Profound (profound.so). Plataforma voltada a empresas médias e grandes, com cobertura de ChatGPT, Perplexity, Gemini, Copilot e Claude. Foco em participação relativa contra concorrentes, atribuição de fonte e painel competitivo. Forte em mercado norte-americano, suporte crescente a português.

Otterly (otterly.ai). Posicionada como alternativa acessível para times menores, com configuração rápida de conjunto de perguntas e relatórios automatizados. Cobertura dos motores principais e exportação de dados.

Goodie (goodie.so). Foco em monitoramento contínuo com alertas — notifica quando a marca passa a aparecer ou desaparece de respostas-chave. Útil para times pequenos que precisam de sinal de mudança, não de painel pesado.

Peec (peec.ai). Especializada em rastreamento de fontes citadas pelos modelos — interessante para times de SEO que querem saber quais URLs do site (e da concorrência) estão sendo lidas pelas IAs.

AthenaHQ (athenahq.ai). Plataforma com forte componente analítico e segmentação por tipo de pergunta, voltada a operações maiores.

BrandRank.ai. Foco em participação relativa e posicionamento competitivo, com classificação automática de sentimento e detecção de risco reputacional.

Outras entrantes surgem com frequência. Avaliar uma ferramenta exige perguntar: quais motores cobrem? aceita conjunto próprio de perguntas em português? que volume mensal de execuções está incluso? exporta dados brutos? integra com painel corporativo?

Critérios para escolher a ferramenta

Motores cobertos. Cobertura mínima desejável: ChatGPT, Perplexity, Gemini, Claude. Copilot ganha relevância em mercado corporativo. Se o seu público usa principalmente um motor, garanta que ele esteja na cobertura — não adianta cobrir cinco motores se nenhum é o que importa.

Volume de perguntas. Planos costumam ser limitados por execuções por mês (pergunta x motor x dia). Calcule antes: 100 perguntas, 4 motores, monitoramento semanal são 1.600 execuções mensais. Diário multiplica por 4 a 5.

Idiomas e mercado. Português brasileiro é suportado, mas qualidade de classificação de sentimento e detecção de marca varia. Faça teste com conjunto de perguntas em português antes de fechar contrato anual.

Comparação competitiva. A ferramenta deve permitir cadastrar concorrentes nomeados e calcular participação relativa automaticamente. Sem isso, você terá só dado absoluto.

Integração com painel corporativo. Ferramentas robustas exportam para Looker Studio, Power BI ou via interface de programação. Sem integração, o painel da ferramenta vira ilha — ninguém olha além do time de SEO.

Dados brutos e auditoria. Capacidade de baixar resposta completa de cada pergunta, com captura de tela ou texto integral. Sem isso, fica impossível auditar discrepâncias ou investigar quedas.

Cadência saudável e como reportar

O ritmo recomendado tem três velocidades.

Linha de base (mês 1). Coleta diária ou em alta frequência durante 30 dias para estabelecer média e variabilidade. Sem essa primeira janela densa, qualquer leitura posterior fica sem referência. Vale pagar plano superior por um mês para colher base sólida.

Monitoramento contínuo. Semanal para média e grande, mensal para pequena. Cadência menor que semanal perde sinal de mudanças relevantes; cadência diária só faz sentido quando há time dedicado para reagir.

Auditoria profunda trimestral. A cada três meses, releitura qualitativa das respostas — não só os números, mas o texto que os modelos estão produzindo. É quando aparecem nuances novas: novos atributos associados à marca, novos concorrentes mencionados, mudança de tom.

Para a diretoria, o painel mensal de uma página tem cinco blocos: participação relativa frente a três concorrentes principais, taxa de citação por motor (gráfico de linhas dos últimos 6 a 12 meses), distribuição de sentimento (positivo/neutro/negativo), fontes mais citadas associadas à marca, alertas de mudança relevante (queda ou alta acima de 20% versus mês anterior). O painel é apresentado em três minutos e cabe em meia página.

Como amarrar GEO ao negócio

Visibilidade em IA generativa só justifica orçamento se conecta com receita. Três caminhos de correlação se mostraram úteis na prática brasileira:

Tráfego de retorno via referenciador. Quando o motor cita o site da marca e o usuário clica, o tráfego chega como referrer dos domínios da OpenAI, Perplexity, Anthropic ou Google AI. Esse tráfego é mensurável diretamente no Google Analytics 4 e cresceu em magnitude relevante para muitos sites no estágio atual de adoção.

Pesquisa de origem em formulários. Adicionar a opção "ChatGPT, Perplexity ou outra IA" no campo "como você nos conheceu" captura origem auto-declarada — útil quando o usuário pesquisa o nome da marca após ver no modelo e chega por busca direta, sem referenciador rastreável.

Pesquisa qualitativa com clientes. Em entrevistas de pós-venda, perguntar se a IA foi mencionada no caminho de descoberta. A frequência de menção espontânea é indicador qualitativo robusto.

Nenhum dos três isoladamente é perfeito. Em conjunto, fecham triangulação suficiente para reportar contribuição estimada de GEO ao funil de aquisição.

Erros comuns na mensuração

Medir uma vez e parar. Empresa roda o conjunto de perguntas no mês 1, salva o painel, fecha o documento. No mês 6, ninguém sabe se mudou. Sem série temporal, dado de IA generativa é fotografia — útil só para constatar, não para decidir.

Comparar entre motores sem padronizar. Rodar 30 perguntas no ChatGPT e 80 no Perplexity gera comparação inválida — taxas de citação dependem do conjunto. Use o mesmo conjunto em todos os motores monitorados.

Pagar ferramenta sem conjunto de perguntas claro. Contrata-se a SaaS, mas o time não definiu as perguntas estratégicas. A ferramenta vira painel sem alma. O conjunto vem primeiro, sempre.

Ignorar sentimento. Marca aparece em 40% das perguntas — sucesso? Só se o sentimento for predominantemente positivo. Citação negativa contagiada (controvérsia, queixas, comparação desfavorável) é problema, não conquista.

Atribuir 100% do tráfego de IA à GEO. Parte do crescimento vem do fato de que mais pessoas usam IA, não de que a marca ganhou visibilidade. Sempre relativize com a participação relativa contra concorrentes — só esta isola o efeito.

Decidir com amostra pequena por motor. Modelos generativos são estocásticos — a mesma pergunta gera respostas diferentes a cada execução. Conjunto pequeno (menos de 20 perguntas) por motor produz variabilidade alta. Volume e repetição ao longo do tempo são a saída.