LLMs (modelos de linguagem) explicados para gestores

Arquitetura e como LLM funciona (alto nível)

Parâmetros: são números dentro do modelo que codificam conhecimento. Mais parâmetros = modelo maior = pode armazenar mais conhecimento. GPT-4 tem ~1.7 trilhão de parâmetros (estimado). Llama 2 tem 70 bilhões. Implicação: GPT-4 é mais capaz, mas caro de rodar (usar GPU cara). Llama é menor, menos capaz, mas pode rodar em máquina mais simples.

Tokens: unidade de texto. Geralmente palavra ou sub-palavra. "Hello, world!" é ~3 tokens. Importante porque APIs cobram por token. Uma resposta de 200 palavras tipicamente é ~260 tokens, que custa ~0.003 USD (3 décimos de centavo) em GPT-3.5. Escala: 1 milhão de tokens custa ~1.50 USD em GPT-3.5.

Transformers: arquitetura de IA moderna que permite processar texto em paralelo (rápido) e entender contexto longo (até 128K tokens em modelos novos). Base de todos LLMs modernos. Transformers revolucionaram IA porque conseguem capturar relação entre palavras distantes em texto ("ele" refere a qual pessoa? Transformer consegue rastrear).

Treinamento (pré-treinamento): LLM é treinada em corpus gigante. Processo: dado sequência de palavras, modelo prediz próxima palavra. Repetindo bilhões de vezes, modelo aprende padrão. Não requer label humano (não-supervisionado). Custo: enormemente caro (bilhões em computação). Por isso há poucas LLMs — apenas grandes empresas podem treinar do zero.

Fine-tuning: pegar LLM pré-treinada e ajustar com dados específicos (ex: documentos de sua empresa). Melhora qualidade em domínio específico. Custa menos que treino novo (~100K a 1M USD). Reduz alucinação. Exemplo: fine-tune GPT com documentos de health insurance; modelo fica melhor em responder pergunta sobre health insurance.

In-context learning: LLM aprende de exemplos dentro do prompt, sem retraining. Exemplo: você escreve "Aqui estão 3 emails bons. Agora melhore este email ruim: ...". LLM adapta sem treinar. Muito poderoso porque é instantâneo.

Qual LLM escolher — principais opções e trade-offs

GPT-4 (OpenAI)

Capacidade: melhor no mercado. Raciocínio avançado, multimodal (texto + imagem), baixa alucinação relativa. Custo: 0.03 USD/1K tokens input, 0.06 USD/1K output (caro). Latência: ~10-20 segundos (lento). Quando escolher: máxima qualidade é obrigatória (análise crítica, raciocínio), custo não é problema. Não escolher: volume muito alto (caro), latência crítica (<5 segundos).

GPT-3.5 (OpenAI)

Capacidade: 80% da qualidade de GPT-4, muito mais rápido. Bom custo-benefício. Custo: 0.0005 USD/1K tokens input, 0.0015 USD/1K output (barato). Latência: ~2-5 segundos. Quando escolher: maioria dos casos — qualidade boa, custo baixo, velocidade aceitável. Não escolher: raciocínio muito complexo (GPT-4 é melhor), casos que requerem máxima confiabilidade.

Claude 3 (Anthropic)

Capacidade: raciocínio excelente, honestidade sobre limitações (diz "não sei" em vez de alucinar). Multimodal. Custo: 0.003 USD/1K input, 0.015 USD/1K output (comparável a GPT-4). Latência: ~5-15 segundos. Quando escolher: raciocínio crítico, aplicações que precisam confiabilidade alta, empresas que valorizam transparência de IA. Não escolher: custo muito restringente, volume altíssimo.

Gemini (Google)

Capacidade: multimodal robusto (texto, imagem, código, áudio). Integração nativa com Google Workspace. Custo: via Google Cloud, ~0.001 USD/1K input, 0.002 USD/1K output (competitivo). Latência: ~3-10 segundos. Quando escolher: empresa Google-first, multimodal é crítico, quer integração nativa com Workspace. Não escolher: qualidade de raciocínio não é best-in-class.

Llama (Meta)

Capacidade: aberta (código e pesos públicos). Tamanho variável (7B a 70B parâmetros). Performance competitiva com GPT-3.5 em muitas tarefas. Custo: zero para usar, mas requer infraestrutura (GPU). Setup ~500-5000 USD, operação ~500-2000 USD/mês. Latência: depende de setup (~1-5 segundos se bem-configurada). Quando escolher: privacidade é crítica, volume muito alto (amortiza custo infra), pode tolerar qualidade um pouco menor. Não escolher: não quer gerir infraestrutura, qualidade máxima obrigatória.

Mistral (Mistral AI)

Capacidade: pequena, rápida, open-source. Performance boa para tamanho. Custo: grátis código, infra barata (pode rodar em CPU). Latência: rápido (<1 segundo). Quando escolher: latência crítica, custo mínimo, caso de uso simples (classificação, extração, summarização). Não escolher: raciocínio complexo, qualidade máxima.

Matriz de decisão: qual LLM escolher

Fine-tuning: quando e por quê

Fine-tuning é retraining parcial: você pega LLM pré-treinada e treina mais com seus dados. Resultado: modelo fica especializado em seu domínio.

Quando faz sentido: (1) você tem 1000+ exemplos bons de entrada/saída em seu domínio, (2) qualidade em domínio específico é crítica, (3) volume justifica o custo (fine-tuning custa 50K a 500K USD).

Exemplo: empresa de seguros fine-tuna GPT com 5000 documentos de contrato real. Resultado: modelo fica muito melhor em responder pergunta sobre seguro (reduz alucinação, aumenta relevância).

Alternativa mais barata: RAG (Retrieval-Augmented Generation) — combinar LLM com busca em banco de dados seu. Sem treino, sem custo. Funciona bem em muitos casos.

Custo total de propriedade (TCO) — o que realmente custa

Opção 1: API cloud (ChatGPT, Claude, Gemini)

Setup: 0–5 mil (integração). Operação: custo por token. Exemplo: 1 milhão requisições/mês, 500 tokens média. Custo GPT-3.5: ~750 USD/mês. GPT-4: ~45K USD/mês. Escalável — custo cresce com uso.

Opção 2: Modelo on-premise (Llama, Mistral)

Setup: 50–500 mil (GPU, infra, integração). Operação: 500–5000 USD/mês (energia, manutenção). Custo fixo. Amortiza se volume é alto. Exemplo: 10 milhões requisições/mês no Llama = custa 2K/mês (setup amortizado). Mesmo no ChatGPT custaria 7500 USD/mês.

Opção 3: Híbrida (API + fine-tuning)

Setup: 50–200 mil (fine-tune + infra). Operação: 2–5K USD/mês. Melhor qualidade que Llama puro, mais caro que GPT-3.5 puro. Viável para médias/grandes empresas com domínio específico crítico.

Treinamento, retraining e atualização de conhecimento

Conhecimento congelado: LLM foi treinada até data X. Depois, não sabe eventos novos. GPT-4 conhece até abril 2024. Não há "retraining automático".

Como manter atualizado? Duas abordagens: (1) Usar modelo com "busca ao vivo" (Gemini com Google Search), (2) Usar RAG (combinar LLM com seu banco de dados/web). Ambos permitem respostas atualizadas sem retraining.

Fine-tuning periódico: se você tem novo conhecimento (documento novo, processo atualizado), pode fine-tune modelo. Custa 50–500 mil por ciclo. Frequência depende — pode ser trimestral, anual.

Monitoramento de drift: como modelo se comporta com o tempo? Qualidade degrada? Alucinação aumenta? Deveria medir continuamente e retraining se drift detectado.