AI Observability com OpenObserve: monitore seus LLMs em produção

O que é AI Observability e por que seu LLM precisa disso

Você integrou um LLM na sua aplicação. A chamada funciona no seu ambiente local. Mas e em produção? Quantos tokens você esta consumindo por usuário? Qual e a latência real que seus usuários enfrentam? Qual percentual das chamadas retorna erro?

Sem monitoramento, você esta operando no escuro. AI Observability e o conjunto de práticas e ferramentas para enxergar o que acontece com suas chamadas de IA em produção: custos, latência, qualidade das respostas, erros e padrões de uso.

O OpenObserve e uma plataforma de observabilidade open source, escrita em Rust, que recentemente ganhou suporte específico para monitoramento de aplicações com IA. E uma alternativa mais acessível e económica ao Datadog e ao Elastic Stack para quem precisa de logs, métricas e traces em um só lugar.

Como o OpenObserve funciona

O OpenObserve e uma plataforma de observabilidade unificada. Ela recebe logs, métricas e traces via protocolos padrão como OpenTelemetry, e os armazena de forma comprimida e eficiente. A empresa afirma que o armazenamento chega a ser 140 vezes mais barato que o Elasticsearch para volumes equivalentes.

Para AI Observability especificamente, o fluxo funciona assim: você instrumenta seu código para enviar dados de cada chamada de LLM (modelo usado, tokens de entrada e saída, latência, status de erro, custo estimado). O OpenObserve armazena esses dados e você consulta via dashboard ou SQL.

O resultado e uma visão centralizada: você ve num dashboard quantas chamadas de LLM aconteceram, qual o custo acumulado por modelo, onde as respostas estão demorando mais e quais prompts estão falhando com maior frequência.

Principais recursos para monitoramento de IA

O OpenObserve oferece vários recursos relevantes para quem usa LLMs em produção:

• Ingestão de logs estruturados: capture cada chamada de LLM como um evento com todos os metadados (modelo, tokens, latência, custo)
• Métricas agregadas: gráficos de series temporais para acompanhar tendências de uso e custo ao longo do tempo
• Traces distribuídos: veja o caminho completo de uma requisição do usuário até a chamada do LLM e de volta
• Alertas: configure alertas quando o custo diário ultrapassar um limite ou quando a taxa de erros subir
• Dashboard SQL: consulte seus dados com SQL padrão para análises customizadas
• Retenção configurável: defina por quanto tempo manter cada tipo de dado para controlar custos de armazenamento

A interface web e limpa e funcional. Você pode criar dashboards customizados sem precisar saber programar visualizações.

Como começar: instalação e configuração

O OpenObserve tem duas opcoes: auto-hospedado (gratuito, open source) e cloud gerenciado (plano gratuito disponível).

Opcao 1 - Cloud (mais rápido para começar): crie uma conta em cloud.openobserve.ai. Você tem um plano gratuito com limites generosos para começar.

Opcao 2 - Self-hosted com Docker: ideal para quem quer controle total dos dados.

Docker run -d \
  -p 5080:5080 \
  -e [email protected] \
  -e ZO_ROOT_USER_PASSWORD=senha_segura \
  public.ecr.aws/zinclabs/openobserve:latest

Depois de iniciar, acesse http://localhost:5080 e faca login. O dashboard já esta pronto para receber dados.

Exemplo prático: instrumentando chamadas de LLM em Python

Veja como enviar dados de cada chamada de LLM para o OpenObserve usando a biblioteca oficial de ingestão:

pip install openai requests

import time
import requests
from openai import OpenAI

OZ_URL = "http://localhost:5080/api/default/ai_calls/_json"
OZ_AUTH = ("[email protected]", "senha_segura")
client = OpenAI()

def chamar_llm(prompt: str, modelo: str = "gpt-4o-mini") -> str:
    inicio = time.time()
    resposta = client.chat.completions.create(
        model=modelo,
        messages=[{"role": "user", "content": prompt}]
    )
    latencia_ms = int((time.time() - inicio) * 1000)
    uso = resposta.usage

    # Envia log para o OpenObserve
    requests.post(OZ_URL, auth=OZ_AUTH, json=[{
        "modelo": modelo,
        "tokens_entrada": uso.prompt_tokens,
        "tokens_saida": uso.completion_tokens,
        "latencia_ms": latencia_ms,
        "custo_usd": (uso.prompt_tokens * 0.00015 + uso.completion_tokens * 0.0006) / 1000,
        "status": "ok"
    }])

    return resposta.choices[0].message.content

Com esse padrão, cada chamada de LLM gera um evento no OpenObserve. Em poucos minutos você já tem dados para construir um dashboard de custo e latência.

Comparação com alternativas

Datadog LLM Observability: a solução mais completa do mercado, com integração nativa com OpenAI, Anthropic e outros. O problema e o preço: Datadog e caro para startups e projetos pessoais. OpenObserve e gratuito para self-hosted.

LangSmith (LangChain): excelente se você já usa LangChain no seu projeto. Rastreia chains, agentes e prompts com detalhe. Mas e específico para o ecossistema LangChain; fora dele fica mais limitado.

Helicone: proxy de observabilidade que intercepta chamadas de LLM. Fácil de integrar (só trocar o endpoint), mas exige rotear o tráfego pela infraestrutura deles. OpenObserve recebe os dados direto do seu código, sem proxy.

O OpenObserve brilha quando você quer uma solução generalista que serve tanto para LLMs quanto para o resto da infraestrutura, sem pagar por uma ferramenta separada só para IA.

Pontos positivos e limitações

O que funciona bem: armazenamento eficiente com alto poder de compressão, suporte a OpenTelemetry, interface limpa, opcao gratuita self-hosted solida. A flexibilidade de SQL para consultas e um ponto muito forte para devs acostumados com banco de dados.

Limitações a considerar: não tem integração automática com SDKs de LLM (você precisa instrumentar manualmente, como no exemplo acima). Para quem quer zero configuração, LangSmith ou Helicone podem ser mais rápidos de começar. A documentação ainda esta crescendo e algumas funcionalidades avançadas carecem de exemplos prontos.

A comunidade do OpenObserve e ativa no GitHub e no Discord. Para problemas de configuração, normalmente alguém já passou pelo mesmo problema e documentou a solução.

Casos de uso reais

Startup com produto baseado em IA: monitore o custo por usuário para garantir que o negócio e sustentável. Sem isso você pode crescer sem perceber que esta gastando mais do que fatura.

Chatbot em produção: identifique os prompts que mais falham, os que geram as respostas mais longas (caras) e os horários de pico de uso.

Pipeline de RAG: rastreie quanto tempo cada etapa demora (busca vetorial, chamada de LLM, pos-processamento) para encontrar gargalos.

Time de engenharia com múltiplos LLMs: compare o custo e a latência de diferentes modelos para o mesmo tipo de tarefa e decida onde vale pagar mais caro.

Dicas e boas práticas

Vale a pena usar o OpenObserve para AI Observability?

Para devs que já constroem produtos com LLMs e ainda não monitoram nada, sim: comece hoje mesmo. A opcao self-hosted e gratuita e o nível básico de instrumentação que mostrei acima leva menos de uma hora para implementar.

Para quem esta só experimentando com IA e não tem nada em produção ainda, espere até ter usuários reais antes de investir em observabilidade. O overhead de configurar agora pode não valer para um prototipo.

O próximo passo e criar uma conta no cloud.openobserve.ai, seguir o quickstart oficial e adicionar os primeiros logs de LLM ao seu código. Em uma tarde você já tem visibilidade real do que esta acontecendo com sua IA em produção.