Publicado·9 min de leitura·Série IA em produção 3/3
Como medir qualidade, latência e custo
Por que um eval de 100 exemplos não prova nada, por que a cauda de latência de um agente é pior do que parece, e por que custo por token é a métrica errada.
Observabilidade, avaliação, latência e custo.
Por que um eval de 100 exemplos não prova nada, por que a cauda de latência de um agente é pior do que parece, e por que custo por token é a métrica errada.
Health check não é observabilidade. O padrão OpenTelemetry para GenAI, os limites documentados do LLM como juiz, e o que realmente uso para saber por que um agente errou.