Meet interno: coaching de IA em tempo real · José Hernane
JHJosé Hernane

IA aplicada · Agentes · Tempo real · Em produção

Meet interno: coaching de IA em tempo real

Plataforma de videochamadas para vendas e relacionamento com clientes, com um agente de IA invisível que transcreve a conversa e entrega coaching acionável ao vendedor durante a call.

Python · LiveKit · Deepgram Nova-3 · OpenAI GPT-5.4-mini · Supabase · React · TypeScript · Docker

01

Contexto

O cenário antes da solução

Vendedores precisavam conduzir a conversa, reconhecer objeções, tomar notas e decidir a próxima abordagem ao mesmo tempo. PMs e gestores também ficavam sem um registro estruturado e uma visão confiável do que ocorreu nas calls.

Capturar o áudio dos participantes sem ações manuais, processar fala em português com baixa latência e exibir recomendações úteis somente ao vendedor, sem interromper a experiência do lead.

02

Meu papel

O que eu planejei, desenvolvi e implantei

Desenvolvimento solo de ponta a ponta: migração técnica de Jitsi para LiveKit, arquitetura WebRTC, agente Python, frontend React, autenticação, persistência, realtime, testes e implantação self-hosted.

03

Arquitetura

Como o sistema funciona

O LiveKit conecta um agente Python oculto às trilhas de áudio dos participantes. O Deepgram Nova-3 transcreve em streaming; gatilhos por fim de fala e janela de contexto acionam o GPT-5.4-mini com saída estruturada. Os insights são persistidos no Supabase e chegam ao painel React via Realtime. Ao final, o sistema consolida transcrição, resumo executivo e documentos da sessão.

Arquitetura do Meet interno: call no LiveKit, agente Python oculto, transcrição com Deepgram, geração de insight com GPT-5.4-mini e entrega ao vendedor pelo Supabase Realtime.
Áudio da call → transcrição streaming → insight estruturado → painel privado do vendedor.Ampliar diagrama
04

Decisões

Escolhas e trade-offs

LiveKit substituiu o Jitsi para eliminar soluções frágeis de captura de áudio. Deepgram foi escolhido pelo streaming de baixa latência em pt-BR; Supabase Realtime combina entrega e persistência dos insights; e o frontend customizado mantém o coaching integrado à experiência da call.

05

Desafios

Problemas encontrados

Configuração de WebRTC, ICE e TURN em infraestrutura própria; identificação correta dos speakers; isolamento de estado entre sessões simultâneas; controle de chamadas ao LLM; resiliência do realtime; e redução da latência sem sacrificar a utilidade dos insights.

06

Resultados

O que foi alcançado

Da transcrição ao output acionável da IA em cerca de 2 segundos. O fluxo multiusuário foi validado com um host e quatro convidados simultâneos, mantendo a sala estável e sem erros da aplicação durante o teste. Mais de 500 testes automatizados (pytest e Vitest) e um quality gate de segurança (bandit, pip-audit) no pipeline de CI sustentam a evolução do sistema.

07

Aprendizados

Aprendizados e evolução

IA em tempo real exige tratar modelo, eventos de fala, rede, persistência e observabilidade como um único sistema. Gatilhos por fim de fala, cooldown e outputs curtos foram essenciais para equilibrar velocidade, custo e relevância.

Escrevi sobre isso

Artigos que partem deste projeto