A IA generativa no atendimento promete respostas rápidas a qualquer hora, e a primeira demonstração quase sempre convence. O desafio aparece depois, quando o piloto precisa provar que resolve o problema do cliente. Medir antes de escalar é o que separa um projeto útil de uma vitrine cara.
Por que medir antes de escalar a IA generativa
Medir antes mostra se a IA resolve o problema do cliente ou só responde mais rápido. Sem uma linha de base do atendimento atual, qualquer resultado do piloto parece bom.
A medição também protege a empresa. Uma resposta errada sobre preço, prazo ou contrato pode gerar custo e desgaste maiores do que a economia que a automação trouxe.
Por isso, o primeiro passo não é escolher o modelo, e sim definir o que é sucesso. Essa definição precisa ser combinada com quem responde pelo atendimento, não só com o time de tecnologia.
Também vale medir o atendimento atual por algumas semanas antes de começar. Essa linha de base mostra os assuntos mais frequentes, os horários de pico e onde o time humano já resolve bem, o que ajuda a escolher onde a IA pode contribuir mais.
Os indicadores que importam no atendimento
Os indicadores que importam são os que o cliente sente. Tempo de resposta conta, mas só depois de saber se a conversa resolveu o que ele precisava.
Para cada indicador, defina antes do piloto qual resultado seria aceitável. Sem esse combinado, a discussão no fim do piloto vira uma disputa de opiniões em vez de uma decisão baseada em dados.
- Resolução no primeiro contato: quantas conversas terminam sem transferência para uma pessoa.
- Satisfação: a nota do cliente, comparada com a do atendimento humano no mesmo período.
- Erro grave: respostas erradas sobre preço, prazo ou contrato, que pedem revisão imediata.
- Transferência: quantas conversas passam para uma pessoa e em que ponto isso acontece.
Uma resposta rápida e errada custa mais do que uma resposta lenta e certa.
Esses indicadores só fazem sentido se as definições forem as mesmas para a IA e para o time humano. Aqui vale o mesmo cuidado da governança de dados sem burocracia: cada indicador com dono e definição escrita.
Como montar um piloto que dá para comparar
Um piloto comparável separa um grupo de atendimentos para a IA e mantém outro parecido com o time de sempre. Os dois grupos são medidos pelos mesmos indicadores, no mesmo período.
A escolha dos grupos precisa ser justa. Se a IA recebe só os horários tranquilos ou os clientes mais fáceis, o resultado parece melhor do que é, e a decisão de escalar será tomada com base em uma comparação distorcida.
Escolha um assunto bem delimitado para começar, como dúvidas sobre segunda via ou status de pedido. Assuntos simples mostram rápido se a base de conhecimento está pronta para ser usada pela IA.
A base de conhecimento, aliás, costuma ser o maior trabalho do piloto. Documentos desatualizados ou contraditórios fazem a IA responder com segurança algo que já não vale, e corrigir essa base beneficia também o atendimento humano.
Importante
Defina antes do piloto o que acontece quando a IA não sabe responder. A transferência para uma pessoa precisa ser simples e preservar o histórico da conversa.
Registre também as conversas em que a IA acertou por acaso ou errou com confiança. Essa amostra qualitativa ajuda a ajustar as instruções e a base antes de ampliar o escopo.
Riscos que o piloto precisa mostrar cedo
O piloto precisa mostrar cedo os riscos de privacidade, de respostas inventadas e de tom inadequado. Descobrir esses riscos com poucos clientes é muito mais barato do que com todos.
Para cada risco, combine como ele será monitorado e quem age quando ele aparecer. Uma revisão periódica de amostras de conversa, feita por alguém do atendimento, costuma revelar problemas que os indicadores ainda não mostram.
Inclua nessa revisão as conversas em que o cliente desistiu sem resposta. Elas raramente aparecem nas reclamações, mas mostram onde a IA ainda não entende o que as pessoas perguntam.
Referências como o framework de gestão de riscos de IA do instituto de padrões dos Estados Unidos (NIST) e os princípios de IA da Organização para a Cooperação e Desenvolvimento Econômico (OCDE) ajudam a montar essa lista de riscos de forma organizada.
Conclusão: quando escalar com segurança
Escale quando a resolução e a satisfação estiverem pelo menos no nível do atendimento humano e os erros graves forem raros e corrigidos rápido. Antes disso, amplie o piloto aos poucos, um assunto de cada vez.
Escalar também significa preparar o time humano para o novo papel. As pessoas passam a cuidar dos casos mais complexos e da qualidade das respostas da IA, e isso pede treinamento e indicadores próprios.
Os mesmos indicadores podem alimentar um painel de acompanhamento, desde que ele seja revisto com frequência, como mostramos em como revisar os dashboards da empresa. Para levar a IA generativa ao seu atendimento, conheça a frente de Inteligência Artificial da Dadoteca.
Perguntas frequentes
Quanto tempo deve durar um piloto de IA generativa?
O suficiente para cobrir o ciclo normal do atendimento, incluindo os períodos de maior movimento. Um piloto curto demais mede só os dias tranquilos e superestima o resultado.
A IA generativa substitui o time de atendimento?
Não. Ela assume as conversas simples e repetitivas, e o time humano passa a cuidar dos casos complexos, das exceções e da qualidade das respostas.
Que dados do cliente a IA pode usar?
Só os necessários para responder, com base legal e transparência para o cliente. Essa definição deve envolver o jurídico e o responsável pela proteção de dados da empresa.


