Seu agente respondeu em dois segundos. Mas a interação atingiu o objetivo esperado?
O tempo de resposta é uma das métricas que podem ser utilizadas para acompanhar um agente de IA em operação. Porém, analisar apenas a velocidade oferece uma visão limitada do desempenho. Um agente pode responder rapidamente e ainda apresentar uma informação inadequada, realizar um encaminhamento fora das regras definidas ou não concluir o objetivo previsto para aquela interação.
Por isso, avaliar um agente também envolve observar a qualidade das respostas, o comportamento ao longo das conversas, os encaminhamentos realizados e os resultados esperados para cada função.
A seguir, reunimos oito métricas que podem ser combinadas para acompanhar diferentes aspectos da atuação de um agente de IA.
1. Tempo de primeira resposta
O tempo de primeira resposta mede o intervalo entre o envio da mensagem pelo cliente e a primeira resposta do agente. Esse indicador ajuda a acompanhar a agilidade no início da interação, mas precisa ser analisado em conjunto com outros aspectos da conversa. Uma resposta rápida pode apresentar problemas de conteúdo, tom, contexto ou encaminhamento.
Por isso, o tempo de primeira resposta pode fazer parte de uma análise que também considere a qualidade e o resultado da interação.
2. Taxa de resolução
A taxa de resolução acompanha quantas demandas dentro do escopo definido para o agente são concluídas durante o atendimento, sem necessidade de continuidade para tratar aquela mesma solicitação. Para acompanhar essa métrica, a empresa precisa estabelecer previamente o que considera uma demanda resolvida em cada contexto.
Em um agente de suporte, por exemplo, uma resolução pode representar uma dúvida atendida com as informações disponíveis. Em situações fora do escopo ou que exigem análise humana, o encaminhamento para a equipe pode ser o comportamento esperado e deve ser analisado de acordo com as regras da operação.
O critério de resolução deve acompanhar a função definida para cada agente.
3. Taxa de transferência para humanos
Essa métrica acompanha a proporção de conversas encaminhadas pelo agente para atendimento humano. A interpretação depende da função definida para o agente. Um agente voltado à triagem, por exemplo, pode ter como parte do seu processo encaminhar determinadas demandas para uma pessoa. Já outro agente pode ter um escopo maior para atender solicitações recorrentes.
Por isso, taxas altas ou baixas precisam ser analisadas junto aos critérios de transferência definidos pela empresa. O principal ponto é verificar se o agente está encaminhando as situações previstas e respeitando os limites estabelecidos para sua atuação.
4. Qualidade das respostas
A qualidade das respostas exige uma avaliação que vá além dos indicadores quantitativos. A revisão de conversas pode considerar critérios como:
- Correção: a informação apresentada está de acordo com as fontes e orientações disponíveis?
- Clareza: a resposta está compreensível e adequada ao contexto?
- Aderência às regras: o agente respeitou os limites e as instruções definidos para sua atuação?
- Uso adequado da base: a resposta utilizou corretamente as informações disponibilizadas na base de conhecimento?
Esses critérios podem ser adaptados de acordo com a função do agente e com os padrões definidos pela empresa.
5. Taxa de abandono
A taxa de abandono acompanha quantas interações são interrompidas antes da conclusão da etapa ou do objetivo previsto. Além do número geral, vale observar em quais momentos da jornada essas interrupções acontecem. Uma concentração de abandonos em determinada etapa pode indicar um ponto que merece investigação.
A causa precisa ser analisada com outras informações, como revisão das conversas, estrutura do fluxo, tempo de interação e contexto apresentado pelo usuário.
6. Conclusão do objetivo
Enquanto a taxa de resolução observa a conclusão das demandas atendidas dentro do escopo do agente, esta métrica acompanha objetivos específicos definidos para determinadas interações.
Alguns exemplos são:
- Lead qualificado de acordo com os critérios da empresa.
- Reunião marcada.
- Cadastro concluído.
- Informações necessárias coletadas.
- Problema encaminhado para equipe responsável.
Acompanhar cada objetivo separadamente permite identificar diferenças de desempenho entre as funções atribuídas ao agente.
Os objetivos e critérios de conclusão devem ser definidos previamente pela operação para que a métrica tenha uma referência clara.
7. Ocorrências e respostas fora das regras
Essa métrica acompanha situações em que o agente responde ou executa uma ação fora do escopo e das regras definidos pela empresa.
Alguns exemplos podem incluir:
- Responder sobre assuntos fora do escopo previsto.
- Utilizar informações que não deveriam fazer parte daquela interação.
- Executar uma ação fora das permissões configuradas.
- Deixar de encaminhar uma situação prevista para atendimento humano.
O acompanhamento dessas ocorrências ajuda a avaliar o comportamento do agente em relação aos limites estabelecidos e pode orientar ajustes nas regras, permissões e configurações.
Esse indicador também é relevante para processos de governança e revisão da operação.
8. Feedback humano e revisão de conversas
A avaliação qualitativa complementa os indicadores quantitativos ao permitir uma análise direta das interações realizadas pelo agente.
Revisar uma amostra de conversas periodicamente pode ajudar a identificar situações como:
- Dúvidas interpretadas de forma inadequada.
- Respostas que precisam de mais clareza.
- Informações ausentes ou desatualizadas na base de conhecimento.
- Situações que deveriam ter sido encaminhadas para atendimento humano.
- Novos tipos de perguntas que ainda não estavam previstos na configuração.
O feedback da equipe que acompanha essas conversas também pode orientar ajustes na base de conhecimento, nas regras e nos critérios de atuação do agente.
A combinação entre dados quantitativos e revisão humana oferece mais referências para acompanhar a evolução da operação.
9. Como criar uma linha de base
Cada operação possui objetivos, processos e critérios diferentes. Por isso, uma forma de começar o acompanhamento é estabelecer uma linha de base com os resultados apresentados pelo agente em sua configuração atual.
A partir dessa referência, a empresa pode acompanhar a evolução de cada indicador ao longo do tempo e observar os efeitos das alterações realizadas na base de conhecimento, nas regras, nos processos e nas configurações.
Taxa de resolução, transferência para humanos, abandono e conclusão de objetivos devem ser interpretadas de acordo com a função do agente e com os critérios definidos pela própria operação.
Registrar essa linha de base também permite comparar períodos e identificar quais indicadores mudaram após cada ajuste realizado.
Conclusão
Avaliar um agente de IA envolve diferentes dimensões da operação. Tempo de resposta, resolução, transferências, qualidade das respostas, abandono, conclusão de objetivos, ocorrências fora das regras e revisão humana oferecem perspectivas complementares sobre sua atuação.
Os indicadores precisam ser interpretados de acordo com a função definida para o agente e com os objetivos de cada processo. Uma linha de base própria permite acompanhar essas métricas ao longo do tempo e avaliar os efeitos dos ajustes realizados.
A revisão humana também faz parte desse acompanhamento, principalmente para identificar situações que os números isoladamente não explicam e orientar a evolução das configurações.
Crie, acompanhe e evolua seus agentes de IA com o GPT Maker.
