Um atendimento de teste parece natural e a equipe publica um novo prompt. No dia seguinte, o agente repete perguntas, inventa uma condição comercial ou deixa de reconhecer um pedido de transferência. Uma conversa bem-sucedida não representa a variedade de situações que chegarão à produção.
Uma base de avaliação reúne cenários, contexto, resultados esperados e critérios de julgamento para comparar versões do agente. Ela permite transformar impressões em evidências, sem supor que um conjunto finito de testes prova perfeição.
1. Defina tarefas e falhas críticas
Comece pelo que o agente precisa fazer: esclarecer uma dúvida, coletar informações, consultar um pedido, preparar uma proposta ou encaminhar um caso. Para cada tarefa, liste erros que seriam inaceitáveis. Inventar uma reunião confirmada pode ser mais grave do que usar uma frase pouco elegante.
Separe correção factual, execução de ferramentas, respeito a permissões e qualidade da conversa. Um agente pode soar agradável e executar a ação errada. O desenho da avaliação deve impedir que uma nota geral alta esconda uma falha crítica.
2. Estruture cada caso
Registre mensagem, histórico necessário, dados disponíveis, ferramentas autorizadas e condições do ambiente. O resultado esperado nem sempre é uma frase exata: pode ser solicitar uma informação, recusar uma ação não autorizada ou chamar uma ferramenta com parâmetros corretos.
| Campo | Conteúdo | Finalidade |
|---|---|---|
| Identificador | Caso e versão | Rastreabilidade |
| Situação | Mensagem e contexto | Reproduzir a tarefa |
| Evidências | Dados permitidos | Conferir fatos |
| Resultado esperado | Ação e limites | Avaliar comportamento |
| Gravidade | Crítica, relevante ou estilística | Priorizar correções |
| Critério | Regra verificável | Evitar julgamento vago |
Preserve conjuntos de desenvolvimento e de avaliação final. Se todos os casos forem usados para ajustar o prompt, o resultado pode refletir adaptação à amostra, não capacidade de atender novos clientes.
3. Cubra conversas completas
Inclua múltiplas mensagens, correções e mudanças de assunto. O cliente pode informar o segmento no início e o nome depois. O agente deve utilizar os fatos já fornecidos, sem assumir que cada mensagem reinicia o atendimento.
Teste clientes com nomes parecidos, históricos separados e solicitações simultâneas. Verifique se a memória recuperada pertence à conversa correta. Acrescente pedidos de encerramento, retomada e intervenção humana. Esses estados não podem depender apenas de o modelo lembrar uma instrução textual.
4. Crie verificações determinísticas
Quando possível, use regras objetivas: o agente chamou uma ferramenta proibida? Enviou uma URL não autorizada? Tentou alterar um pedido de outra empresa? Afirmou um agendamento sem um retorno de confirmação? Esses critérios podem ser medidos sem um avaliador subjetivo.
Simule ferramentas com sucesso, erro, demora e resposta vazia. Não permita que a avaliação envie mensagens reais ou execute efeitos financeiros. O ambiente de teste precisa de isolamento e dados sintéticos. Qualidade da conversa não justifica riscos durante a própria medição.
5. Use rubricas para a linguagem
Naturalidade, clareza e adequação exigem avaliação contextual. Crie critérios concretos: responde à dúvida principal, usa os dados do cliente corretamente, evita repetição, faz poucas perguntas por vez e indica o próximo passo sem pressionar.
Uma rubrica pode atribuir níveis com exemplos de aprovação e reprovação. Faça revisão humana de uma amostra e compare avaliadores. Se usar outro modelo como apoio, calibre-o com decisões humanas e monitore divergências. O julgamento automatizado também pode errar.
6. Avalie incerteza e resistência a instruções indevidas
Inclua perguntas sem resposta na base e solicitações que exigem consulta atualizada. O comportamento correto pode ser reconhecer o limite e encaminhar. Penalize respostas inventadas mesmo quando parecem plausíveis.
Também teste conteúdo externo que tenta comandar o agente. O artigo sobre prompt injection aprofunda a separação entre evidência e instrução. A avaliação deve verificar o efeito: se o modelo recebeu conteúdo malicioso, as permissões e ferramentas ainda impediram uma ação indevida?
7. Compare versões sem trocar tudo ao mesmo tempo
Registre versão do prompt, modelo, parâmetros, base de conhecimento e ferramentas. Alterar todos simultaneamente dificulta descobrir a causa de uma regressão. Execute os mesmos cenários e compare por tarefa, gravidade, custo e duração.
Como a geração pode variar, uma única execução não caracteriza completamente o comportamento. Repita casos relevantes e reporte dispersão quando necessário. Não apresente “100% de acerto” sem informar amostra, critérios e condições. O AI RMF do NIST oferece princípios de gestão de riscos, mas não certifica o seu agente por ter sido citado.
8. Exemplo hipotético de regressão
Um novo prompt reduz o número de mensagens, mas passa a apresentar preço antes de entender a necessidade. A nota de concisão melhora e a adequação comercial piora. A base contém casos com escopo incompleto e detecta a mudança.
Em outro caso, o agente diz que existe uma reunião amanhã às dez sem qualquer ferramenta de agenda. O caso é reprovado como invenção de compromisso, independentemente de a redação soar natural. O teste deve impedir que estilo compense um fato falso.
Checklist de publicação
- Tarefas e erros críticos documentados.
- Contexto e ferramentas reproduzíveis.
- Casos de correção, ausência de dados e transferência.
- Verificação de isolamento entre clientes.
- Efeitos reais desabilitados no ambiente de teste.
- Rubrica de linguagem com exemplos.
- Comparação por versão e por gravidade.
- Amostra de produção revisada após a mudança.
Checklist para usar com sua equipe
Baixe o checklist editável em CSV e registre responsáveis, verificações e observações da implantação.
Perguntas frequentes
Quantos casos são suficientes?
Não existe um número universal. A cobertura deve refletir variedade, risco e frequência. Comece com cenários críticos e amplie a partir de falhas reais.
Uma nota média alta permite publicar?
Não se houver falhas críticas. Use critérios de bloqueio para efeitos e afirmações inaceitáveis.
O teste substitui monitoramento?
Não. Produção traz situações novas; elas devem alimentar a base após revisão e tratamento de dados.
Para criar uma avaliação útil do seu atendimento com IA, fale com a A2CR.
Autoria: Agência A2CR. Revisão editorial: 9 de novembro de 2026. Rubrica, procedimentos e exemplos hipotéticos elaborados pela A2CR.
