Avaliações de agentes

Prev Next

Tabela de Avaliações de Agentes de IA

Este artigo oferece uma visão geral clara dos resultados das avaliações (Evals), do comportamento esperado em comparação com o real e dos recursos de solução de problemas para agentes de IA no Tulip.

Visão geral

A avaliação sistemática dos agentes de IA é essencial para garantir que sejam confiáveis, precisos e atendam aos padrões de desempenho de nível empresarial, especialmente para implantação em ambientes de produção, regulamentados ou de outra forma sensíveis.

As tabelas de avaliações são ferramentas para medir o desempenho dos agentes de IA em uma variedade de tarefas do mundo real. Ao comparar os resultados esperados com os reais em cenários padronizados, é possível identificar lacunas, orientar melhorias e acompanhar a regressão ao longo do tempo. O uso consistente das avaliações traz transparência, repetibilidade e confiança ao ciclo de vida do seu agente.

Por que usar o Evals?

  • Confiabilidade: garanta que os agentes se comportem conforme o esperado antes da implantação em larga escala.
  • Rastreabilidade: documente a tomada de decisões e as alterações ao longo do tempo.
  • Avaliação comparativa: compare rapidamente agentes, prompts ou configurações.
  • Solução de problemas: acompanhe falhas e monitore melhorias de versão em versão.
  • Melhoria contínua: forneça um ciclo de feedback para o desenvolvimento de prompts e agentes.

Ciclo de vida do agente

  1. Criar o agente
    Defina o escopo, as ferramentas e o prompt inicial do agente.
  2. Executar avaliações
    Teste o agente com base nos prompts da tabela de avaliações.
  3. Documentar o desempenho
    Registre os resultados esperados em comparação com os reais e os resultados de aprovação/reprovação.
  4. Aperfeiçoar a instrução
    Atualize ou modifique o prompt para abranger casos de uso adicionais ou melhorar o comportamento.
  5. Execute as avaliações novamente
    Teste novamente usando os mesmos prompts e o mesmo conjunto de dados para garantir uma comparação justa.
  6. Iterar
    Repita esse ciclo até que o agente atinja consistentemente os critérios de desempenho.

Como usar as avaliações

  1. Defina comandos de teste claros:
    Escolha comandos ou cenários realistas que o agente precise lidar.
  2. Defina os resultados esperados:
    Anote critérios de sucesso precisos e mensuráveis para cada cenário.
  3. Execute o agente:
    Teste o agente utilizando cada solicitação em condições controladas.
  4. Documente os resultados reais:
    Registre a saída real ou o comportamento observado do agente.
  5. Avaliação de aprovação/reprovação:
    O agente atendeu aos critérios? Marque de acordo.
  6. Adicione comentários:
    Anote lacunas, comportamentos inesperados ou ideias de melhoria.
  7. Crie um Conjunto de Dados de Referência: Um conjunto selecionado de exemplos que abranja os principais casos de uso do agente. Teste cada alteração no prompt com base nesse conjunto de dados e promova-a para produção somente se as métricas melhorarem; caso contrário, continue iterando.

Como ler a tabela de avaliações

Coluna Descrição
Prompt A entrada do usuário ou o cenário fornecido ao agente (o que você testa).
Resultado esperado A resposta específica e correta que você espera do agente nessa situação.
Resultado real O que o agente realmente produziu ou fez em resposta ao prompt.
Aprovado/Reprovado Aprovado se os resultados esperados e reais corresponderem; Reprovado caso contrário.
Notas/Comentários Qualquer explicação, informação sobre solução de problemas ou contexto para o resultado.

Tabela de exemplos de avaliações

Nome do agente: Assistente de QA de exemplo

| Prompt | Resultado esperado | Resultado real | Aprovado/Reprovado | Notas/Comentários ||---------------------------------|-----------------------------------------------|-------------------------------------------------|----------------------|-----------|-----------------------------------|| “Resuma o registro de ontem.” | Resumo conciso e preciso com métricas-chave. | Resumo preciso, mas faltou a seção sobre tempo de inatividade. | Reprovado | Melhorar o prompt para incluir informações sobre tempo de inatividade. || “Encontre todas as ordens de compra em aberto para a Linha 3” | Lista correta de ordens de compra em aberto para a Linha 3. | Retornou todas as ordens de compra em aberto e estava correta. | Aprovado | || “Gere o relatório de fim de dia.” | Relatório completo, incluindo eventos de controle de qualidade. | Falta a seção de eventos de controle de qualidade. | Reprovado | Revise a integração dos dados de eventos de controle de qualidade. |


Leitura complementar

Solução de problemas

Se você encontrar problemas com algum agente de IA, tiver dúvidas sobre os critérios de avaliação ou quiser enviar comentários, acesse a Tulip Community.