상담원 평가

Prev Next

AI 에이전트 평가 표

이 문서에서는 Tulip의 AI 에이전트에 대한 평가 (Evals) 결과, 예상 동작과 실제 동작의 비교, 문제 해결 리소스에 대한 명확한 개요를 제공합니다.

개요

AI 에이전트가 신뢰할 수 있고 정확하며 엔터프라이즈급 성능 기준을 충족하는지 확인하기 위해서는 체계적인 평가가 필수적이며, 특히 프로덕션, 규제 대상 또는 그 밖의 민감한 환경에 배포할 때 더욱 중요합니다.

Evals 표는 다양한 실제 작업에 걸쳐 AI 에이전트의 성능을 측정하는 도구입니다. 표준화된 시나리오에서 예상 결과와 실제 결과를 비교함으로써, 격차를 파악하고 개선을 유도하며 시간 경과에 따른 성능 저하를 추적할 수 있습니다. Evals를 일관되게 사용하면 에이전트 수명 주기에 투명성, 재현성 및 신뢰성을 확보할 수 있습니다.

Evals를 사용해야 하는 이유

  • 신뢰성: 대규모 배포 전에 에이전트가 의도한 대로 작동하는지 확인합니다.
  • 추적 가능성: 의사 결정 과정과 시간 경과에 따른 변경 사항을 문서화합니다.
  • 벤치마킹: 에이전트, 프롬프트 또는 구성을 신속하게 비교합니다.
  • 문제 해결: 오류를 추적하고 릴리스별 개선 사항을 모니터링합니다.
  • 지속적인 개선: 프롬프트 및 에이전트 엔지니어링을 위한 피드백 루프를 제공합니다.

에이전트 수명 주기

  1. 에이전트 생성
    에이전트의 범위, 도구 및 초기 프롬프트를 정의합니다.
  2. 평가 실행
    Evals 테이블에 있는 프롬프트를 사용하여 에이전트를 테스트합니다.
  3. 성능 기록
    예상 결과와 실제 결과를 기록하고, 합격/불합격 결과를 기록합니다.
  4. 프롬프트 개선
    추가 사용 사례를 포함하거나 동작을 개선하기 위해 프롬프트를 업데이트하거나 수정합니다.
  5. Evals 재실행
    공정한 비교를 보장하기 위해 동일한 프롬프트와 데이터셋을 사용하여 다시 테스트하십시오.
  6. 반복
    에이전트가 성능 기준을 일관되게 충족할 때까지 이 주기를 반복하십시오.

Evals 사용 방법

  1. 명확한 테스트 프롬프트 정의:
    에이전트가 처리해야 할 현실적인 사용자 프롬프트나 시나리오를 선택하십시오.
  2. 예상 결과 설정:
    각 시나리오에 대해 정확하고 측정 가능한 성공 기준을 작성하십시오.
  3. 에이전트 실행:
    통제된 환경에서 각 프롬프트를 사용하여 에이전트를 테스트하십시오.
  4. 실제 결과 기록:
    에이전트에서 관찰된 실제 출력 또는 동작을 기록하십시오.
  5. 합격/불합격 평가:
    에이전트가 기준을 충족했습니까? 그에 따라 표시하십시오.
  6. 의견 추가:
    미흡한 점, 예상치 못한 동작 또는 개선 아이디어를 기록하십시오.
  7. 골든 데이터셋 생성: 에이전트의 핵심 사용 사례를 포괄하는 선별된 예시 집합입니다. 이 데이터셋을 기준으로 모든 프롬프트 변경 사항을 테스트하고, 지표가 개선된 경우에만 프로덕션에 배포하십시오. 그렇지 않은 경우, 추가 반복 작업을 수행하십시오.

평가표 읽는 법

열 설명
프롬프트 에이전트에 제공된 사용자 입력 또는 시나리오(테스트 대상).
예상 결과 이 상황에서 에이전트로부터 기대하는 구체적이고 올바른 출력.
실제 결과 프롬프트에 대한 응답으로 에이전트가 실제로 출력하거나 수행한 내용.
합격/불합격 예상 결과와 실제 결과가 일치하면 ‘합격’, 그렇지 않으면 ‘불합격’입니다.
비고/코멘트 결과에 대한 설명, 문제 해결 정보 또는 배경 정보.

평가 예시 표

에이전트 이름: 예시 QA 어시스턴트

| 프롬프트 | 예상 결과 | 실제 결과 | 합격/불합격 | 참고 사항/코멘트 ||---------------------------------|-----------------------------------------------|-------------------------------------------------|----------------------|-----------|-----------------------------------|| "어제 로그를 요약해 주세요." | 주요 지표가 포함된 간결하고 정확한 요약. | 요약은 정확했으나, 가동 중단 시간 섹션이 누락되었습니다. | 불합격 | 가동 중단 시간 정보에 대한 프롬프트를 개선하세요. || "3호선의 모든 미결 PO를 찾아주세요" | 3호선의 미결 PO 목록이 정확합니다. | 미결 P.O.를 모두 반환했으며 정확했습니다. | 합격 | || "일일 마감 보고서를 생성하세요." | QA 이벤트를 포함한 완전한 보고서. | QA 이벤트 섹션이 누락되었습니다. | 불합격 | QA 이벤트 데이터 통합을 검토하십시오. |


추가 자료

문제 해결

AI 에이전트와 관련하여 문제가 발생하거나, 평가 기준에 대한 문의 사항이 있거나, 피드백을 공유하고 싶으시면 다음을 방문하십시오. Tulip Community를 방문해 주십시오.