--- title: "상담원 평가" slug: "agent-evaluations" updated: 2026-10-22T11:06:10Z published: 2026-10-22T11:06:10Z canonical: "support.tulip.co/agent-evaluations" --- > ## Documentation Index > Fetch the complete documentation index at: https://support.tulip.co/llms.txt > Use this file to discover all available pages before exploring further. # 상담원 평가 ## AI 에이전트 평가 표 이 문서에서는 Tulip의 AI 에이전트에 대한 평가 **(Evals)** 결과, 예상 동작과 실제 동작의 비교, 문제 해결 리소스에 대한 명확한 개요를 제공합니다. ## 개요 AI 에이전트가 신뢰할 수 있고 정확하며 엔터프라이즈급 성능 기준을 충족하는지 확인하기 위해서는 체계적인 평가가 필수적이며, 특히 프로덕션, 규제 대상 또는 그 밖의 민감한 환경에 배포할 때 더욱 중요합니다. **Evals 표는** 다양한 실제 작업에 걸쳐 AI 에이전트의 성능을 측정하는 도구입니다. 표준화된 시나리오에서 예상 결과와 실제 결과를 비교함으로써, 격차를 파악하고 개선을 유도하며 시간 경과에 따른 성능 저하를 추적할 수 있습니다. Evals를 일관되게 사용하면 에이전트 수명 주기에 투명성, 재현성 및 신뢰성을 확보할 수 있습니다. ## Evals를 사용해야 하는 이유 - **신뢰성:** 대규모 배포 전에 에이전트가 의도한 대로 작동하는지 확인합니다. - **추적 가능성:** 의사 결정 과정과 시간 경과에 따른 변경 사항을 문서화합니다. - **벤치마킹:** 에이전트, 프롬프트 또는 구성을 신속하게 비교합니다. - **문제 해결:** 오류를 추적하고 릴리스별 개선 사항을 모니터링합니다. - **지속적인 개선:** 프롬프트 및 에이전트 엔지니어링을 위한 피드백 루프를 제공합니다. ## 에이전트 수명 주기 1. **에이전트 생성** 에이전트의 범위, 도구 및 초기 프롬프트를 정의합니다. 2. **평가 실행** Evals 테이블에 있는 프롬프트를 사용하여 에이전트를 테스트합니다. 3. **성능 기록** 예상 결과와 실제 결과를 기록하고, 합격/불합격 결과를 기록합니다. 4. **프롬프트 개선** 추가 사용 사례를 포함하거나 동작을 개선하기 위해 프롬프트를 업데이트하거나 수정합니다. 5. **Evals 재실행** 공정한 비교를 보장하기 위해 동일한 프롬프트와 데이터셋을 사용하여 다시 테스트하십시오. 6. **반복** 에이전트가 성능 기준을 일관되게 충족할 때까지 이 주기를 반복하십시오. ## Evals 사용 방법 1. **명확한 테스트 프롬프트 정의:** 에이전트가 처리해야 할 현실적인 사용자 프롬프트나 시나리오를 선택하십시오. 2. **예상 결과 설정:** 각 시나리오에 대해 정확하고 측정 가능한 성공 기준을 작성하십시오. 3. **에이전트 실행:** 통제된 환경에서 각 프롬프트를 사용하여 에이전트를 테스트하십시오. 4. **실제 결과 기록:** 에이전트에서 관찰된 실제 출력 또는 동작을 기록하십시오. 5. **합격/불합격 평가:** 에이전트가 기준을 충족했습니까? 그에 따라 표시하십시오. 6. **의견 추가:** 미흡한 점, 예상치 못한 동작 또는 개선 아이디어를 기록하십시오. 7. **골든 데이터셋 생성:** 에이전트의 핵심 사용 사례를 포괄하는 선별된 예시 집합입니다. 이 데이터셋을 기준으로 모든 프롬프트 변경 사항을 테스트하고, 지표가 개선된 경우에만 프로덕션에 배포하십시오. 그렇지 않은 경우, 추가 반복 작업을 수행하십시오. ## 평가표 읽는 법 | 열 | 설명 | | --- | --- | | 프롬프트 | 에이전트에 제공된 사용자 입력 또는 시나리오(테스트 대상). | | 예상 결과 | 이 상황에서 에이전트로부터 기대하는 구체적이고 올바른 출력. | | 실제 결과 | 프롬프트에 대한 응답으로 에이전트가 실제로 출력하거나 수행한 내용. | | 합격/불합격 | 예상 결과와 실제 결과가 일치하면 ‘합격’, 그렇지 않으면 ‘불합격’입니다. | | 비고/코멘트 | 결과에 대한 설명, 문제 해결 정보 또는 배경 정보. | --- ## 평가 예시 표 | 에이전트 이름: 예시 QA 어시스턴트 | | --- | | | | 프롬프트 | 예상 결과 | 실제 결과 | 합격/불합격 | 참고 사항/코멘트 ||---------------------------------|-----------------------------------------------|-------------------------------------------------|----------------------|-----------|-----------------------------------|| "어제 로그를 요약해 주세요." | 주요 지표가 포함된 간결하고 정확한 요약. | 요약은 정확했으나, 가동 중단 시간 섹션이 누락되었습니다. | 불합격 | 가동 중단 시간 정보에 대한 프롬프트를 개선하세요. || "3호선의 모든 미결 PO를 찾아주세요" | 3호선의 미결 PO 목록이 정확합니다. | 미결 P.O.를 모두 반환했으며 정확했습니다. | 합격 | || "일일 마감 보고서를 생성하세요." | QA 이벤트를 포함한 완전한 보고서. | QA 이벤트 섹션이 누락되었습니다. | 불합격 | QA 이벤트 데이터 통합을 검토하십시오. | --- ## 추가 자료 - [AI 에이전트 개요](https://support.tulip.co/docs/ai-agents) - [AI 에이전트 구축 및 범위 설정](https://support.tulip.co/docs/building-and-scoping-agents) ## 문제 해결 AI 에이전트와 관련하여 문제가 발생하거나, 평가 기준에 대한 문의 사항이 있거나, 피드백을 공유하고 싶으시면 다음을 방문하십시오. [Tulip Community](https://community.tulip.co/)를 방문해 주십시오.