--- title: "エージェントの評価" slug: "agent-evaluations" updated: 2026-10-22T11:05:59Z published: 2026-10-22T11:05:59Z canonical: "support.tulip.co/agent-evaluations" --- > ## Documentation Index > Fetch the complete documentation index at: https://support.tulip.co/llms.txt > Use this file to discover all available pages before exploring further. # エージェントの評価 ## AIエージェント評価表 この記事では、TulipのAIエージェントに関する評価**(Evals)**結果、期待される動作と実際の動作の比較、およびトラブルシューティングのリソースについて、わかりやすく解説しています。 ## 概要 AIエージェントが信頼性が高く、正確であり、エンタープライズグレードのパフォーマンス基準を満たしていることを確認するためには、体系的な評価が不可欠です。これは、特に本番環境、規制対象環境、またはその他の機密性の高い環境での導入において重要です。 **Evals テーブルは**、実環境におけるさまざまなタスクにわたって AI エージェントのパフォーマンスを測定するためのツールです。標準化されたシナリオにおいて、期待される結果と実際の結果を比較することで、ギャップを特定し、改善を導き、経時的な退行を追跡することができます。Evals を一貫して使用することで、エージェントのライフサイクルに透明性、再現性、そして信頼性をもたらします。 ## Evalsを利用する理由 - **信頼性:**大規模な導入前に、エージェントが意図したとおりに動作することを確認します。 - **トレーサビリティ:**意思決定や経時的な変更を記録します。 - **ベンチマーク:**エージェント、プロンプト、または設定を迅速に比較します。 - **トラブルシューティング:**障害を追跡し、リリースごとの改善状況を監視します。 - **継続的改善:**プロンプトおよびエージェントの設計に向けたフィードバックループを構築します。 ## エージェントのライフサイクル 1. **エージェントの作成** エージェントの範囲、ツール、および初期プロンプトを定義します。 2. **評価の実行** 「Evals」テーブルに記載されたプロンプトを用いてエージェントをテストする。 3. **パフォーマンスの記録** 期待される結果と実際の結果、および合格/不合格の結果を記録します。 4. **プロンプトの改良** 追加のユースケースを網羅したり、動作を改善したりするために、プロンプトを更新または修正します。 5. **評価を再実行する** 公平な比較を行うため、同じプロンプトとデータセットを使用して再度テストを行う。 6. **反復** エージェントがパフォーマンス基準を安定して満たすようになるまで、このサイクルを繰り返します。 ## Evalsの使用方法 1. **明確なテストプロンプトを定義する:** エージェントが処理すべき現実的なユーザープロンプトやシナリオを選択します。 2. **期待される結果の設定:** 各シナリオについて、正確で測定可能な成功基準を明記します。 3. **エージェントの実行:** 管理された環境下で、各プロンプトを使用してエージェントをテストします。 4. **実際の結果を記録する:** エージェントから得られた実際の出力や観察された挙動を記録します。 5. **合格/不合格の判定:** エージェントは基準を満たしましたか?それに応じて評価を記入してください。 6. **コメントの追加:** 不足点、予期せぬ挙動、または改善案を書き留めてください。 7. **ゴールデンデータセットの作成:**エージェントの中核となるユースケースを網羅した、厳選された例題のセットです。プロンプトの変更ごとにこのデータセットを用いてテストを行い、指標が改善した場合にのみ本番環境へ移行し、そうでない場合はさらに反復改善を行ってください。 ## 評価表の見方 | 列 | 説明 | | --- | --- | | プロンプト | エージェントに与えられたユーザー入力またはシナリオ(テスト対象)。 | | 期待される結果 | この状況において、エージェントから期待される具体的かつ正しい出力。 | | 実際の結果 | プロンプトに対してエージェントが実際に出力した内容、または行った動作。 | | 合格/不合格 | 期待結果と実際の結果が一致する場合は「合格」、そうでない場合は「不合格」とします。 | | 備考/コメント | 結果に関する説明、トラブルシューティング情報、または背景情報。 | --- ## 評価例表 | エージェント名:例:QAアシスタント | | --- | | | | プロンプト | 期待される結果 | 実際の結果 | 合格/不合格 | 備考/コメント ||---------------------------------|-----------------------------------------------|-------------------------------------------------|----------------------|-----------|-----------------------------------|| 「昨日のログを要約してください。」 | 主要な指標を含む、簡潔かつ正確な要約。 | 要約は正確だが、ダウンタイムのセクションが欠落している。 | 不合格 | ダウンタイム情報に関するプロンプトを改善する。 || 「ライン3の未処理POをすべて見つけてください」 | ライン3の未処理POの正しいリスト。 | 未処理のPOをすべて正確に返した。 | 合格 | || 「終日レポートを生成する。」 | QAイベントを含む完全なレポート。 | QAイベントのセクションが欠落している。 | 不合格 | QAイベントデータの統合を見直す。 | --- ## 関連資料 - [AIエージェントの概要](https://support.tulip.co/docs/ai-agents) - [AIエージェントの構築とスコープ設定](https://support.tulip.co/docs/building-and-scoping-agents) ## トラブルシューティング AIエージェントに関する問題が発生した場合、評価基準について質問がある場合、またはフィードバックを送信したい場合は、 [Tulip Community](https://community.tulip.co/)をご覧ください。