エージェントの評価について

AI エージェントがビジネスプロセスで重要なロールを担うようになるにつれて、信頼性と再現性のあるテストの必要性が高まっています。 エージェント評価を使用すると、エージェントのために現実のシナリオをシミュレートするテストを生成できます。 これらのテストは、手動で行うケースごとのテストよりも多くの質問や会話に迅速に対応できます。 その後、エージェントがアクセスできる情報に基づいて、エージェントの対話における回答の正確性、関連性、品質を測定できます。 テストセットの結果を活用することで、エージェントの挙動を最適化し、エージェントがビジネスや品質要件を満たしていることを検証できます。

自動化されたテストを使用する理由

エージェント評価は自動化された構造化テストを提供します。 問題を早期に発見し、誤答のリスクを減らし、エージェントの進化に伴い品質を維持します。 このプロセスは、エージェントテストに自動化された再現可能な品質保証をもたらします。 これにより、エージェントがビジネスで求められる正確性と信頼性の基準を満たしていることを確認し、運用状況の透明性を提供します。 テスト チャットを使ったテストとは異なる強みがあります。

Copilot Studioのインターフェース、Power Platform REST APIs、またはツールやフロー、Power Automateでアクションを追加することで、評価を実行し、結果を確認できます。

エージェント評価は正確性やパフォーマンスを測定しますが、AI倫理や安全性の問題は評価しません。 エージェントはすべての評価テストに合格しても、例えば質問に対して不適切な回答を出すことがあります。 顧客は引き続き責任あるAIレビューとコンテンツ安全フィルターを活用すべきです。評価はそれらのレビューやフィルターの代わりにはなりません。

Government Community Cloud の制限事項

Government Community Cloud（GCC）環境におけるエージェント評価には以下の制約があります。

  • メーカーはテストセットに ユーザープロファイル を追加することはできません。 ただし、ユーザープロファイルなしでも評価を実施できます。

  • メーカーは 類似性テスト方法 を評価で使用することはできません。 その他のテスト方法はすべて利用可能です。

エージェント評価の動作

Copilot Studio は、各エージェント評価に テストケース を使用します。 テストケースは、ユーザーがエージェントとやり取りする方法を模擬した一回の対話です。 対話は一つの質問の場合も、会話全体の場合もあります。

テストケースには、エージェントが返答すると期待される答えを含めることもできます。 例:

  • 質問例: 営業時間は何時ですか？

  • 想定される応答：私たちは月曜日から金曜日の午前9時から午後5時まで営業しています。

エージェント評価機能を使用すると、テストケースのグループを生成、インポート、または手動で作成できます。 このテストケース群はテストセットと呼ばれます。 テストセットを利用すると、以下のことができます。

  • エージェントに一問ずつ質問するのではなく、幅広い機能をカバーする複数のテストケースを一度に実行できます。

  • 分かりやすい集計スコアでエージェントのパフォーマンスを分析し、個々のテストケースを詳細に確認することもできます。

  • 同じテストセットを使用してエージェントの変更をテストすることで、パフォーマンスの変化を客観的な基準で測定・比較できます。

  • 新しいテストセットを迅速に作成したり、既存のテストセットを修正して、エージェントの能力や要件の変化に対応できます。

各テスト セットでは、複数のテスト方法を同時に使用してエージェントを評価できます。

シミュレートされたユーザーとして機能するユーザープロファイルを選択することもできます。 エージェントは、異なるユーザーに対して異なる応答や、リソースへのアクセス方法を変更するように設定されている場合があります。

テストセットを選択してエージェント評価を実行すると、Copilot Studio はテストケースの質問を送信し、エージェントの応答を記録し、それらの応答を期待される応答または品質基準と照合し、各テストケースにスコアを付与します。 各テスト ケースの詳細、トランスクリプト、アクティビティ マップ、およびエージェントが応答を作成するために使用したリソースも確認できます。

包括的な評価戦略を作成する

評価を実施する前に、エージェントの成功基準を定義し、ビジネス成果にとって最も重要なシナリオを選定しましょう。 明確な戦略は、適切なテスト手法の選択、影響度の高いテストケースの優先順位付け、結果を適切な文脈で解釈することに役立ちます。

評価を自動化されたフローに統合する

エージェント評価は自動化をサポートしているため、作成者は手作業なしで評価を実行できます。 REST APIやPower Platform コネクタを使用することで、評価の実行をプログラムによってトリガーし、テストを継続的インテグレーションや継続的展開（CI/CD）パイプラインなどの自動化されたワークフローに組み込むことができます。 この方法により、変更が加えられた際にテストセットを大規模に実行し、Copilot Studioで手動実行することなくエージェントの挙動を検証できます。

テスト チャットとエージェント評価の比較

各テスト手法は、エージェントの特性や挙動について異なる洞察を提供します。

テストチャット:

  • 1回につき1つの質問を受け取り、回答します。 同じテストを何度も繰り返すのは難しいです。

  • 複数のメッセージを含むセッション全体をテストできます。

  • ユーザーとしてチャットインターフェースでエージェントと対話できます。

エージェント評価:

  • テストセットを使えば複数のテストケースを同時に作成・実行できます。 同じテストセットでテストを繰り返せます。

  • テストケースごとに1つの質問と1つの応答、または1つの会話をテストできます。 ただし、テストチャットを使用する場合よりも会話の制御が限定されます。

  • 異なるユーザープロファイルを選択することで、自分で対話を行わなくても異なるユーザーをシミュレートできます。

エージェントをテストする際は、テストチャットとエージェント評価の両方を使ってエージェントの全体像を把握しましょう。

エージェント評価における言語サポート

Copilot Studioのエージェントは様々な言語をサポートしています。 エージェントを複数言語対応に設定すると、評価時に使用する言語を選択できます。

多言語エージェントの場合、以下の評価コンポーネントには特定の挙動があります。

クエリ生成

デフォルトの言語は、評価入力時に主に使う言語です。 評価を実行したい言語を選択してください。 追加で評価を行うと、結果は入力と同じ言語で出力されます。

グレーダー実行

多言語対応エージェントを評価する際、意味の比較評価方法は、期待される応答とエージェントの応答を比較します。 複数の言語に関する問題が発生した場合、システムが不一致を検出し、意味の比較グレーダーが応答を失敗と判断し、その応答は言語の不整合として失敗とマークされます。

説明可能性出力

マルチターン会話では、多言語エージェントとの場合、エージェントは応答に使うのと同じ言語で推論を提供します。

制限

現在、エージェント評価では Fabric データエージェント をサポートしていません。

  • Last updated on