スコアラーと LLM ジャッジ

スコアラーは、MLflow GenAI 評価フレームワークの主要なコンポーネントです。 モデル、エージェント、アプリケーションの評価基準を定義するための統合インターフェイスが用意されています。 彼らの名前が示すように、スコアラーは評価基準に基づいてアプリケーションがどれだけうまくいったかをスコア付けします。 これは、成功/失敗、true/false、数値、またはカテゴリ値です。

運用環境での開発と監視の評価に同じスコアラーを使用して、アプリケーションのライフサイクル全体にわたって評価の一貫性を保つことができます。

必要なカスタマイズとコントロールの量に応じて、適切な種類のスコアラーを選択します。 各アプローチは、前のアプローチに基づいて構築され、より複雑さと制御が追加されます。

迅速な評価のために 、組み込みのジャッジ から始めます。 ニーズが進化するにつれて、ドメイン固有の条件に対 するカスタム LLM ジャッジ を構築し、決定論的ビジネス ロジック用の カスタム コード ベースのスコアラー を作成します。

方法 カスタマイズのレベル ユース ケース
組み込みのジャッジ 最小限 (ガイドラインのジャッジに対しては中程度) CorrectnessやRetrievalGroundednessなどの組み込みのスコアラーを使用して、LLM の評価をすばやく試します。
また、組み込みのジャ ッジには、ガイドラインジャッジ、スタイルや事実性のガイドラインなどのカスタム自然言語ルールに応答が合格または失敗したかどうかをチェックする組み込みのジャッジも含まれます。
カスタムジャッジ 完全 詳細な評価基準とフィードバックの最適化を使用して、完全にカスタマイズされた LLM ジャッジを作成します。
数値スコア、カテゴリ、またはブール値を返す機能。
コード ベースのスコアラー 完全 完全一致、書式の検証、パフォーマンス メトリックなどを評価するプログラムおよび決定論的スコアラー。
サード パーティのスコアラー 完全 オープンソースの評価フレームワークから使用できる特殊なメトリックが必要な場合。

次のスクリーンショットは、組み込みの LLM ジャッジ Safety とカスタム スコアラー exact_matchの結果を示しています。

スコアラーからのメトリックの例

スコアラーのしくみ

スコアラーは、または監視サービスからevaluate()を受け取ります。 その後、次の処理が実行されます。

  1. traceを解析して、品質の評価に使用される特定のフィールドとデータを抽出します。
  2. スコアラーを実行して、抽出されたフィールドとデータに基づいて品質評価を実行します。
  3. 品質評価を Feedback に添付して trace として返します。

評価のトレース

評価ユーザーインターフェース (UI)

ジャッジとしての LLM

LLM ジャッジは、品質評価に大規模言語モデルを使用する MLflow Scorer の一種です。

審査官は、品質評価に特化した AI アシスタントと考えてください。 アプリの入力、出力を評価したり、実行トレース全体を調べて、定義した条件に基づいて評価を行ったりすることもできます。 たとえば、ジャッジは、 give me healthy food options と food to keep me fit が似たクエリであることを理解できます。

注

ジャッジは評価に LLM を使用するスコアラーの一種です。 mlflow.genai.evaluate()で直接使用するか、高度なスコアリング ロジックのためにカスタム スコアラーにラップします。

ビルトインLLM評価機能

MLflow は、関連性、安全性、接地性、正確性などの一般的な品質ディメンションについて、調査検証済みの組み込みジャッジを提供します。 各ジャッジの完全なリストと詳細なガイダンスについては、 組み込みの LLM ジャッジを参照してください。

複数ターンの判定者

会話型 AI システムの場合、MLflow には、個々のターンではなく会話全体を評価する組み込みのジャッジも用意されています。 マルチターン判定を参照してください。

カスタム LLM ジャッジ

組み込みのジャッジに加えて、カスタムプロンプトと指示を使用して独自のジャッジを作成することができます。

特殊な評価タスクを定義する必要がある場合、成績やスコアをより細かく制御する必要がある (合格/不合格だけでなく) 必要な場合、またはエージェントが特定のユース ケースに対して適切な決定を行い、操作を正しく実行したことを検証する必要がある場合は、カスタム LLM ジャッジを使用します。 ジャッジアライメントを使用して、体系的なフィードバックを通じて人間の評価基準に一致するようにカスタムLLMジャッジをトレーニングします。

カスタムジャッジを参照してください。

ジャッジに力を入れる LLM を選択する

既定では、各ジャッジは、GenAI 品質評価を実行するように設計 された Databricks でホストされる LLM を使用します。 ジャッジ定義の model 引数を使用して、ジャッジ モデルを変更できます。 <provider>:/<model-name>形式でモデルを指定します。 例えば次が挙げられます。

from mlflow.genai.scorers import Correctness

Correctness(model="databricks:/databricks-gpt-5-mini")

LLM ジャッジをサポートするモデルに関する情報

  • LLM の判事は、Microsoftが運営する OpenAI Azure含め、サードパーティのサービスを使用して AI アプリケーションを評価する場合があります。
  • Azure OpenAI の場合、Databricks は不正使用の監視をオプトアウトしているため、Azure OpenAI でプロンプトや応答が保存されません。
  • クロス Geo 処理が無効になっている場合、LLM はワークスペースの Databricks Geo 内のプロセス コンテンツを判断します。 利用できる Geo 内モデルがない場合、ジャッジは地理制限エラーを返します。 クロス Geo 処理が有効になっている場合、LLM のジャッジは他の Geo 内のコンテンツを処理できます。
  • パートナーを利用する AI 機能を無効にすると、LLM ジャッジがパートナーを利用するモデルを呼び出すのを防ぐことができます。 独自のモデルを提供することで、LLM ジャッジを引き続き使用できます。
  • LLM のジャッジは、顧客が AI エージェント/アプリケーションを評価するのを支援することを目的としています。LLM ジャッジの出力は、LLM のトレーニング、改善、微調整には使用しないでください。

ジャッジの正確性

Databricks は、次の方法で継続的にジャッジの品質を向上させます。

  • 人間の専門家の判断に対する研究検証
  • メトリクスの追跡: カッパ係数、精度、F1 スコア
  • 学術的および現実世界のデータセットに関する多様なテスト

コード ベースのスコアラー

カスタム コードベースのスコアラーは、GenAI アプリケーションの品質の測定方法を正確に定義する究極の柔軟性を提供します。 単純なヒューリスティック、高度なロジック、またはプログラムによる評価に基づいて、特定のビジネス ユース ケースに合わせた評価メトリックを定義できます。

次のシナリオでは、カスタム スコアラーを使用します。

  1. カスタムヒューリスティックまたはコードベースの評価メトリックの定義。
  2. アプリのトレースからのデータを組み込みの LLM ジャッジにマップする方法をカスタマイズする。
  3. 評価に独自の LLM (Databricks でホストされる LLM ジャッジではなく) を使用する。
  4. カスタム LLM ジャッジによって提供されるよりも高い柔軟性と制御が必要なその他のユース ケース。

コードベースのスコアラーを参照してください。

  • Last updated on