Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Codebasierte Scorer sind Python-Funktionen, die Sie erstellen. Verwenden Sie sie, wenn integrierte LLM-Richter und benutzerdefinierte LLM-Richter nicht Ihren Bewertungsanforderungen entsprechen. Zum Beispiel ermöglichen es Ihnen codebasierte Bewertungsfunktionen, Folgendes zu tun:
- Definieren Sie eine benutzerdefinierte heuristische oder programmgesteuerte Auswertungsmetrik.
- Passen Sie an, wie Trace-Daten einem integrierten LLM-Judge von Databricks zugeordnet werden.
- Verwenden Sie Ihr eigenes LLM (anstelle eines von Databricks gehosteten LLMs als Bewertungsinstanz) für die Bewertung.
- Andere Anwendungsfälle, bei denen Sie mehr Flexibilität und Kontrolle benötigen, als benutzerdefinierte LLM-Judges bieten.
Sie können denselben codebasierten Scorer für die Auswertung in der Entwicklung und Überwachung in der Produktion verwenden.
Auswählen eines Definitionsformats
MLflow unterstützt zwei Möglichkeiten zum Definieren eines codebasierten Scorers:
| Vorgehensweise | Verwenden Sie, wenn | Produktionsüberwachung |
|---|---|---|
@scorer Dekorateur |
Die meisten Fälle. Empfohlener Ausgangspunkt. | Unterstützt (wenn es in einem Databricks-Notebook definiert und registriert wurde). |
Scorer Klasse |
Sie benötigen zustandsbehaftete Scorer, komplexe Initialisierungsfelder oder Pydantische Felder. | Wird nicht unterstützt. |
:::note Kompatibilität mit Produktionsüberwachung
Die Produktionsüberwachung unterstützt integrierte LLM-Auswerter und mit @scorer dekorierte Funktionen. Klassenbasierte Scorer Unterklassen werden für die Produktionsüberwachung nicht unterstützt . Wenn Sie im Produktivbetrieb zustandsbehaftete Scorer benötigen, verwenden Sie den @scorer Dekorator und verwalten Sie den Zustand innerhalb des Funktionskörpers.
Mit @scorer dekorierte Funktionen, die in der Produktionsüberwachung verwendet werden, müssen in einem Databricks-Notebook definiert und registriert werden. Der Überwachungsdienst serialisiert den Funktionscode für die Remoteausführung, und diese Serialisierung erfordert die Notizbuchumgebung. Einzelheiten finden Sie unter Verwenden von benutzerdefinierten Bewertungsfunktionen.
:::
Weitere Ressourcen
Entwickeln von codebasierten Scorern – Schrittweises Durchlaufen des Entwicklungsworkflows für codebasierte Scorer.
Beispiele für codebasierte Scorer – Ausgearbeitete Beispiele zu gängigen Mustern für codebasierte Scorer.
GenAI-Apps während der Entwicklung bewerten - Verstehen Sie, wie
mlflow.genai.evaluate()Ihre Scorer verwendet.Überwachen von GenAI-Apps in der Produktion – Bereitstellen von Scorern für eine kontinuierliche Überwachung.
Codebasierte Scorerreferenz – Referenz für
@scorerundScorer, einschließlich Signaturen, Eingaben, Ausgaben, Metrikbenennung, Fehlerbehandlung und Zugriff auf geheime Schlüssel.