LLM-Tool

Warning

Der Eingabeaufforderungsfluss in Microsoft Foundry und Azure Machine Learning wird am 20. April 2027 eingestellt. Der Aufforderungsfluss wird für die neue Entwicklung nicht mehr empfohlen. Migrieren Sie vorhandene Eingabeaufforderungsflussanwendungen und Bereitstellungen vor dem 20. April 2027 zu Microsoft Agent Framework.

Prompt flow-Containerimages erhalten keine Updates mehr, einschließlich Sicherheits- und Paketupdates. Dies gilt für Aufforderungsflusslaufzeitbilder, einschließlich promptflow-runtime, promptflow-runtime-stable, und promptflow-python.

Nach dem 20. April 2027 wird der Aufforderungsfluss, einschließlich der Weberstellungserfahrung in Microsoft Foundry und Azure Machine Learning, den VS Code-Erweiterungen und den zugehörigen Images für den Aufforderungsflussfluss nicht mehr unterstützt oder verfügbar.

Wenn Ihre Anwendung von Bereitstellungen oder Laufzeitimages für den Aufforderungsfluss abhängt, planen Sie, diese Workloads auf unterstützte Alternativen wie Microsoft Agent Framework vor dem Einstellungsdatum zu verschieben. Anleitungen zur Migration finden Sie im Leitfaden zur Eingabeaufforderungsflussmigration und im Migrationscodebeispiel.

Mit dem Tool für große Sprachmodelle (LLM) im Eingabeaufforderungsfluss können Sie häufig verwendete große Sprachmodelle wie OpenAI verwenden, Azure OpenAI in Microsoft Foundry Models oder einem beliebigen Sprachmodell, das vom Azure KI-Modell inference API für die Verarbeitung natürlicher Sprachen unterstützt wird.

Der Eingabeaufforderungsfluss stellt mehrere apIs für große Sprachmodelle bereit:

  • Abschluss: Die Abschlussmodelle von OpenAI generieren Text basierend auf den bereitgestellten Eingabeaufforderungen.
  • Chat: Die Chatmodelle von OpenAI und die Azure AI Chatmodelle ermöglichen interaktive Unterhaltungen mit textbasierten Eingaben und Antworten.

Die Einbettungs-API ist im LLM-Tool nicht verfügbar. Verwenden Sie das Tool embedding, um Einbettungen mit OpenAI oder Azure OpenAI zu generieren.

Note

Das LLM-Tool im Eingabeaufforderungsfluss unterstützt keine Begründungsmodelle (z. B. OpenAI o1 oder o3). Verwenden Sie aus Gründen der Modellintegration das Python Tool, um die Modell-APIs direkt aufzurufen. Weitere Informationen finden Sie unter Call a reasoning model from the Python tool.

Voraussetzungen

Erstellen von OpenAI-Ressourcen:

Verbindungen

Richten Sie Verbindungen für bereitgestellte Ressourcen im Eingabeaufforderungsfluss ein.

Type Name API-Schlüssel API-Typ API-Version
OpenAI Required Required - -
Azure OpenAI – API-Schlüssel Required Required Required Required
Azure OpenAI - Microsoft Entra ID Required - - Required
Serverloses Modell Required Required - -

Tip

Eingaben

In den folgenden Abschnitten werden verschiedene Eingaben angezeigt.

Textvervollständigung

Name Type Description Required
Eingabeaufforderung string Textaufforderung für das Sprachmodell. Ja
Modell, Bereitstellungsname string Zu verwendende Sprachmodell. Ja
maximale_Anzahl_von_Tokens integer Maximale Anzahl von Token, die im Abschluss generiert werden sollen. Der Standardwert ist 16. No
Temperatur float Zufälligkeit des generierten Texts. Der Standardwert ist 1. No
Stopp list Beenden der Sequenz für den generierten Text. Der Standardwert ist NULL. No
Suffix string Am Ende des Abschlusses angefügter Text. No
top_p float Wahrscheinlichkeit der Verwendung der obersten Auswahl aus den generierten Token. Der Standardwert ist 1. No
logprobs integer Anzahl der zu generierenden Protokollwahrscheinlichkeiten. Der Standardwert ist NULL. No
Echo boolean Wert, der angibt, ob die Eingabeaufforderung in der Antwort zurückgegeben werden soll. Der Standardwert ist "false". No
presence_penalty float Wert, der das Verhalten des Modells für wiederholte Ausdrücke steuert. Der Standardwert ist 0. No
frequency_penalty float Wert, der das Verhalten des Modells zum Generieren seltener Ausdrücke steuert. Der Standardwert ist 0. No
best_of integer Die Anzahl der besten Zugänge, die generiert werden sollen. Der Standardwert ist 1. No
Logit-Bias Wörterbuch Logit-Verzerrung für das Sprachmodell. Der Standardwert ist ein leeres Wörterbuch. No

Chat

Name Type Description Required
Eingabeaufforderung string Textaufforderung, die vom Sprachmodell für eine Antwort verwendet wird. Ja
Modell, Bereitstellungsname string Zu verwendende Sprachmodell. Dieser Parameter ist nicht erforderlich, wenn das Modell in einer Standardbereitstellung bereitgestellt wird. Ja*
maximale_Anzahl_von_Tokens integer Maximale Anzahl von Token, die in der Antwort generiert werden sollen. Der Standardwert ist "inf". No
Temperatur float Zufälligkeit des generierten Texts. Der Standardwert ist 1. No
Stopp list Beenden der Sequenz für den generierten Text. Der Standardwert ist NULL. No
top_p float Wahrscheinlichkeit der Verwendung der obersten Auswahl aus den generierten Token. Der Standardwert ist 1. No
presence_penalty float Wert, der das Verhalten des Modells für wiederholte Ausdrücke steuert. Der Standardwert ist 0. No
frequency_penalty float Wert, der das Verhalten des Modells zum Generieren seltener Ausdrücke steuert. Der Standardwert ist 0. No
Logit-Bias Wörterbuch Logit-Verzerrung für das Sprachmodell. Der Standardwert ist ein leeres Wörterbuch. No

Ausgaben

API Rückgabetyp Description
Fertigstellung string Text eines vorhergesagten Abschlusses
Chat string Text einer Antwort einer Unterhaltung

Verwenden des LLM-Tools

  1. Richten Sie die Verbindungen mit OpenAI-Ressourcen oder einer Standardbereitstellung ein, und wählen Sie sie aus.
  2. Konfigurieren Sie die API für große Sprachenmodelle und die zugehörigen Parameter.
  3. Bereiten Sie die Aufforderung mit Anleitungen vor.
  • Last updated on