Herramienta LLM

Advertencia

El flujo de mensajes en Microsoft Foundry y Azure Machine Learning se retirarán el 20 de abril de 2027. Ya no se recomienda el flujo de mensajes para el nuevo desarrollo. Migre las aplicaciones e implementaciones existentes de Prompt flow a Microsoft Agent Framework antes del 20 de abril de 2027.

Las imágenes de contenedor de flujo de mensajes ya no reciben actualizaciones, incluidas las actualizaciones de seguridad y paquetes. Esto se aplica a las imágenes en tiempo de ejecución del flujo de mensajes, como promptflow-runtime, promptflow-runtime-stabley promptflow-python.

Después del 20 de abril de 2027, el flujo de mensajes, incluida la experiencia de creación web en Microsoft Foundry y Azure Machine Learning, las extensiones de VS Code y las imágenes de contenedor de flujo de mensajes relacionadas, ya no se admitirán ni estarán disponibles.

Si la aplicación depende de las implementaciones de flujo de mensajes o imágenes en tiempo de ejecución, planee mover esas cargas de trabajo a alternativas admitidas, como Microsoft Agent Framework antes de la fecha de retirada. Para obtener instrucciones sobre la migración, consulte la guía de migración de flujo de mensajes y ejemplos de código de migración.

La herramienta de modelo de lenguaje grande (LLM) en el flujo de mensajes le permite usar modelos de lenguaje de gran tamaño, como OpenAI, Azure OpenAI en Microsoft Foundry Models o cualquier modelo de lenguaje compatible con la API de inferencia de modelos de IA de Azure para el procesamiento de lenguaje natural.

El flujo de mensajes proporciona varias API de modelo de lenguaje grande:

  • Finalización: los modelos de finalización de OpenAI generan texto en función de las indicaciones proporcionadas.
  • Chat: los modelos de chat de OpenAI y los modelos de chat de Azure AI facilitan conversaciones interactivas con entradas y respuestas basadas en texto.

La API embeddings no está disponible en la herramienta LLM. Use la herramienta embedding para generar incrustaciones con OpenAI o Azure OpenAI.

Note

La herramienta LLM en el flujo de mensajes no admite modelos de razonamiento (como OpenAI o1 o o3). Para la integración del modelo de razonamiento, use la herramienta Python para llamar directamente a las API del modelo. Para obtener más información, consulte Call a un modelo de razonamiento de la herramienta Python.

Prerequisites

Cree recursos de OpenAI:

Connections

Configure las conexiones a los recursos aprovisionados en el flujo del mensaje.

Tipo Name Clave de API Tipo de API Versión de API
OpenAI Obligatorio Obligatorio - -
Azure OpenAI: clave de API Obligatorio Obligatorio Obligatorio Obligatorio
Azure OpenAI: Microsoft Entra ID Obligatorio - - Obligatorio
Modelo sin servidor Obligatorio Obligatorio - -

Tip

Entradas

En las secciones siguientes se muestran varias entradas.

Finalización de texto

Name Tipo Descripción Obligatorio
prompt string Mensaje de texto para el modelo de lenguaje. Sí
modelo, nombre_de_despliegue string Modelo de lenguaje que se va a usar. Sí
max_tokens integer Número máximo de tokens que se van a generar en la finalización. El valor predeterminado es 16. No
temperatura float Aleatoriedad del texto generado. El valor predeterminado es 1. No
stop list Secuencia de detención del texto generado. El valor predeterminado es NULL. No
sufijo string Texto anexado al final de la finalización. No
top_p float Probabilidad de usar la opción superior de los tokens generados. El valor predeterminado es 1. No
logprobs integer Número de probabilidades de registro que se van a generar. El valor predeterminado es NULL. No
echo boolean Valor que indica si se devuelve el mensaje en la respuesta. El valor predeterminado es false. No
presence_penalty float Valor que controla el comportamiento del modelo para repetir frases. El valor predeterminado es 0. No
penalización por frecuencia float Valor que controla el comportamiento del modelo para generar frases poco frecuentes. El valor predeterminado es 0. No
mejor_de integer Número de mejores finalizaciones que se van a generar. El valor predeterminado es 1. No
logit_bias diccionario Sesgo de logit para el modelo de lenguaje. El valor predeterminado es un diccionario vacío. No

Chat

Name Tipo Descripción Obligatorio
prompt string Mensaje de texto que usa el modelo de lenguaje para una respuesta. Sí
modelo, nombre_de_despliegue string Modelo de lenguaje que se va a usar. Este parámetro no es necesario si el modelo se implementa en una implementación estándar. Sí*
max_tokens integer Número máximo de tokens que se van a generar en la respuesta. El valor predeterminado es inf. No
temperatura float Aleatoriedad del texto generado. El valor predeterminado es 1. No
stop list Secuencia de detención del texto generado. El valor predeterminado es NULL. No
top_p float Probabilidad de usar la opción superior de los tokens generados. El valor predeterminado es 1. No
presence_penalty float Valor que controla el comportamiento del modelo para repetir frases. El valor predeterminado es 0. No
penalización por frecuencia float Valor que controla el comportamiento del modelo para generar frases poco frecuentes. El valor predeterminado es 0. No
logit_bias diccionario Sesgo de logit para el modelo de lenguaje. El valor predeterminado es un diccionario vacío. No

Salidas

API Tipo de retorno Descripción
Completion string Texto de una finalización prevista
Chat string Texto de una respuesta de conversación

Uso de la herramienta LLM

  1. Configure y seleccione las conexiones a recursos de OpenAI o a una implementación estándar.
  2. Configure la API de modelo de lenguaje grande y sus parámetros.
  3. Prepare el mensaje con instrucciones.
  • Last updated on