Consultar LLMs e agentes no Azure Databricks

Azure Databricks fornece várias maneiras de consultar LLMs (modelos de linguagem grandes), modelos de base e agentes implantados. Escolha uma interface do usuário interativa, SQL, APIs REST ou bibliotecas de cliente, dependendo do fluxo de trabalho.

Laboratório de IA

O AI Playground é um ambiente de chat sem código em seu workspace Azure Databricks para solicitar e comparar LLMs. Use-o para experimentar prompts, ajustar parâmetros, como temperatura e número máximo de tokens, e criar protótipos de agentes com chamada de ferramentas e bots de perguntas e respostas lado a lado antes de passar para o código.

Modelos de base

O Azure Databricks atende modelos de fundação nativamente como APIs de modelos (serviços de modelo) por meio do Unity AI Gateway. Todo usuário de conta pode chamar os modelos pay-per-token no system.ai esquema sem configuração. Escolha as APIs de modelo que atendam às suas necessidades:

• APIs de modelos fornecidas pelo sistema emsystem.ai: Modelos servidos nativamente pelo Azure Databricks, prontos para consultar com o SDK compatível com OpenAI, APIs nativas de provedores, ou ai_query. Veja Consultar APIs de modelo (serviços de modelo).
• APIs personalizadas de modelos: Crie a sua própria quando precisar de modelos além dos padrão, ou para distribuir carga e configurar backups.

Agentes de consulta

Depois de compilar e implantar um agente, faça consultas ao agente no seu aplicativo. Os agentes podem ser hospedados no Databricks Apps ou em endpoints do Model Serving. Azure Databricks dá suporte a três métodos de consulta:

• Cliente Databricks OpenAI: Recomendado para novas aplicações, com streaming nativo e suporte completo a recursos.
• API REST compatível com OpenAI: Independente da linguagem, funciona com qualquer plataforma que já fale a API OpenAI.
• ai_query: Consultar agentes legados hospedados em endpoints Model Serving a partir de SQL.

Enriqueça dados com Funções de IA

AI Functions são funções SQL internas que aplicam LLMs e outros modelos a dados armazenados em Azure Databricks. Execute-os no Databricks SQL, em notebooks, pipelines do Lakeflow ou Workflows para classificar tíquetes de suporte, extrair entidades de documentos, resumir conteúdo ou traduzir texto em escala de lote.

Escolha entre dois estilos de funções:

• Funções específicas para tarefas, como ai_classify, ai_extract e ai_parse_document, são otimizadas para uma única tarefa e usam sistemas gerenciados pelo Azure Databricks e embasados por pesquisa.
• ai_query é a função de uso geral. Crie seu próprio prompt e escolha qualquer modelo de base suportado. Confira Usar ai_query.

Para obter um exemplo de ponta a ponta, consulte Analisar análises de clientes usando o AI Functions.