Capacidades de IA do Azure Databricks

Azure Databricks fornece uma plataforma para criar, avaliar, implantar e monitorar aplicativos de IA (aplicativos de IA). Ele reúne um conjunto de ferramentas que abordam os desafios do desenvolvimento de aplicativos de IA de nível empresarial. O Azure Databricks integra-se a estruturas de software livre populares, adicionando governança de nível empresarial, observabilidade e ferramentas operacionais, coletivamente conhecidas como LLMOps.

Esta página lista os principais recursos para IA, organizados por estágios de fluxo de trabalho de IA.

Consultar IA

Azure Databricks disponibiliza modelos de IA de última geração dos principais provedores de modelos, facilmente disponíveis por meio de Modelos Fundamentais hospedados pelo Databricks. Você também pode consultar modelos de provedores externos e seus modelos personalizados. Todos esses modelos podem ser consultados por meio de interfaces de interface do usuário, API/SDK e SQL. Essa opcionalidade permite que você use IA para todos os casos de uso--- chat geral, agentes complexos, pipelines de dados automatizados, análise de dados interativa e muito mais.

Método Características
interface do usuário
  • Para desenvolvimento, o AI Playground fornece uma interface do usuário para consultar os modelos e agentes de IA disponíveis.
  • Para testes, seus agentes e aplicativos podem ser consultados e avaliados por especialistas em domínio usando o Aplicativo de Revisão.
  • Para produção, seus aplicativos podem ser hospedados com uma interface do usuário usando o Databricks Apps para uso dentro de sua organização. Para aplicativos externos, você pode habilitar aplicativos voltados para o usuário usando APIs do Databricks.
API e SDK
SQL
  • As funções de IA fornecem funções SQL específicas à tarefa e de uso geral para consultar modelos e agentes.

Criar IA

Azure Databricks fornece um conjunto flexível de ferramentas para a criação de aplicativos de IA, agentes, ferramentas e modelos. Isso inclui interface do usuário e estruturas baseadas em código, que podem otimizar sistemas de IA com base em seus dados. Você pode aproveitar qualquer estrutura de IA de software livre e integrar ferramentas personalizadas e servidores MCP.

Categoria Características
Apps
Agentes
Tools
Modelos e prompts

Preparar e servir dados

O Azure Databricks simplifica os dados para IA unificando a governança de dados tradicionais e cargas de trabalho de IA. Com todos os dados gerenciados no Catálogo do Unity com controles de acesso refinados, é fácil ajustar a engenharia de dados e os limites de IA para se ajustar à sua organização. Os dados podem ser preparados para IA usando qualquer ferramenta de engenharia de dados, como os pipelines do Lakeflow. Uma tabela no Catálogo do Unity pode ser atendida para IA, usando um índice de vetor para dados não estruturados ou uma tabela de recursos para dados estruturados.

Tipo de dados Características
Não estruturado (texto, imagens etc.)
  • A Pesquisa de IA indexa automaticamente sua base de dados de conhecimento em escala para pesquisa semântica ou híbrida.
Estruturado (tabelas)
  • O SQL sem servidor permite integrar tabelas e consultas SQL ao seu aplicativo de IA para análises ou transformações.
  • Os agentes do Genie podem ser usados em sistemas de vários agentes para responder a consultas de linguagem natural sobre seus dados estruturados.
  • As lojas de recursos online fornecem acesso a recursos em tempo real para seu aplicativo de IA.

Implantar e servir IA

Azure Databricks fornece sistemas de serviço prontos para produção para aplicativos de IA, agentes e modelos apoiados pelos Aplicativos do Databricks. Essas implantações escalonáveis podem ser usadas para serviço em tempo real e inferência em lote. Todas as implantações se integram às ferramentas de observabilidade e avaliação e monitoramento.

Estrutura de desenvolvimento Implantação e serviço
Aplicativos do Databricks Aplicativos e agentes podem ser implantados usando o Databricks Apps, que fornece implantação baseada em interface do usuário e API.
Assistente de Conhecimento O Assistente de Conhecimento automatiza a implantação do seu agente em endpoints de Model Serving.

Rastrear, avaliar e monitorar a IA

Azure Databricks fornece MLflow gerenciado para observabilidade, avaliação e monitoramento de IA. As APIs de software livre simplificam a integração e a portabilidade, enquanto o serviço gerenciado fornece pontos de extremidade prontos para produção. O MLflow gerenciado pelo Databricks pode ser usado para aplicativos de IA e agentes hospedados no Databricks e hospedados em outros lugares.

Categoria Características
Rastreamento e observabilidade
  • O Rastreamento do MLflow permite que você instrumente seus agentes de IA e aplicativos para coletar dados de telemetria e observabilidade para avaliação, monitoramento de produção e auditoria.
Evaluation
Monitoring
  • O monitoramento de produção permite medir a qualidade nos rastreamentos de produção, usando os mesmos juízes e pontuadores da avaliação em tempo de desenvolvimento.
Comentários humanos
  • Durante o desenvolvimento, o Aplicativo de Revisão permite que você execute verificações rápidas de vibrações usando uma interface de chat e colete feedback de especialistas em sessões de rotulagem.
  • Durante a produção, as APIs permitem anotar rastreamentos com comentários do usuário.

LLMOps

Azure Databricks fornece um conjunto completo de ferramentas para operações de IA ou "LLMOps". A governança unificada de dados e ativos de IA no Catálogo do Unity simplifica e protege a implantação de IA em uma organização. O Gateway de IA simplifica o gerenciamento de modelos de muitos provedores de modelo de IA. Os Pacotes de Automação Declarativa e MLflow fornecem controle de versão e infraestrutura como código para implementar processos robustos do LLMOps.

Categoria Características
Governança de ativos de IA e dados O Catálogo do Unity fornece governança unificada para dados e ativos de IA. Os ativos de dados incluem arquivos, tabelas, índices de vetor e repositórios de recursos. Os ativos de IA incluem modelos, ferramentas e conexões para servidores MCP e outras APIs.
Governança de ponto de extremidade de modelo O Gateway de IA oferece governança central e monitoramento de endpoints de modelos de IA.
Controle de versão de prompt O MLflow fornece um registro de prompts, além de rastreamento de experimentos.
Infraestrutura como código O MLOps Stacks, que é criado com base em Pacotes de Ativos do Databricks, fornece gerenciamento baseado em código e implantação de infraestrutura e fluxos de trabalho.

Suporte de software livre

Azure Databricks fornece suporte total para o ecossistema de software livre em rápido crescimento para IA.

Para desenvolvimento, você pode usar qualquer estrutura de software livre e implantá-la usando o Databricks Apps. Os serviços do Databricks podem ser usados por ferramentas e aplicativos de IA de terceiros usando servidores MCP ou a API REST ou SDKs.

Para observabilidade, avaliação e monitoramento, o Rastreamento do MLflow fornece log automático nativo para mais de 20 estruturas de IA de software livre e você pode adicionar rastreamento personalizado a qualquer outra estrutura ou código. Em seguida, os rastreamentos podem ser usados com Avaliação do MLflow e monitoramento da produção. Os rastreamentos seguem especificações de traço do OpenTelemetry e podem ser exportados para ferramentas de terceiros.

Recursos adicionais