Lakehouse Real-Time

Lakehouse Real-Time (Lakehouse//RT) é uma computação sem servidor criada para casos de uso de baixa latência e alta simultaneidade, como fornecer dados analíticos para aplicativos personalizados, executar análise operacional ou alimentar painéis de BI que exigem respostas de sub-segundo para centenas a milhares de usuários simultâneos.

O Lakehouse//RT oferece latência inferior a um segundo em consultas SQL de leitura nas tabelas do Unity Catalog que usam os formatos Delta Lake ou Apache Iceberg e estão armazenadas na nuvem. Você cria e gerencia o Lakehouse//RT da mesma forma que faz com outros sql warehouses. Um administrador de workspace ou usuário privilegiado cria um ou mais por workspace e atribui permissões aos usuários.

Requirements

Para usar o Lakehouse//RT, você deve:

• Esteja em uma região com suporte.
• Habilite o Lakehouse//RT Beta em seu workspace.

Habilitar o Lakehouse//RT em seu workspace

Os administradores do workspace podem habilitar o Lakehouse//RT Beta em seu workspace:

1. No menu do workspace (canto superior direito), vá para Visualizações.
2. Pesquise por Lakehouse RT.
3. Habilite a visualização.

Depois de habilitar a prévia, o tipo de warehouse Real-Time fica disponível no fluxo de criação de SQL Warehouse no seu workspace.

Criar um depósito do Lakehouse//RT

Para criar um armazém Lakehouse//RT:

1. Vá para Compute>Armazéns SQL>Criar armazém SQL.
2. Selecione em tempo real.
3. Selecione um tamanho: Pequeno, Médio, Grande ou X-Grande, dependendo do desempenho que suas consultas exigem.
4. Insira um nome para o armazém.
5. Clique em Criar.

Para atribuir permissões, conceda pode usar, pode monitorar ou pode gerenciar para usuários e grupos, o mesmo que um sql warehouse.

Monitoramento da atividade do Lakehouse//RT

Você pode monitorar as consultas do Lakehouse//RT da mesma forma que qualquer consulta executada em um SQL Warehouse:

• Histórico de consultas: As consultas Lakehouse//RT aparecem na interface do usuário do histórico de consultas e na tabela do sistema de histórico de consultas.
• Perfis de consulta: Abra uma consulta Lakehouse//RT na interface do histórico de consultas para ver seu perfil de consulta.
• Página de monitoramento: Monitore a taxa de processamento de consultas, as consultas enfileiradas e o histórico de consultas na página de monitoramento de cada warehouse do Lakehouse//RT.
• Faturamento: o uso do Lakehouse//RT aparece nas tabelas do sistema de faturamento com um sku_name de Lakehouse_Serverless.

Práticas recomendadas

Para obter os melhores resultados do Lakehouse//RT, prepare suas cargas de trabalho antes de movê-las:

• Valide primeiro no SQL sem servidor. Execute suas consultas em um SQL Warehouse sem servidor e confirme se elas são executadas em alguns segundos.
• Use tabelas gerenciadas do Catálogo do Unity. Tabelas gerenciadas com otimização preditiva e clustering líquido garantem que seus dados fiquem bem agrupados de acordo com seus padrões de carga de trabalho.
• Verifique se as consultas são seletivas. Para obter latência inferior a um segundo, verifique se suas consultas processam menos dados. Filtre desde o início com cláusulas WHERE, selecione apenas as colunas de que você precisa e use agregações. Há suporte para a junção entre tabelas, mas se você achar sua consulta complexa ou lenta, considere usar exibições materializadas que pré-agregam seus dados para latências mais rápidas.
• Verifique a cobertura do SQL. O Lakehouse//RT dá suporte apenas a consultas de leitura compatíveis com ANSI. Confirme se suas cargas de trabalho são compatíveis com ANSI e evite instruções sem suporte, funções e tipos de dados listados em Limitações.

Recursos com suporte

Ferramentas e interfaces

Você pode selecionar Lakehouse//RT no seletor de computação em qualquer um dos seguintes recursos de Azure Databricks:

• Editor de SQL
• Blocos de anotações SQL
• Painéis de IA/BI
• Gerenciador de Catálogos
• Alerts

Tipos de tabela

Lakehouse//RT consulta somente dados do Catálogo do Unity. Para obter melhor desempenho, use tabelas gerenciadas do Catálogo do Unity, que fornecem ao mecanismo o layout de dados necessário para baixa latência.

Lakehouse//RT dá suporte aos seguintes tipos de tabela:

• Tabelas gerenciadas (tabelas Delta Lake e Apache Iceberg)
• Visões materializadas e tabelas de fluxo
• Exibições de métricas

Connectivity

Lakehouse//RT aceita apenas conexões que utilizam a API de Execução de Comandos. Ele não dá suporte ao protocolo Thrift herdado, portanto, um driver que se conecta sem usar explicitamente a API de Execução de Instrução recebe um 501 erro.

Você pode se conectar a um armazém Lakehouse//RT das seguintes maneiras:

• API de execução de instrução: Chame a API diretamente de aplicativos externos. Consulte a API de Execução de Instrução: execute o SQL em armazéns.
• Databricks SQL drivers: os seguintes drivers podem se conectar quando configurados para usar a API de Execução de Instruções. Aponte o caminho HTTP do driver em seu armazém Lakehouse//RT e defina a seguinte opção:
  • Conector SQL do Databricks para Python: Defina use_kernel=True.
  • Driver SQL do Databricks para Node.js: Defina useKernel: true.
  • JDBC: Definido UseThriftClient=0 na URL de conexão.

Pricing

Para obter informações sobre preços, consulte a página de preços do Lakehouse Real-Time .

Limitations

Quando uma consulta usa um recurso sem suporte, Lakehouse//RT retorna um erro ao nomear o recurso. Para executar a consulta com êxito, use um SQL Warehouse sem servidor.

Ferramentas e funcionalidades

Lakehouse//RT ainda não dá suporte aos seguintes recursos:

• Gênio
• Agentes do Genie
• Tarefas de Jobs

Tipos de tabela

Os seguintes tipos de tabela ainda não têm suporte:

• Tabelas do sistema
• Tabelas de compartilhamento Delta
• Tabelas no armazenamento padrão do Unity Catalog
• Tabelas externas no Catálogo do Unity

Lakehouse//RT não dá suporte aos seguintes tipos de tabela:

• Tabelas do metastore do Hive (gerenciadas ou externas)
• Tabelas externas e federação de consultas (Lakehouse Federation)
• Tabelas temporárias
• Tabelas que usam outros formatos de dados (CSV, JSON, Avro, Parquet, ORC e texto)

Drivers e conectores

O Lakehouse//RT não dá suporte aos seguintes drivers e conectores:

• ADBC
• ODBC
• Go

Linguagem SQL

O Lakehouse//RT executa consultas de leitura SQL somente no modo ANSI . Ele avalia todas as coerções e conversões de tipo implícitos de acordo com regras rígidas do SQL ANSI, e esse comportamento não pode ser desativado. Na semântica ANSI, as consultas que se baseavam no comportamento não ANSI podem:

• Gerar um erro de runtime em vez de produzir NULLsilenciosamente. Por exemplo, converter uma cadeia de caracteres não numérica em um número.
• Gerar um erro em tempo de análise quando não houver um tipo comum seguro. Por exemplo, COALESCE, CASE, IN ou operações de conjunto entre tipos incompatíveis.
• Retorna um tipo de resultado diferente do modo legado, porque a promoção de cadeia ANSI e o alargamento numérico escolhem tipos seguros, sem perda de informação.

Para obter resultados previsíveis, use expressões explícitas CAST quando as conversões implícitas no modo ANSI não produzirem o comportamento esperado.

Lakehouse//RT não dá suporte ao seguinte:

• Tipos de dados: Os tipos de dados GEOGRAPHY e GEOMETRY.
• Funções: Funções de IA, Python UDFs, funções SQL espaciais e funções XPath e XML.
• Governança: controle de acesso baseado em atributos (ABAC), incluindo segurança em nível de linha e mascaramento de colunas.

Lakehouse//RT é somente para consultas de leitura (SELECT). Não há suporte para comandos de gravação e ETL, incluindo:

• Operações de gravação:INSERT, UPDATE, DELETE, e MERGECREATE TABLE AS SELECT (CTAS).
• DDL:CREATE, ALTER, DROPe outras instruções que criam ou modificam objetos.
• Instruções de segurança:GRANT e REVOKE.
• Scripting, procedimentos armazenados, tabelas temporárias e transações com várias instruções.
• Manutenção do Delta Lake:OPTIMIZE, ANALYZEe VACUUMREFRESH.

Segurança de rede

O Lakehouse//RT ainda não dá suporte às seguintes configurações de rede:

• Link Privado de Saída (sem servidor)
• perímetro de segurança de rede do Azure

• Controle de saída sem servidor

Compliance

Atualmente , não há suporte para perfis de segurança de conformidade.