Disponibilizar dados do lakehouse

Sincronize uma tabela do Catálogo do Unity com o Postgres e consulte-a junto com seus dados operacionais.

Etapas: (1) Criar dados de análise → (2) Sincronizar com o Lakebase → (3) Localizar seus dados no Postgres → (4) Consulta em ambos os mundos

Note

Este é um início rápido. Para obter a documentação completa, consulte Tabelas de sincronização.

Antes de começar

  • Verifique se você concluiu a obtenção de um banco de dados Postgres. Você precisa de um projeto do Lakebase com dados de exemplo.
  • Um SQL warehouse ou notebook para consultas no Unity Catalog.
  • USE_SCHEMA e CREATE_TABLE no esquema em que você criará a tabela sincronizada.

Etapa 1: Criar dados de análise no Catálogo do Unity

Imagine que sua equipe de dados criou pontuações de segmentação de usuários no lakehouse. Em produção, trata-se de uma tabela ouro, uma saída de ML ou um conjunto de dados enriquecido. Para este guia, crie um pequeno exemplo.

Em um sql warehouse ou notebook, execute:

CREATE TABLE main.default.user_segments AS
SELECT * FROM VALUES
  (1, 'power_user', 0.92),
  (2, 'casual', 0.35),
  (3, 'power_user', 0.88)
AS segments(user_id, segment, engagement_score);

Observe que os valores user_id correspondem à coluna id em sua tabela playing_with_lakebase desde o início. Isso é intencional. Você se junta a eles na Etapa 4.

Saiba mais: Tipos de origem com suporte

Etapa 2: Sincronizar a tabela com o Lakebase

No seu workspace do Azure Databricks, vá para Catálogo na barra lateral. Selecione sua user_segments tabela para abrir a página de detalhes e clique em Criar>tabela Sincronizada.

Na caixa de diálogo Criar tabela sincronizada , escolha o banco de dados do projeto lakebase databricks_postgres como o destino e o Instantâneo como o modo de sincronização. O Snapshot copia os dados uma vez, sendo a opção mais simples para iniciar.

A sincronização é executada automaticamente. Quando isso for concluído, uma nova tabela de somente leitura aparecerá no seu banco de dados Lakebase. O nome do esquema do Unity Catalog passa a ser o nome do esquema do Postgres, e o nome da tabela recebe o sufixo _synced: default.user_segments_synced.

Saiba mais: Criar uma tabela sincronizada (procedimento completo) | Modos de sincronização

Etapa 3: localizar seus dados no Postgres

Mude para o Editor SQL do Lakebase. Os dados de análise do Catálogo do Unity agora são consultáveis com o SQL do Postgres padrão. Procure o usuário 1:

SELECT * FROM "default".user_segments_synced WHERE user_id = 1;

Note

default deve ser citado porque é uma palavra-chave reservada do PostgreSQL. O esquema da tabela sincronizada herda o nome do esquema do Unity Catalog, por isso, se o esquema for nomeado default, você sempre deverá citá-lo em consultas.

Você deve ver o usuário 1 com o segmento power_user e uma pontuação de engajamento de 0.92. Essa é a mesma linha que você criou no Unity Catalog, agora disponível no Postgres com leituras de baixa latência.

Saiba mais: Mapeamento de tipo de dados

Etapa 4: Consultar em ambos os mundos

Aqui está o resultado. Sua playing_with_lakebase tabela tem dados operacionais. Sua tabela user_segments_synced tem análises de lakehouse. Junte-se a eles:

SELECT
  p.id,
  p.name,
  p.value,
  s.segment,
  s.engagement_score
FROM playing_with_lakebase p
JOIN "default".user_segments_synced s ON p.id = s.user_id;

Seu aplicativo agora pode fornecer dados enriquecidos. Uma única consulta postgres combina o que o aplicativo sabe (nomes, valores) com o que o lakehouse computou (segmentos, pontuações). Sem chamadas de API ao lakehouse, sem scripts de sincronização, sem penalidade por latência.

Saiba mais: Planejamento de capacidade

Próximas Etapas 

  • Last updated on