Usar instruções ALTER com conjuntos de dados de pipelines

Os pipelines do Lakeflow são definidos no código-fonte dedicado que você cria no SQL ou Python, por exemplo, no Editor do Lakeflow Pipelines.

O Lakeflow Connect cria pipelines que ingerem dados e criam tabelas de streaming de ingestão.

O Azure Databricks também fornece um ambiente SQL chamado SQL do Databricks. Você pode criar exibições materializadas e tabelas de streaming com o Databricks SQL usando a funcionalidade de pipeline fora do Lakeflow (consulte pipelines autônomos). Normalmente, o Databricks SQL não é usado para criar pipelines de atualização do Lakeflow.

No entanto, você pode usar ALTER instruções SQL no Databricks SQL para modificar as propriedades de um conjunto de dados criado pelos pipelines do Lakeflow, pelo Databricks SQL ou pelo Lakeflow Connect. Use essas instruções SQL de qualquer ambiente SQL do Databricks, quer você esteja modificando conjuntos de dados de pipeline do Lakeflow, conjuntos de dados de pipeline autônomos ou conjuntos de dados do Lakeflow Connect.

Para conjuntos de dados apoiados por um pipeline autônomo criado no Databricks SQL, você também pode alterar o proprietário com SET OWNER TO.

Observação

Não é possível modificar o agendamento nem o acionador de um conjunto de dados definido em pipelines Lakeflow com uma instrução ALTER.

Limitação: atualizações no pipeline e alterações feitas com ALTER

Há casos em que as instruções ALTER entram em conflito com a definição dos conjuntos de dados criados pelo pipeline. O SQL que define uma tabela ou exibição em um pipeline é executado novamente em cada atualização. Isso pode desfazer as alterações que você faz com uma instrução ALTER.

Por exemplo, se você tiver uma instrução SQL que defina uma exibição materializada, como a seguinte:

CREATE OR REPLACE MATERIALIZED VIEW masked_view (
    id int,
    name string,
    region string,
    ssn string MASK catalog.schema.ssn_mask_fn
  )
  WITH ROW FILTER catalog.schema.us_filter_fn ON (region)
  AS SELECT id, name, region, ssn
       FROM employees;

Em seguida, você tenta remover a máscara da ssn coluna usando uma instrução ALTER , desta forma:

ALTER MATERIALIZED VIEW masked_view ALTER COLUMN ssn DROP MASK;

A máscara é removida, mas na próxima vez que a exibição materializada for atualizada, a definição do SQL a adicionará novamente.

Para remover a máscara com segurança, você deve editar a definição de SQL para remover a máscara e, em seguida, executar o comando ALTER para DROP a máscara.

Observação

Para editar a definição de um pipeline definido nos pipelines do Lakeflow, edite a origem do pipeline usando o editor de pipeline. Para editar a definição de um pipeline autônomo, execute a instrução SQL modificada em qualquer ambiente do Databricks SQL.

Recursos adicionais

  • Last updated on