Configurar o Azure Synapse Analytics em uma atividade de cópia

Este artigo descreve como usar a atividade de cópia em um pipeline para copiar dados de e para o Azure Synapse Analytics.

Configuração com suporte

Para a configuração de cada guia em atividade Copy, vá para as seções a seguir, respectivamente.

• Geral
• Fonte
• Destino
• Mapeamento
• Settings

Geral

Consulte as diretrizes de Configurações Geraispara definir a guia Configurações Gerais.

Source

As propriedades a seguir têm suporte para o Azure Synapse Analytics na guia Origem de uma atividade de cópia.

As seguintes propriedades são necessárias:

• Conexão: selecione uma conexão do Azure Synapse Analytics na lista de conexões. Se a conexão não existir, crie uma nova conexão do Azure Synapse Analytics selecionando Nova.

• Tipo de conexão: selecione Azure Synapse Analytics.

• Use a consulta: você pode escolher Tabela, Consulta ou Procedimento Armazenado para ler seus dados de origem. A lista a seguir descreve a configuração de cada configuração:

  • Tabela: Ler dados da tabela especificada na Tabela se você selecionar este botão. Selecione sua tabela na lista suspensa ou selecione Editar para inserir o esquema e o nome da tabela manualmente.

    

  • Consulta: especifique a consulta SQL personalizada para ler dados. Um exemplo é select * from MyTable. Ou selecione o ícone de lápis a ser editado no editor de código.

    

  • Procedimento armazenado: use o procedimento armazenado que lê dados da tabela de origem. A última instrução SQL deve ser uma instrução SELECT no procedimento armazenado.

    

    • Nome do procedimento armazenado: selecione o procedimento armazenado ou especifique o nome do procedimento armazenado manualmente ao selecionar Editar.
    • Parâmetros de procedimento armazenado: selecione Importar parâmetros para importar o parâmetro no procedimento armazenado especificado ou adicione parâmetros para o procedimento armazenado selecionando + Novo. Valores permitidos são pares de nome ou valor. Nomes e uso de maiúsculas e minúsculas de parâmetros devem corresponder aos nomes e o uso de maiúsculas e minúsculas dos parâmetros do procedimento armazenado.

Em Avançado, você pode especificar os seguintes campos:

• Tempo limite da consulta (minutos): especifique o tempo limite para a execução do comando de consulta, o padrão é 120 minutos. Se um parâmetro for definido para essa propriedade, os valores permitidos serão intervalos de tempo, como "02:00:00" (120 minutos).

• Nível de isolamento: especifica o comportamento de bloqueio de transação para a origem do SQL. Os valores permitidos são: None, Read committed, Read uncommitted, Repeatable read, Serializable ou Snapshot. Se não for especificado, nenhum nível de isolamento será usado. Consulte IsolationLevel Enum para obter mais detalhes.

  

• Opção de partição: especifique as opções de particionamento de dados usadas para carregar dados do Azure Synapse Analytics. Os valores permitidos são: Nenhum (padrão), partições físicas da tabela e intervalo dinâmico. Quando uma opção de partição é habilitada (ou seja, não Nenhuma), o grau de paralelismo para carregar dados simultaneamente de um Azure Synapse Analytics é controlado pela configuração de cópia paralela na atividade de cópia.

  • Nenhum: escolha essa configuração para não usar uma partição.

  • Partições físicas da tabela: escolha essa configuração se desejar usar uma partição física. A coluna de partição e o mecanismo são determinados automaticamente com base na definição da tabela física.

  • Intervalo dinâmico: escolha essa configuração se você quiser usar a partição de intervalo dinâmico. Ao usar a consulta com o paralelo habilitado, o parâmetro de partição de intervalo(?DfDynamicRangePartitionCondition) é necessário. Consulta de exemplo: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition.

    

    • Nome da coluna de partição: especifique o nome da coluna de origem nos tipos inteiro ou date/datetime (int, smallint, bigint, date, smalldatetime, datetime, datetime2, ou datetimeoffset) usado pelo particionamento de intervalo para cópia paralela. Se não especificado, o índice chave primária da tabela será detectada automaticamente e usado como a coluna de partição.
    • Limite superior da partição: especifique o valor máximo da coluna de partição para divisão do intervalo de partição. Esse valor é usado para decidir o passo da partição, não para filtrar as linhas na tabela. Todas as linhas na tabela ou no resultado da consulta são particionadas e copiadas.
    • Limite inferior da partição: especifique o valor mínimo da coluna de partição para divisão do intervalo de partição. Esse valor é usado para decidir o passo da partição, não para filtrar as linhas na tabela. Todas as linhas na tabela ou no resultado da consulta são particionadas e copiadas.

• Colunas adicionais: adicione colunas de dados adicionais para armazenar o caminho relativo ou o valor estático dos arquivos de origem. A expressão tem suporte para o último. Para obter mais informações, acesse Adicionar colunas adicionais durante a cópia.

Destino

As propriedades a seguir têm suporte para o Azure Synapse Analytics na guia Destino de uma atividade de cópia.

As seguintes propriedades são necessárias:

• Conexão: selecione uma conexão do Azure Synapse Analytics na lista de conexões. Se a conexão não existir, crie uma nova conexão do Azure Synapse Analytics selecionando Nova.
• Tipo de conexão: selecione Azure Synapse Analytics.
• Opção de tabela: você pode escolher Usar existente, Criar tabela automaticamente. A lista a seguir descreve a configuração de cada configuração:
  • Use existente: selecione a tabela em seu banco de dados na lista suspensa. Ou marque Editar para inserir o esquema e o nome da tabela manualmente.
  • Tabela de criação automática: ela cria automaticamente a tabela (se inexistente) no esquema de origem.

Em Avançado, você pode especificar os seguintes campos:

• Método copy Escolha o método que você deseja usar para copiar dados. Você pode escolher Copy command, PolyBase, Bulk insert ou Upsert. A lista a seguir descreve a configuração de cada configuração:

  • Comando copiar: use a instrução COPY para carregar dados do armazenamento do Azure no Azure Synapse Analytics ou no Pool de SQL.

    

    • Permitir comando de cópia: é obrigatório ser selecionado ao escolher o comando Copiar.
    • Valores padrão: especifique os valores padrão para cada coluna de destino no Azure Synapse Analytics. Os valores padrão na propriedade substituem a restrição DEFAULT definida no data warehouse e a coluna de identidade não pode ter um valor padrão.
    • Opções adicionais: opções adicionais que serão passadas para uma instrução COPY do Azure Synapse Analytics diretamente na cláusula "With" na instrução COPY. Coloque o valor entre aspas conforme necessário para alinhar com os requisitos da instrução COPY.

  • PolyBase: PolyBase é um mecanismo de alta taxa de transferência. Use-o para carregar grandes quantidades de dados no Azure Synapse Analytics ou no Pool de SQL.

    

    • Permitir PolyBase: deve ser selecionado quando você escolher PolyBase.
    • Tipo de rejeição: especifique se a opção rejectValue é um valor literal ou uma porcentagem. Os valores permitidos são Valor (padrão) e Porcentagem.
    • Valor de rejeição: especifique o número ou o percentual de linhas que podem ser rejeitadas antes que a consulta falhe. Saiba mais sobre as opções de rejeição do PolyBase na seção Argumentos de CREATE EXTERNAL TABLE (Transact-SQL). Os valores permitidos são 0 (padrão), 1, 2 etc.
    • Rejeitar o valor de exemplo: determina o número de linhas a serem recuperadas antes que o PolyBase recalcula o percentual de linhas rejeitadas. Os valores permitidos são 1, 2 etc. Se você escolher Porcentagem como o tipo de rejeição, essa propriedade será necessária.
    • Utilizar tipo padrão: especifique como lidar com valores ausentes em arquivos de texto delimitados quando o PolyBase recupera dados do arquivo de texto. Saiba mais sobre essa propriedade na seção Argumentos em CREATE EXTERNAL FILE FORMAT (Transact-SQL). Os valores permitidos são selecionados (padrão) ou não selecionados.

  • Inserção em Massa: Use inserção em massa para inserir dados em grande quantidade no destino.

    

    • Bloqueio de tabela para inserção em massa: use isso para melhorar o desempenho da cópia durante a operação de inserção em massa em tabelas sem índice, a partir de vários clientes simultâneos. Saiba mais em BULK INSERT (Transact-SQL).

  • Upsert: especifique o grupo das configurações para o comportamento de gravação quando quiser inserir dados no destino.

    

    • Colunas de chave: escolha qual coluna é usada para determinar se uma linha da origem corresponde a uma linha do destino.

    • Bloqueio de tabela para inserção em massa: use isso para melhorar o desempenho da cópia durante a operação de inserção em massa em tabelas sem índice, a partir de vários clientes simultâneos. Saiba mais em BULK INSERT (Transact-SQL).

• Script de pré-cópia: especifique um script para a Atividade de Cópia a ser executada antes de gravar dados em uma tabela de destino em cada execução. Você pode usar essa propriedade para limpar os dados previamente carregados.

• Tempo limite do lote de gravação: especifique o tempo de espera para que a operação de inserção em lote termine antes de atingir o tempo limite. O valor permitido é timespan. O valor padrão é "00:30:00" (30 minutos).

• Tamanho do lote de gravação: especifique o número de linhas a serem inseridas na tabela SQL por lote. O valor permitido é inteiro (número de linhas). Por padrão, o serviço determina dinamicamente o tamanho do lote apropriado com base no tamanho da linha.

• Máximo de conexões simultâneas: especifique o limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.

• Desabilitar a análise de métricas de desempenho: essa configuração é usada para coletar métricas, como DTU, DWU, RU e assim por diante, para copiar recomendações e otimização de desempenho. Se você estiver preocupado com esse comportamento, marque esta caixa de seleção. Ele não é selecionado por padrão.

Copiar diretamente usando o comando COPY

O comando COPY do Azure Synapse Analytics dá suporte diretamente ao Armazenamento de Blobs do Azure e ao Azure Data Lake Storage Gen2 como armazenamentos de dados de origem. Se os dados de origem atenderem aos critérios descritos nesta seção, use o comando COPY para copiar diretamente do armazenamento de dados de origem para o Azure Synapse Analytics.

1. Os dados de origem e o formato contêm os seguintes tipos e métodos de autenticação:

   Tipo de armazenamento de dados de origem com suporte	Formato com suporte	Tipo de autenticação de origem com suporte
   Armazenamento de Blobs do Azure	Texto delimitado Parquet	Autenticação anônima Autenticação de chave de conta Autenticação de assinatura de acesso compartilhado
   Azure Data Lake Storage Gen2	Texto delimitado Parquet	Autenticação de chave de conta Autenticação de assinatura de acesso compartilhado

2. As seguintes configurações de formato podem ser definidas:
   

   1. Para Parquet: o tipo de compactação pode ser None, snappy ou gzip.
   2. Para DelimitedText:
      1. Delimitador de linha: ao copiar texto delimitado para o Azure Synapse Analytics por meio do comando COPY direto, especifique o delimitador de linha explicitamente (\r; \n; ou \r\n). Somente quando o delimitador de linha do arquivo de origem é \r\n, o valor padrão (\r, \n ou \r\n) funciona. Caso contrário, habilite a preparação para seu cenário.
      2. O valor nulo é deixado como padrão ou definido como cadeia de caracteres vazia ("").
      3. A codificação é deixada como padrão ou definida como UTF-8 ou UTF-16.
      4. Ignorar a contagem de linhas é deixado como padrão ou definido como 0.
      5. O tipo de compactação pode ser Nenhum ou gzip.

3. Caso sua origem seja uma pasta, você deverá marcar a caixa Recursivamente.

4. A hora de início (UTC) e a hora de término (UTC) no Filtro pela última modificação, prefixo, habilitar descoberta de partição e colunas adicionais não são especificadas.

Para saber como ingerir dados no Azure Synapse Analytics usando o comando COPY, consulte este artigo.

Se o armazenamento e o formato de dados de origem não tiverem suporte originalmente por um comando COPY, use a cópia em etapas usando o recurso de comando COPY. Ele converte automaticamente os dados em um formato compatível com o comando COPY e, em seguida, chama um comando COPY para carregar dados no Azure Synapse Analytics.

Mapeamento

Para a configuração da guia Mapeamento, se você não aplicar o Azure Synapse Analytics com criação automática de tabelas como destino, vá para Mapeamento.

Se você aplicar o Azure Synapse Analytics com criação automática de tabelas como seu destino, exceto a configuração no Mapeamento, você poderá editar o tipo das colunas de destino. Depois de selecionar Esquemas de importação, você pode especificar o tipo de coluna em seu destino.

Por exemplo, o tipo da coluna ID na origem é int, e você pode alterá-lo para o tipo float durante o mapeamento para a coluna de destino.

Configurações

Para configuração da guia Configurações, acesse Definir suas outras configurações na guia configurações.

Cópia paralela do Azure Synapse Analytics

O conector do Azure Synapse Analytics na atividade de cópia fornece particionamento de dados interno para copiar dados em paralelo. Você pode encontrar opções de particionamento de dados na guia Origem da atividade de cópia.

Quando você habilita a cópia particionada, a atividade de cópia executa consultas paralelas em sua fonte do Azure Synapse Analytics para carregar dados por partições. O grau paralelo é controlado pelo grau de paralelismo de cópia na guia configurações de atividade de cópia. Por exemplo, se você definir Grau de paralelismo de cópia como quatro, o serviço gerará e executará simultaneamente quatro consultas com base na opção e nas configurações de partição especificadas, e cada consulta recuperará uma parte dos dados do Azure Synapse Analytics.

Recomenda-se que você habilite a cópia paralela com particionamento de dados, especialmente quando carregar grande quantidade de dados do Azure Synapse Analytics. Veja a seguir as configurações sugeridas para cenários diferentes. Ao copiar dados para o armazenamento de dados baseado em arquivo, recomendamos gravá-los em uma pasta como vários arquivos (apenas especifique o nome da pasta) para ter um desempenho melhor do que gravar em um arquivo.

Melhores práticas para carregar dados com a opção de partição:

• Escolha a coluna distinta como coluna de partição (como chave primária ou chave exclusiva) para evitar a distorção de dados.
• Se a tabela tiver partição interna, use a opção de partição Partições físicas da tabela para obter um melhor desempenho.
• O Azure Synapse Analytics pode executar no máximo 32 consultas por vez; definir um Grau de paralelismo de cópia muito grande pode causar um problema de restrição do Synapse.

Exemplo de consulta para verificar a partição física

SELECT DISTINCT s.name AS SchemaName, t.name AS TableName, c.name AS ColumnName, CASE WHEN c.name IS NULL THEN 'no' ELSE 'yes' END AS HasPartition
FROM sys.tables AS t
LEFT JOIN sys.objects AS o ON t.object_id = o.object_id
LEFT JOIN sys.schemas AS s ON o.schema_id = s.schema_id
LEFT JOIN sys.indexes AS i ON t.object_id = i.object_id
LEFT JOIN sys.index_columns AS ic ON ic.partition_ordinal > 0 AND ic.index_id = i.index_id AND ic.object_id = t.object_id
LEFT JOIN sys.columns AS c ON c.object_id = ic.object_id AND c.column_id = ic.column_id
LEFT JOIN sys.types AS y ON c.system_type_id = y.system_type_id
WHERE s.name='[your schema]' AND t.name = '[your table name]'

Se a tabela tiver partição física, você verá "HasPartition" como "sim".

Sumário da tabela

As tabelas a seguir contêm mais informações sobre a atividade de cópia no Azure Synapse Analytics.

Source

Destino

Conteúdo relacionado

• Visão geral do conector do Azure Synapse Analytics