Configurar uma verificação de qualidade de dados para um produto de dados

As verificações de qualidade de dados analisam seus ativos de dados com base nas regras de qualidade de dados aplicadas e produzem uma pontuação. Seus administradores de dados podem usar essa pontuação para avaliar a integridade dos dados e resolver quaisquer problemas que possam estar diminuindo a qualidade de seus dados.

Observação

Existem dois outros tipos de verificações de qualidade de dados que você pode executar:

Pré-requisitos

  • Para executar e agendar verificações de avaliação de qualidade de dados, os usuários precisam da função de administrador de qualidade de dados.
  • Atualmente, você pode definir a conta do Microsoft Purview para permitir acesso público ou acesso à rede virtual gerenciada para que as verificações de qualidade de dados possam ser executadas.

Ciclo de vida da qualidade dos dados

A digitalização de qualidade de dados é a sétima etapa no ciclo de vida da qualidade de dados de um ativo de dados. As etapas anteriores são:

  1. Atribua aos usuários permissões de administrador de qualidade de dados no Catálogo unificado do Microsoft Purview para que eles possam usar todos os recursos de qualidade de dados.
  2. Registrar e verificar uma fonte de dados no Mapa de Dados do Microsoft Purview.
  3. Adicione seu ativo de dados a um produto de dados.
  4. Configure uma conexão de fonte de dados para preparar sua fonte para a avaliação de qualidade de dados.
  5. Configure e execute a criação de perfil de dados para um ativo em sua fonte de dados. Quando a criação de perfil for concluída, procure os resultados de cada coluna no ativo de dados para entender a estrutura e o estado atuais dos dados.
  6. Configure regras de qualidade de dados com base nos resultados da criação de perfil e aplique-as ao seu ativo de dados.

Fontes de dados multicloud com suporte

Navegue pelo documento da fonte de dados com suporte para exibir a lista de fontes de dados com suporte, incluindo formatos de arquivo para criação de perfil de dados e verificação de qualidade de dados, com e sem suporte de rede virtual.

Importante

A qualidade de dados do arquivo Parquet foi projetada para dar suporte a:

  1. Um diretório com o arquivo de peça do Parquet. Por exemplo: ./Sales/{Parquet Part Files}. O Nome Totalmente Qualificado deve seguir .https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions} Certifique-se de que não haja {n} padrões na estrutura de diretórios/subdiretórios. Deve ser um FQN direto que leva a {SparkPartitions}.
  2. Um diretório com Parquet Files particionados, particionados por colunas no conjunto de dados, como dados de vendas particionados por ano e mês. Por exemplo: ./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}.

Há suporte para esses dois cenários essenciais, que apresentam um esquema de conjunto de dados parquet consistente. Limitação: Ele não foi projetado para ou não oferece suporte a N hierarquias arbitrárias de diretórios com Parquet Files. Recomendamos apresentar dados em (1) ou (2) estrutura construída.

Métodos de autenticação suportados

No momento, o Microsoft Purview só pode executar verificações de qualidade de dados usando a Identidade Gerenciada como opção de autenticação. Os serviços de qualidade de dados são executados no Apache Spark 3.5 e Delta Lake 3.2.1. Para obter mais informações sobre regiões com suporte, consulte Visão geral da qualidade dos dados.

Importante

  • Se você atualizar o esquema na fonte de dados, precisará importar o esquema da página de visão geral da qualidade de dados usando o recurso de importação de esquema antes de executar uma verificação de qualidade de dados.
  • A rede virtual não é compatível com o Google BigQuery.

Executar uma verificação de qualidade de dados

  1. Configure uma conexão de fonte de dados com os ativos que você está verificando quanto à qualidade dos dados , caso ainda não tenha feito isso.

  2. No Catálogo unificado, selecione Gerenciamento de integridade e, em seguida, selecione Qualidade dos dados.

  3. Selecione um domínio de governança na lista.

  4. Selecione um produto de dados para avaliar a qualidade dos dados dos ativos de dados vinculados a esse produto.

  5. Selecione o nome de um ativo de dados, que o levará para a página Visão geral da qualidade dos dados.

  6. Procure as regras de qualidade de dados existentes e adicione novas regras selecionando Regras. Procure o esquema do ativo de dados selecionando Esquema. Ative ou desative as regras que você adicionou.

  7. Execute a verificação de qualidade selecionando Executar verificação de qualidade na página de visão geral.

  8. Enquanto a verificação está em execução, você pode acompanhar seu progresso na página de monitoramento de qualidade de dados no domínio de governança.

Agendar verificações de qualidade de dados

Embora você possa executar verificações de qualidade de dados ad hoc selecionando Executar verificação de qualidade, em cenários de produção, os dados de origem provavelmente serão atualizados constantemente. Você deve monitorar regularmente a qualidade dos dados para detectar quaisquer problemas. A automação do processo de digitalização ajuda a gerenciar atualizações regulares de verificações de qualidade.

  1. No Catálogo unificado, selecione Gerenciamento de integridade e, em seguida, selecione Qualidade dos dados.

  2. Selecione um domínio de governança na lista.

  3. Selecione Gerenciar e, em seguida, selecione Verificações agendadas.

  4. Preencha o formulário na página Criar verificação agendada . Adicione um nome e uma descrição para a fonte com a qual você está configurando a agenda.

  5. Selecione Continuar.

  6. Na guia Escopo , selecione produtos e ativos de dados individuais ou todos os produtos de dados e ativos de dados de todo o domínio de governança.

  7. Selecione Continuar.

  8. Defina uma programação com base em suas preferências e selecione Continuar.

  9. Na guia Revisão , selecione Salvar (ou Salvar e executar para testar imediatamente) para concluir o agendamento da verificação de avaliação da qualidade dos dados.

Você pode monitorar verificações agendadas na página de monitoramento de trabalhos de qualidade de dados na guia Verificações .

Observação

  • Você não pode adicionar mais de 30 ativos em todos os produtos de dados em uma única agenda. Crie várias agendas para 30 ativos por lote. Você pode configurar para executar várias agendas na mesma janela de tempo.
  • O agendamento automático para executar uma verificação semanal está ativado no nível do ativo por padrão. Se você quiser desabilitar o agendamento automático para um ativo de dados, acesse Gerenciamento de> integridadeQualidade dos dados Execute> averificação de qualidade e selecione a opção para desabilitar a verificação agendada.
  • Quando você executa manualmente uma verificação de qualidade de dados, uma notificação é exibida na página Qualidade de Dados solicitando que você configure alertas. Ignore esta notificação se você não quiser configurar alertas.

Excluir verificações e histórico de qualidade de dados anteriores

Ao remover um ativo de dados de um produto de dados, se esse ativo de dados tiver uma pontuação de qualidade de dados, você precisará excluir a pontuação de qualidade de dados primeiro e, em seguida, remover o ativo de dados do produto de dados.

Quando você exclui dados do histórico de qualidade de dados, ele remove o histórico de perfil, o histórico de verificação de qualidade de dados e as regras de qualidade de dados, mas as ações de qualidade de dados não são excluídas.

Siga as etapas abaixo para excluir verificações de qualidade de dados anteriores de um ativo de dados:

  1. No Catálogo unificado, selecione Gerenciamento de integridade e, em seguida, selecione Qualidade dos dados.
  2. Selecione um domínio de governança na lista.
  3. Selecione o produto de dados na lista.
  4. Selecione o ativo de dados na lista para navegar na página Visão geral da qualidade dos dados.
  5. Selecione as reticências (...) no canto superior direito da página Visão geral da qualidade dos dados.
  6. Selecione Excluir dados de qualidade de dados para excluir o histórico de execuções de qualidade de dados.

Observação

  • Use Excluir dados de qualidade de dados para execuções de teste, execuções de qualidade de dados com erro ou se você estiver removendo um ativo de dados de um produto de dados.
  • O sistema armazena até 50 instantâneos de perfil de qualidade de dados e histórico de avaliação de qualidade de dados. Se você quiser excluir um snapshot específico, selecione a execução do histórico desejada e selecione o ícone de exclusão.

Importar esquema

Se o tipo de dados em um esquema for indefinido, definido incorretamente ou alterado na origem, seu trabalho de qualidade de dados poderá falhar. Se falhar, reimporte o esquema usando o recurso de importação de esquema. A importação de esquema tem suporte para fontes de dados em redes públicas e por trás de pontos de extremidade privados. As fontes de dados com suporte estão listadas em Fontes de dados e formatos de arquivo com suporte para qualidade de dados. Para importar um esquema de suas fontes de dados, siga estas etapas:

  • Selecione Qualidade de dados em Gerenciamento de integridade.
  • Selecione um domínio de negócios, selecione um produto de dados e selecione um ativo de dados desse produto de dados. Você chega à página de visão geral da qualidade dos dados.
  • Selecione Esquema e, em seguida, selecione a alternância Gerenciamento de esquema .
  • Selecione Importar esquema para importar o esquema.

Conteúdo relacionado

Próximas etapas

  • Last updated on