Configuração de exemplo para governança de dados

A governança de dados do Microsoft Purview, com o Catálogo unificado do Microsoft Purview e o Mapa de Dados do Microsoft Purview, oferece visibilidade abrangente, confiança nos dados e inovação responsável para ajudar as organizações a obter maior valor comercial na era da IA. Usando um exemplo de gerenciamento de dados de saúde, siga as etapas deste artigo para ajudá-lo a entender como configurar o Catálogo Unificado e usar sua funcionalidade para criar uma prática sólida de governança de dados para sua organização.

Etapa 1: Configurar seus domínios de governança no Catálogo unificado

Os domínios de governança são essenciais para estabelecer a responsabilidade pelos seus dados e ajudar a federar a governança desses dados em toda a empresa. Ao criar domínios de governança, comece com o proprietário adequado para garantir que você possa identificar e colaborar efetivamente com especialistas para todos os dados no acervo de dados. Os domínios de governança podem ser muitos tipos diferentes para se alinhar ao tipo de limite de dados da equipe que controla esses dados. Por exemplo: domínios funcionais (finanças, RH, vendas) ou domínios de dados (produto, cliente, integridade).

Pré-requisitos

Conceda permissões e crie o primeiro domínio de governança

  1. Abra o portal do Microsoft Purview.

  2. Entre no portal do Microsoft Purview usando credenciais para uma conta de administrador que tenha a função de gerenciamento de funções (por exemplo, um administrador do Purview). Vá para Configurações > Funções e escopos para exibir e gerenciar.

  3. Selecione Grupos de funções.

  4. Na página Grupos de funções para soluções do Microsoft Purview , selecione o grupo de funções Governança de Dados .

  5. Na página Editar membro do grupo de funções , selecione Escolher usuários ou Escolher grupos.

  6. Marque a caixa de marcação para todos os usuários ou grupos que você deseja adicionar ao grupo de funções.

  7. Selecione Selecionar.

  8. No Catálogo unificado, selecione Gerenciamento de catálogos e, em seguida, selecione Domínios de governança.

  9. Na página Domínios de governança , você pode configurar o restante do catálogo para permitir que outras pessoas federem a propriedade dos dados, capacitar as equipes a desenvolver seus conhecimentos e estabelecer o valor comercial de seus dados.

    1. Comece selecionando Novo domínio de governança.
      1. Você pode atualizar o nome do seu domínio de governança. Para este tutorial, nomeie-o como '(Tutorial) Saúde Pessoal' e forneça uma descrição de 'Dados pessoais de saúde referem-se a qualquer informação relacionada à saúde física ou mental de um indivíduo que seja coletada e usada no setor de saúde. Esses dados podem incluir uma ampla variedade de tipos, como registros médicos, históricos de tratamento, imagens de diagnóstico e resultados de exames laboratoriais. Muitas vezes, é protegido por várias leis e regulamentos para garantir privacidade e confidencialidade.
      2. Selecione o tipo como um "domínio de dados".
      3. Deixe o pai em branco (se esse for o primeiro domínio de governança no catálogo, ele não tem um pai).
      4. Selecione Criar.
      5. Agora crie mais dois domínios por conta própria. Esses domínios são pontos-chave da federação para colaboração e governança em sua organização. Pense em quem podem ser os proprietários de seus domínios ao implementar o Catálogo unificado.
        1. Você pode seguir estes exemplos:
        • Um domínio funcional corporativo representa os ativos e termos altamente controlados que uma empresa inteira usa. - Vendas é um domínio funcional que a maioria das organizações tem como domínio filho de Corporativo.

  10. Selecione o domínio de governança criado.

  11. Selecione a guia Funções do domínio de governança.

  12. Por padrão, quando você cria o domínio de governança, você é adicionado a todas as funções no domínio de governança. Como proprietário de um domínio de governança, você adiciona os administradores de dados (especialistas em negócios em seu domínio) e os proprietários de produtos de dados (que sabem quais ativos de dados são melhores para outras pessoas consumirem).

  13. Volte para a guia Detalhes .

  14. Selecione Gerenciar políticas para aplicar uma política de nível de domínio. Essa política se aplica a todos os produtos de dados no domínio. Ao habilitar a aplicação automática de uma política, os especialistas em dados também não precisam ser especialistas em políticas.

  15. Na guia Gerenciar políticas de acesso , marque a caixa de seleção ao lado de Permitir cópias de dados. Ao selecionar essa opção de política, ele aplica automaticamente um atestado exigindo que todos os usuários que solicitam acesso aos seus produtos de dados atestem que entendem a política de cópia de dados para seus dados.

  16. Selecione Salvar alterações para confirmar se a política é definida pelo domínio de governança.

  17. Selecione Publicar no domínio de governança, que publica todos os outros conceitos dentro do domínio.

Criar termos do glossário

Adicionar termos de glossário ao seu domínio de governança ajuda outras pessoas a entender como a empresa usa e interpreta os dados. Os termos do glossário também garantem que os insights usem termos comuns e, em geral, seu conhecimento em todo o domínio de governança.

  1. Na página do seu domínio de governança, localize o card Termos do glossário e selecione Exibir tudo.

  2. Na página termos do Glossário , selecione Novo termo.

  3. Insira os detalhes: 1. Nome: "Surto".

    1. Descrição: Uma doença que afeta ou tem o potencial de afetar uma grande parte da população.
    2. Você pode deixar o resto em branco por enquanto, mas há campos para coletar: o termo proprietário responsável por definir o termo para sua empresa, siglas para compartilhar comuns também conhecidas como nomes do termo, por último você pode fornecer links para os recursos que teriam ainda mais informações sobre o termo.

  4. Selecione Criar.

  5. Selecione Gerenciar Políticas. Semelhante às políticas de nível de domínio, você pode criar políticas de nível de termo que se aplicam sempre que o termo estiver em uso.

  6. Marque a caixa ao lado de Aprovação do gerente necessária. Essa política impõe uma aprovação secundária do gerente do usuário no Microsoft Entra ID quando o acesso aos produtos de dados é solicitado.

  7. Selecione Publicar para o termo de epidemia criado. Os termos publicados são filtráveis no Catálogo unificado e garantem que outras pessoas que usam o termo para descrever seus produtos de dados possam ver essa descrição no Catálogo unificado enquanto navegam no produto de dados.

  8. Agora crie mais dois termos. Desta vez, selecione o termo "Surto" como o termo pai para os termos que você criou. Tente criar relações entre esses termos filho na guia relacionada em qualquer um dos termos para ajudar a criar a rede de como esses termos funcionam juntos para explicar a totalidade de um tópico.

    1. Pandemia: Um surto global de uma doença que afeta um grande número de pessoas em vários países/regiões ou continentes.
    2. Epidemia: Um surto nacional ou regional de uma doença que é altamente contagiosa e afeta uma grande parte da população.

  9. Tente criar alguns outros termos em qualquer outro domínio criado anteriormente. Se você não tiver certeza do que adicionar, selecione Obter termos sugeridos para que a IA generativa proponha alguns com base na descrição e no nome do domínio que você já forneceu.

Adicionar um OKR

Adicione um OKR (objetivo e resultado chave) para seu domínio de Saúde Pessoal para ajudar outras pessoas a entender o valor comercial de seus dados. Essa etapa cria uma conexão direta entre seus dados e o valor comercial que eles fornecem.

  1. Selecione a caixa OKR na página domínio de governança.

  2. Selecione Novo OKR.

  3. Insira os detalhes do objetivo primeiro:

    1. Objetivo: Reduzir o risco de pandemia, permitindo a aceitação eficaz da vacina do paciente.
    2. Proprietário: Insira seu nome
    3. Data de destino: '2024-12-31'

  4. Selecione Criar.

  5. Adicione resultados-chave à sua meta para torná-las mensuráveis e monitorar o progresso em direção à meta. Selecione Adicionar resultado-chave.

  6. Insira os detalhes do resultado da chave:

    1. Resultado-chave: Garantir que 80% das faixas etárias mais velhas (>65 anos) com maior probabilidade de serem afetadas pela pandemia recebam a vacinação completa até o final do ano civil de 2024.
    2. Status do progresso: No caminho certo
    3. Valor do Progresso: 70
    4. Valor da meta: 80
    5. Valor máximo: 100

  7. Selecione Criar.

  8. Selecionar Publicar.

Criar elementos de dados críticos

Crie um elemento de dados críticos (CDE) em Saúde Pessoal para garantir que as colunas de dados mais importantes tenham uma definição e compreensão consistentes. O CDE sempre atende às expectativas comerciais de como esses dados são formados e armazenados.

  1. Na página domínios de governança com o domínio Saúde Pessoal selecionado, selecione a caixa Elementos de dados críticos .
  2. Selecione Novo elemento de dados crítico.
  3. Insira os metadados básicos do CDE:
    1. Nome: Faixas etárias
    2. Descrição: agrupamento comum de idades de pessoas usado para garantir que os relatórios analíticos necessários seguem uma referência na qual outras pessoas podem confiar e removem as idades individuais para melhorar o anonimato dos dados. A faixa etária é dividida em oito grupos: <2 anos, 2-4 anos, 5-11 anos, 12-17 anos, 18-24 anos, 25-49 anos, 50-64 anos, 65+ anos.
    3. Proprietário: insira seu nome
    4. Tipo de Dados Esperado: Texto
    5. Selecione Criar.

O verdadeiro poder do CDE é que ele é mapeado diretamente para as colunas de dados físicos onde esses dados são armazenados. Essa conexão garante um entendimento comum e permite a avaliação de regras e políticas de Qualidade de Dados em escala.

  1. No CDE que você acabou de criar, selecione Adicionar coluna.

  2. Pesquise o ativo de dados Vacina Covid 19 e Tendências de Caso no contêiner dourado do data lake

  3. Selecione a caixa, não o nome, do ativo de Tendências de Casos e Vacinas contra a Covid 19 .

    Dica

    Se você selecionar o nome azul do ativo, uma nova janela será aberta mostrando os detalhes do ativo.

  4. Selecione o botão de opção ao lado da coluna AgeGroupVacc.

  5. Selecione Adicionar.

  6. Selecione a guia Qualidade de dados na parte superior do CDE que você acabou de criar para aplicar regras de qualidade de dados ao CDE. É semelhante a como você adicionou políticas para termos do glossário e domínios de governança.

  7. Selecionar Nova regra

  8. Selecionar a correspondência de tipo de dados

  9. Inserir Nome da regra: Confirmar formatação da faixa etária

  10. Selecione Criar.

  11. Selecione Publicar no CDE

Esse CDE agora aplica automaticamente uma regra de qualidade de dados a cada produto de dados que usa o ativo Vacinas Covid 19 e Tendências de Casos, que você verá na próxima seção.

  1. Tente criar alguns outros CDEs em seus outros domínios. Confira algumas ideias:
    • Vendas: receita e nome do vendedor
    • Corporativo: ID do produto

Etapa 2: configurar e registrar seus dados no Mapa de Dados

Se você não tiver fontes de dados disponíveis para verificação, siga estas etapas para implantar totalmente um exemplo do Azure Data Lake Storage (ADLS Gen2).

Dica

Se você já tiver uma fonte de dados no mesmo locatário que sua conta do Microsoft Purview, prossiga para a próxima parte desta seção para verificar seus ativos.

Em uma propriedade de dados reais, você encontra muitos sistemas diferentes em uso para diferentes aplicativos de dados. Existem ambientes de relatórios como Fabric e Snowflake, onde as equipes usam cópias de dados para criar soluções analíticas e potencializar seus relatórios e painéis. Existem sistemas de dados operacionais que alimentam os aplicativos que as equipes ou clientes usam para concluir processos de negócios que coletam ou adicionam dados com base nas decisões tomadas durante o processo.

Para criar um patrimônio de dados mais realista, mostre muitas fontes de dados no catálogo, que podem cobrir a amplitude de diferentes usos de dados que qualquer empresa pode ter. Os tipos de dados necessários para potencializar um caso de uso podem ser muito diferentes com usuários corporativos que precisam de relatórios e painéis, analistas precisam de dimensões e fatos conformados para criar relatórios, cientistas de dados ou engenheiros de dados precisam de dados de origem bruta que vieram diretamente do sistema que coleta os dados. Tudo isso e muito mais permite que diferentes usuários vejam a importância de encontrar, entender e acessar dados no mesmo lugar.

Para alguns outros tutoriais para adicionar dados ao seu patrimônio, siga estes guias:

Pré-requisitos

Configurar seu patrimônio de dados

A. Criar e preencher uma conta de armazenamento
  1. Siga este guia para criar uma conta de armazenamento: Criar uma conta de armazenamento para o Azure Data Lake Storage Gen2
  2. Crie contêineres para seu novo data lake:
    1. Vá para a página Visão geral da sua conta de armazenamento.
    2. Selecione a guia Contêineres na seção Armazenamento de dados.
      1. Selecionar contêiner.
      2. Nomeie o contêiner como "bronze" e selecione Criar.
      3. Repita essas etapas para criar um contêiner "dourado".
  3. Baixe alguns dados CSV de exemplo do data.gov: Vacinação Covid-19 e tendências de casos por faixa etária, Estados Unidos
  4. Carregue o CSV no contêiner chamado "bronze" na conta de armazenamento que você criou.
  5. Selecione o contêiner chamado 'bronze' e selecione Carregar.
  6. Navegue pelo local onde você salvou o CSV e selecione o arquivo Covid-19_Vaccination_Case _Trends .
  7. Selecione Carregar.
B. Criar um Azure Data Factory

Esta etapa demonstra como os dados se movem entre as camadas de um data lake de medalhão e garante que os dados estejam em um formato padronizado que os consumidores esperam usar. Esta etapa é um pré-requisito para executar a qualidade dos dados.

  1. Siga este guia para criar um Azure Data Factory: Criar um Azure Data Factory

  2. Copie os dados do CSV no contêiner "bronze" para o contêiner "ouro" como uma tabela de formato Delta usando este guia do Azure Data Factory: Transformar dados usando um fluxo de dados de mapeamento

  3. Abra a experiência do ADF (Azure Data Factory) no portal do Azure selecionando Iniciar estúdio na guia Visão geral do recurso do ADF criado.

  4. Selecione a guia Autor no ADF Studio.

  5. Selecione o + comando e, em seguida, Fluxo de dados.

  6. Nomeie o fluxo de dados como 'CSVtoDeltaC19VaxTrends'.

  7. Selecione Adicionar Origem na caixa vazia.

  8. Defina as Configurações de origem como:

    1. Nome do fluxo de saída: 'C19csv'
    2. Descrição: deixe em branco
    3. Tipo de origem: embutido
    4. Tipo de conjunto de dados embutido: Texto Delimitado
    5. Serviço Vinculado: Selecione o data lake em que você armazenou o csv

  9. Defina Opções de origem como:

    1. Modo de arquivo: arquivo
    2. Caminho do arquivo: /bronze/ Covid-19_Vaccination_Case _Trends
    3. Não permitir que nenhum arquivo seja encontrado: deixe desmarcada
    4. Captura de dados de alterações: deixe desmarcada
    5. Tipo de compactação: nenhuma
    6. Codificação: Padrão (UTF-8)
    7. Delimitador de coluna: Vírgula (,)
    8. Delimitador de linha: Padrão(\r, \n ou\r\n)
    9. Caractere de aspas: Aspas duplas (")
    10. Caractere de escape: barra invertida ()
    11. Primeira linha como cabeçalho: CHECKED
    12. Deixe o resto como padrão

  10. Selecione Avançar pela origem criada e selecione Coletor.

  11. Crie o coletor onde o formato e a localização dos dados a serem armazenados para mover os dados de um CSV em 'bronze' para uma tabela delta em 'gold'.

    1. Defina os valores do coletor (deixe todas as configurações como padrão, a menos que especificado).
    2. Tipo de coletor: embutido.
    3. Tipo de conjunto de dados embutido: Delta.
    4. Serviço vinculado: o mesmo data lake usado na origem, pois você está armazenando em um contêiner diferente.

  12. Defina os valores de configuração (deixe todas as configurações como padrão, a menos que sejam especificadas)

    1. Caminho da pasta: gold/Covid19 Vaccine and Case Trends.

  13. Insira o valor porque esse nome é como você deseja armazenar os dados e não existe para selecionar.

  14. Selecione Validar. Essa ação verifica o fluxo de dados e fornece instruções para corrigir quaisquer erros.

  15. Selecione Publicar tudo.

  16. Selecione o + comando e, em seguida, selecione Pipeline.

  17. Nomeie seu pipeline como 'CSV para Delta C19 Vax Trends'.

  18. Selecione o fluxo de dados criado nas etapas anteriores CSV para Delta (C19VaxTrends) e arraste e solte-o na guia abrir pipeline.

  19. Selecione Validar.

  20. Selecionar Publicar.

  21. Selecione Depurar (usar runtime de atividade) para executar o pipeline.

    Dica

    Se você receber erros para espaços ou caracteres inadequados para o formato delta, abra o CSV baixado e faça correções. Em seguida, carregue novamente e substitua o CSV na zona bronze. Em seguida, execute novamente o pipeline.

  22. Navegue até o contêiner de ouro no data lake e agora você verá a nova tabela Delta criada durante o pipeline.

Verificar seus ativos

Se você ainda não digitalizou ativos de dados em seu Mapa de Dados, siga estas etapas para preencher seu mapa de dados.

A verificação de fontes em seu patrimônio de dados coleta automaticamente os metadados dos ativos de dados (tabelas, arquivos, pastas, relatórios e muito mais) nessas fontes. Ao registrar uma fonte de dados e criar a verificação, você estabelece a propriedade técnica sobre as fontes e os ativos que aparecem no catálogo. Você também controla quem pode acessar quais metadados no Microsoft Purview. Ao registrar e armazenar fontes e ativos no nível do domínio, você os armazena no nível mais alto da hierarquia de acesso. Normalmente, é melhor criar algumas coleções em que você examina os metadados do ativo e estabelece a hierarquia de acesso correta para esses dados.

Se você optar por usar Fabric ou SQL, use estes guias para fornecer acesso:

Registre seu data lake e verifique seus ativos

  1. No Mapa de Dados, na guia domínios, selecione as atribuições de Função para o domínio (é o nome da conta do Microsoft Purview):

    1. Adicione-se como administrador da fonte de dados e curador de dados ao domínio.
      1. Selecione o ícone de pessoa ao lado da função Administrador da fonte de dados. 1. Pesquise seu nome como ele está no Microsoft Entra ID (talvez seja necessário inserir seu nome completo escrito exatamente como está no Microsoft Entra ID).
      2. Selecione OK.
      3. Repita essas etapas para o curador de dados.

  2. Registre o data lake:

    1. Selecione a guia Fontes de dados.
    2. Selecione Registrar.
    3. Selecione o tipo de armazenamento do Azure Data Lake Storage Gen2.

  3. Forneça os detalhes para se conectar:

    1. Assinatura (opcional)
    2. Nome da Fonte de Dados (este é o nome da fonte do ADLS Gen2)
    3. Coleção em que os metadados de ativos devem ser armazenados (opcional)
    4. Selecione Registrar

  4. Quando o registro da fonte de dados for concluído, você poderá configurar a verificação. O registro significa que o Microsoft Purview está conectado à fonte de dados e a colocou na coleção correta para propriedade. A verificação lê os metadados da origem e preenche os ativos no mapa de dados.

  5. Selecione a fonte que você registrou na guia fontes de dados

  6. Selecione nova verificação e forneça detalhes:

    1. Use o runtime de integração padrão para esta verificação
    2. A credencial deve ser Microsoft Purview MSI (sistema)
    3. O nível de varredura é Detecção automática
    4. Selecione uma coleção ou use o domínio (a coleção deve ser a mesma coleção ou coleção filho de onde a fonte de dados foi registrada)
    5. Selecione Continuar

    Dica

    Neste ponto, a conexão é testada para validar se uma verificação pode ser feita. Se você não conceder ao leitor MSI do Microsoft Purview acesso na fonte de dados, ele falhará. Se você não for o proprietário da fonte de dados ou não tiver um contribuidor de acesso de usuário, a verificação falhará, pois espera que você tenha autorização para criar a conexão.

  7. Agora selecione apenas o contêiner "gold" onde você colocou a tabela delta na seção de dados de construção do tutorial. Essa seleção impede a verificação de quaisquer outros ativos de dados que estejam no seu armazenamento de dados.

    1. Deve ter apenas uma marca azul ao lado do ouro, você pode deixar as verificações ao lado de tudo, pois ele fará a varredura da fonte completa e ainda criará os ativos que usaremos e muito mais.
    2. Selecione Continuar

  8. Na tela selecionar um conjunto de regras de verificação, você deve usar o conjunto de regras de verificação padrão.

  9. Selecione Continuar

  10. Ao definir um gatilho de varredura, você definirá a frequência da varredura para que, à medida que continue a adicionar ativos de dados ao contêiner de ouro do lago, ele continue a preencher o mapa de dados. Selecione uma vez.

  11. Selecione Continuar.

  12. Selecione Salvar e Executar. Essa ação cria uma verificação que lê os metadados do contêiner gold do data lake e preenche a tabela que usaremos no Catálogo unificado nas próximas seções. Se você selecionar apenas salvar, a verificação não será executada e você não verá os ativos. Quando a verificação estiver em execução, você verá a verificação criada com um status Última execução de Na fila. Quando as leituras de verificação forem concluídas, seus ativos estarão prontos para a próxima seção. Esse processo pode levar alguns minutos ou horas, dependendo de quantos ativos você tem na fonte.

Etapa 3: Publicar seus produtos de dados

A criação de produtos de dados é essencial para garantir que sua organização possa descobrir os dados corretos. Os produtos de dados ajudam a evitar a governança excessiva de dados que têm pouco ou nenhum valor em seu patrimônio de dados porque não têm uso ou valor limitado. Quando seus especialistas em dados publicam produtos de dados, você ativa seus dados mais valiosos e cria o nível certo de governança com base nesse valor. A curadoria de ativos que as equipes técnicas não conhecem o objetivo comercial ou a tentativa de controlar tudo em seu patrimônio de dados complexo e crescente causa tempo extra e perda de produtividade perseguindo os detalhes dos dados que podem nunca ser usados ou podem ser removidos do patrimônio. Em vez disso, concentre-se nos dados que têm valor e que as pessoas precisam descobrir e construir ainda mais valor. À medida que as equipes usam mais dados e entendem melhor o que é necessário, você pode criar produtos de dados mais úteis para atender a essas demandas. A governança pode se adaptar para garantir que sempre permaneça do tamanho certo com base no valor e na confidencialidade dos dados.

Pré-requisitos

Criar e publicar um produto de dados

  1. Abra o portal do Microsoft Purview.

  2. Selecione Catálogo unificado.

  3. Selecione Gerenciamento de catálogo e, em seguida, Domínios de governança.

  4. Na página Domínios de governança , selecione o domínio Saúde pessoal.

  5. Selecione Ir para produtos de dados em Conceitos de negócios.

  6. Aqui é onde os especialistas em dados chamados proprietários de produtos de dados identificarão os ativos de dados que devem ser consumidos por outras pessoas em sua organização e fornecerão as informações necessárias para torná-los utilizáveis.

  7. Selecione Novo produto de dados.

  8. Forneça detalhes sobre o produto de dados: 1. Nome: "Vacinação Covid-19 e tendências de casos por idade" 1. Descrição: "Esses dados vêm do CDC como parte do Departamento de Saúde & Serviços Humanos dos EUA. Os dados contêm tendências de vacinações e casos por faixa etária, em nível nacional dos EUA. Os dados são estratificados por pelo menos uma dose e totalmente vacinados. Os dados também representam todos os parceiros de vacinas, incluindo clínicas parceiras jurisdicionais, farmácias de varejo, instalações de cuidados de longo prazo, centros de diálise, agência federal de gerenciamento de emergências e locais de parceiros da Administração de Recursos e Serviços de Saúde e instalações de entidades federais.

    1. Tipo: Conjunto de dados
    2. Selecione Avançar.
    3. Casos de uso: This data is provided for public use and is intended to help understand the trends of vaccination up take and new cases by different age groups. The ages are banded into two groups ranging from <2 years to 65+ years. Similarly the trends are provided in daily numbers that provide seven day average of new cases by age group.
    4. Marcar como Endossado como marcado .
    5. Selecione Salvar.

  9. Agora você tem os metadados base do produto de dados criados. Em seguida, adicione algumas propriedades e mapeie o ativo no Mapa de dados.

  10. Selecione Adicionar ativos de dados.

  11. Você vê os ativos digitalizados no Mapa de dados, incluindo todas as pastas e camadas da fonte de dados.

  12. Pesquise o ativo Covid19 Vaccine and Case Trends que você adicionou ao contêiner dourado do seu data lake e selecione esse conjunto de recursos.

  13. Selecione Adicionar. Você pode selecionar quantos ativos forem necessários para um produto de dados, mas aqui apenas um é necessário.

    Dica

    Selecione Obter sugestões para que a ajuda da IA generativa escolha entre os ativos em seu mapa de dados e selecione a Vacina Covid19 e as Tendências de Caso em uma lista reduzida de resultados.

  14. Agora você pode ver o ativo adicionado ao seu produto de dados.

  15. Selecione Adicionar termo ao lado do título dos termos do glossário.

  16. Selecione o termo Surto criado anteriormente e selecione Adicionar.

  17. Você deve ver o elemento de dados crítico para a faixa etária do ativo mapeado para o produto de dados agora.

  18. Selecione Adicionar OKR ao lado do título de OKR.

  19. Selecione Reduzir o risco de pandemia permitindo a aceitação eficaz da vacina do paciente. É o objetivo que você criou na primeira seção.

Gerenciar políticas de solicitação de acesso ao produto de dados

Na parte superior da página, a última etapa antes de publicar o produto de dados é selecionar Gerenciar políticas. Aqui, você configura as políticas de acesso e solicita o fluxo de trabalho de acesso fazendo seleções e fornecendo os nomes para aprovação. Você também pode usar a guia Políticas herdadas para ver a política de domínio de governança aplicada ao atestado de cópias de dados aplicado anteriormente. É o mesmo para a aprovação do gerente exigida proveniente do termo do glossário Outbreak.

  1. Selecione a guia Gerenciar políticas .

  2. Em Limite de tempo de acesso, forneça detalhes sobre por quanto tempo a solicitação de acesso é válida antes de precisar ser renovada. Defina esse valor para conceder acesso por até um ano.

  3. Na caixa, insira 1.

  4. Selecione os anos na lista suspensa.

  5. Em requisitos de aprovação, forneça seu nome na caixa aprovadores. (Requer o nome registrado no Microsoft Entra ID.)

    Observação

    Você não precisa marcar a aprovação do gerente porque essa política é herdada do termo do glossário de epidemias.

  6. Selecione Visualizar formulário de solicitação para ver o que os consumidores do catálogo exibem ao solicitar acesso. Você verá a cópia de dados, o atestado e a aprovação do gerente necessários porque eles foram definidos pelo domínio de governança e pelo termo do glossário.

  7. Selecionar Salvar alterações.

Depois de mapear os ativos de dados e configurar as políticas de acesso, você estará pronto para publicar seu produto de dados no catálogo.

  1. Selecione Publicar no produto de dados.

  2. Tente criar um Relatório de Lucro em outros domínios que você criou anteriormente

    1. Relatório de Lucro, Tipo: Dashboards/relatórios.
    2. Mestre de Produto, Tipo: Dados de Maser e dados de referência.

Observação

Você pode adicionar muitos ativos a eles e ver a aparência de um produto de dados com muitos ativos. Adicione os produtos de dados aos termos de qualquer domínio para ver como o glossário é usado para descrever os dados usando um conjunto consistente de termos.

Etapa 4: Executar a qualidade dos dados

Agora que você tem um produto de dados disponível no catálogo, a execução de regras de qualidade de dados informa a todos que os dados estão em boa forma e prontos para uso. À medida que você aprende mais sobre os dados, adicione novas regras de qualidade de dados para garantir que eles sejam adequados para todos os casos de uso. Garantir que os produtos de dados sejam da mais alta qualidade ajuda a criar confiança em seus dados e mostra aos outros que você os está monitorando e melhorando. À medida que o valor dos dados aumenta, você precisa monitorar e controlar mais de perto a qualidade desses dados. Problemas de qualidade de dados mal gerenciados podem causar efeitos negativos significativos.

Pré-requisitos

  • As regras de qualidade de dados só podem ser executadas em tabelas de formato delta no ADLS Gen2 e no Microsoft Fabric.
  • A Identidade Gerenciada do Microsoft Purview deve ser habilitada para ler a fonte de dados, pois é a única credencial com suporte para qualidade de dados atualmente.
  • Você deve ter a função de administrador de qualidade de dados no domínio de governança em que está executando a qualidade de dados.
  • Você deve ser o proprietário ou ter acesso de usuário, acesso de administrador à fonte de dados com a qual está conectando, a verificação da qualidade dos dados para garantir a autorização de segurança adequada para verificar os dados.
  • Você deve ter a função de administrador de perfil de dados para executar perfis em seus dados.

Criar e executar regras de qualidade de dados

  1. Abra o portal do Microsoft Purview.

  2. Selecione Catálogo unificado.

  3. Selecione a guia Qualidade de dados em Gerenciamento de dados.

  4. Selecione o Domínio de Saúde Pessoal criado na seção 1.

  5. Selecione Gerenciar e, em seguida, selecione Conexões. Ao criar essa conexão, você pode executar verificações de qualidade de dados em sua fonte de dados nesse domínio de governança. Essa etapa impede que as equipes tenham acesso ao conhecimento dos dados sem a devida autorização.

  6. Selecione Novo na tela de conexões para criar uma nova conexão: 1. Insira o nome de exibição "Personal Health ADLSg2 DQ".

    1. Selecione o tipo de origem do Azure Data Lake Storage Gen2.
      1. Insira os detalhes da fonte de dados criada na seção 2.

        Observação

        A credencial deve ser Microsoft Purview MSI (sistema) para uma conexão de qualidade de dados.

      2. Selecione Testar conexão.
      3. Depois que a conexão for testada, selecione Enviar.

Depois que a conexão for estabelecida, você estará pronto para executar perfis e começar a criar regras de qualidade de dados. Essa etapa garante que os especialistas que conhecem as regras de negócios e as regras apropriadas estejam executando os produtos de dados mais importantes.

  1. Voltar para a página Qualidade dos dados.
  2. Selecione o domínio de governança de Saúde Pessoal.
  3. Selecione o produto de dados Vacinação Covid-19 e Tendência de Caso por Idade criado na seção 3.
  4. Selecione o ativo que você adicionou ao produto de dados. (Ele deve estar no formato delta da seção 2 ou a qualidade dos dados não será executada).
  5. Aplique regras de qualidade de dados às colunas dos dados para avaliar se eles atendem às suas expectativas de qualidade:
    1. Selecione a guia Regras no ativo selecionado.
    2. Selecione Nova regra.
    3. Selecione a regra Campos vazios/em branco.
    4. Insira os detalhes:
      • Selecione a coluna AgeGroupVacc na lista suspensa da coluna
      • Nome da regra: Confirme se existe a faixa etária de vacinação
    5. Selecione Criar.
    6. Selecione Nova regra.
    7. Selecione Correspondência de tipo de dados.
    8. Insira detalhes.
    9. Selecione a coluna DateAdministered .
    10. Selecione Criar.
  6. Selecione Executar Verificação de Qualidade de Dados.

Dados do perfil

Crie um perfil para seus dados para ver as estatísticas de alto nível de cada coluna e descobrir quaisquer anomalias que possam exigir uma nova regra.

  1. No Catálogo unificado, selecione Gerenciamento de integridade e, em seguida, selecione Qualidade dos dados.
  2. Selecione Dados do perfil.
  3. Marque a caixa superior ao lado de Nome da coluna para criar o perfil de todas as colunas. O sistema recomenda quais colunas criar o perfil e você pode selecionar colunas que você sabe que valem a pena criar perfis para ajudar a evitar perfis em dados altamente confidenciais ou dados que você sabe que estão escassamente preenchidos.
  4. Selecione Executar perfil.

Quando a verificação for concluída, você poderá revisar o índice de qualidade de dados e o perfil do seu novo produto de dados. Todos os usuários do catálogo podem ver o índice de qualidade dos dados, para que todos saibam o status dos dados.

Crie uma programação para suas verificações de qualidade de dados para garantir que você monitore continuamente os problemas de qualidade de dados. Defina alertas para garantir que você esteja resolvendo problemas de qualidade de dados antes que os consumidores sejam afetados.

  1. Em Gerenciamento de integridade, selecione Qualidade dos dados.
  2. Selecione o domínio de Saúde Pessoal no qual você configurou as regras de qualidade de dados.
  3. Na lista suspensa Gerenciar , selecione Verificações agendadas.
  4. Na página Verificações agendadas , selecione Novo.
  5. Adicionar detalhes de Visão Geral
    1. Nome: Personal Health DQ Avaliação Mensal
    2. Descrição: verificação mensal das regras DQ para melhoria contínua.
  6. Selecione Continuar
  7. Selecionar o escopo da verificação
  8. Marque a caixa ao lado do produto de dados de vacinação contra Covid-19 e tendência de caso por idade
  9. Selecione Continuar
  10. Agende a verificação para garantir que ela seja executada no último dia de cada mês
    1. Selecionar Recorrente
    2. Recorrência: A cada um mês
    3. Dias do mês: Últimos
    4. Agendar horário de verificação (UTC): 12:00:00
    5. Iniciar recorrência em (UTC): deixar como padrão
  11. Selecione Continuar
  12. Examine os detalhes da verificação para ver se há alguma alteração que você deseja fazer antes de salvar.
  13. Selecione Salvar. Como você acionou uma verificação manual anteriormente, não precisa disparar outra verificação agora. Se você precisar de uma nova verificação, selecione Salvar e executar.

Configurar alertas

Depois de agendar verificações de qualidade de dados, você pode configurar alertas para notificar os stewards sobre problemas ou quando problemas de qualidade de dados ou falhas de verificação precisarem de atenção. Configure um alerta de qualidade de dados para verificações com falha e quando a pontuação diminuir em mais de 5%.

  1. Retorne ao domínio Saúde Pessoal na página Qualidade de dados .
  2. Na lista suspensa Gerenciar , selecione Alertas.
  3. Selecione Novo.
  4. Inserir detalhes do alerta
    1. Nome de exibição: Verificação Mensal DQ de Saúde Pessoal
    2. Descrição: para garantir que os limites mínimos de DQ atendam às expectativas do consumidor.
    3. Meta: a pontuação diminui em mais de
    4. Limiar: 5
    5. Desativar notificações: deixe desmarcada
    6. Ativar notificação de verificações de qualidade com falha: deixe marcada
    7. Destinatário: insira seu nome
  5. Selecione Continuar.

Dica

Ao implementar no Catálogo unificado, envie os alertas aos administradores que podem notificar os consumidores sobre o problema e trabalhar com o proprietário técnico dos dados para fazer correções.

No final desta seção, você tem um Catálogo unificado em funcionamento com qualidade de dados operacionais para gerenciar os dados que você está oferecendo aos consumidores de dados organizacionais. Tudo é configurado para obter os dados mais valiosos para o consumidor e criar confiança nos dados que eles usam. À medida que o valor dos dados cresce e novas estratégias de dados surgem, a próxima seção mostra como você pode gerenciar todo o catálogo ou se aprofundar no gerenciamento de dados específicos com master dados.

Etapa 5: Gerenciamento de dados mestres

O gerenciamento de dados mestres (MDM) é a prática de conformar as entidades de dados mais importantes que devem ser precisas, exclusivas e aplicadas de forma consistente em todas as áreas do negócio, pois erros e problemas nesses dados podem afetar toda a empresa. Por meio de um de nossos parceiros de MDM, você pode integrar sua escolha de soluções de MDM ao Microsoft Purview para habilitar a unificação, padronização e limpeza de dados que permitem a criação de registros gold e a publicação de dados master como produtos de dados.

Siga os tutoriais aqui para obter a solução de sua escolha: Gerenciamento de dados mestres no Microsoft Purview

Etapa 6: Gerenciar a integridade dos dados

Na área de gerenciamento de integridade do Catálogo unificado, o escritório central de dados e outros gerentes de dados podem avaliar o status dos dados em relação aos padrões de sua empresa e gerenciar efetivamente o progresso em direção à sua estratégia. Para garantir que todos na empresa saibam o que podem fazer para aumentar o valor de seus dados, é essencial que os padrões sejam compreendidos e dimensionáveis para toda a organização, sem a necessidade de tornar todos especialistas em governança de dados. A partir de um conjunto padrão do setor de controles que estão disponíveis para uso, cada escritório de dados pode personalizar os controles para atender às suas expectativas e garantir que eles se alinhem às suas metas de dados. Fundamental para a eficácia desses controles não é apenas a medição desses padrões, mas também garantir que os responsáveis pelos dados possam agir por conta própria e serem responsabilizados por fazer as melhorias que afetam o valor dos dados. No Data Estate Health, você pode definir e gerenciar todos esses recursos críticos.

Pré-requisitos

Avaliar sua governança de dados com a integridade do patrimônio de dados

  1. Abra o portal do Microsoft Purview.

  2. Selecione Catálogo unificado.

  3. Em Integridade do Patrimônio de Dados na navegação à esquerda, selecione Controles de integridade.

  4. Selecione a cenoura > ao lado do grupo de controle Criação de valor .

  5. Ao passar o mouse sobre um título de controle, selecione o ícone de lápis para editar o controle. Ao editar o controle, você altera o limite do controle para definir as expectativas de qual deve ser a pontuação e define a pontuação de cores para demonstrar os estágios de progresso.

  6. Os detalhes permitem que você forneça uma descrição do controle e o que ele significa para sua organização e defina um proprietário para um controle específico.

  7. Selecione a guia Regras do controle para alterar o limite. Essa configuração tem um alvo alto e, se não estiver íntegra, é fundamental acompanhar.

    1. Herdar do grupo: alterne para desligar (deve ficar cinza).
    2. Pontuação alvo: 90
    3. Selecione Nova regra.
    4. Defina a caixa ao lado da pontuação como GreaterThanOrEqual
    5. Defina a porcentagem como 90
    6. Status = Integridade (verde)
    7. Status da caixa else = Crítico (roxo)
    8. Selecione Salvar.

  8. Em integridade do acervo de dados, selecione Qualidade dos metadados.

Aqui você pode alterar ou adicionar regras que criam as pontuações do controle. Aqui você deseja alterar a gravidade das ações de Criação de Valor para garantir que todos os usuários saibam a importância dessa ação.

  1. Selecione Configurar gravidade
  2. Selecione o grupo de controle Criação de valor
  3. Selecione o título Controle de alinhamento de OKRs de Negócios
  4. Altere a gravidade de Média para Alta e selecione Salvar
  5. Selecione a guia Ações de integridade
  6. Filtro Atribuído a: ao seu nome
  7. Selecione uma ação na qual você possa ver o que o proprietário da ação precisa fazer para garantir que as expectativas de governança sejam atendidas ou ele pode atribuir um novo proprietário para que o melhor especialista forneça suas opiniões. Há também um status que permite que outras pessoas saibam qual trabalho está em andamento e onde outras ações podem precisar de priorização.

Etapa 7: democratização de dados

A democratização de dados permite que os usuários encontrem e acessem os dados de que precisam de maneira compatível. Isso garante que as pessoas possam encontrar os dados de que precisam para criar valor comercial. O Catálogo unificado fornece uma experiência limpa e fácil para descobrir dados. Ele capacita os administradores a atualizar e gerenciar os dados disponibilizados no catálogo em escala. Nesta seção, você aprenderá como os usuários podem localizar e solicitar acesso aos dados e garantir que os aprovadores apropriados possam rastrear e fornecer entradas nessas solicitações de acesso.

Pré-requisitos

Descobrir produtos de dados

  1. No Catálogo unificado, selecione Descoberta e, em seguida, selecione Produtos de dados.
  2. Na página Produtos de dados , use a barra de pesquisa para pesquisar as taxas de vacinação por idade.
  3. Aqui você vê os produtos de dados publicados na seção 2. Essa exibição mostra como os usuários veem apenas os dados destinados a eles e evita que os usuários tenham que navegar em um acervo de dados altamente técnico.
  4. Selecione o produto de dados Vacinação Covid-19 e Tendência de Caso por Idade
    1. Aqui, os consumidores podem ver os metadados fornecidos e qualquer uma das outras propriedades que você configurou durante a instalação. O índice de qualidade dos dados também está aqui para que os consumidores saibam a qualidade antes mesmo de terem acesso aos dados.
    2. Selecione o ativo e o consumidor poderá ver todas as colunas disponíveis no ativo de dados.
    3. Selecione o termo do glossário Outbreak e o consumidor poderá ver a descrição e outras informações sobre o termo para obter uma compreensão mais profunda dos dados.
  5. Quando o consumidor tiver certeza de que deseja usar esses dados, ele precisará obter acesso aprovado aos dados.
    1. Selecione Solicitar acesso
    2. Preencha os detalhes do formulário para enviar uma solicitação.
    3. Usuário: deixe seu nome
    4. Aprovação do Gerente: automaticamente exigida e direcionada ao gerenciador do Microsoft Entra ID.
    5. Finalidade: selecione uma finalidade
    6. Justificativa empresarial: monitoramento de OKR
    7. Marque a caixa ao lado do atestado para dizer que você entende as expectativas de usar esses dados.
    8. Selecione Enviar.

A solicitação de acesso agora é enviada ao gerente listado no Microsoft Entra ID. A partir daqui, o gerente pode acessar as solicitações abrindo o email e selecionando um link ou entrando no Microsoft Purview. A aprovação e o gerenciamento de acesso podem ser feitos diretamente no Microsoft Purview.

  1. No Catálogo unificado, selecione Gerenciamento de catálogo e selecione Solicitações.
  2. Selecione o domínio de Saúde Pessoal .
  3. Selecione a solicitação que você enviou.
  4. Agora, os aprovadores podem aprovar ou recusar selecionando Responder na solicitação.
  • Last updated on