Pesquisa de conteúdo para volumes do Catálogo Unity

A pesquisa de conteúdo prepara e indexa os documentos num volume do Unity Catalog. As pesquisas e as perguntas dos agentes são então alinhadas com o índice, para que utilizadores e agentes recuperem a informação mais relevante de forma mais rápida e precisa. Como o índice cobre o conteúdo de cada ficheiro, um agente pode recorrer a passagens específicas de vários ficheiros em vez de recuperar apenas alguns ficheiros completos.

A pesquisa de conteúdo é especialmente útil para volumes associados a um Agente Génio. Veja Analisar ficheiros em volumes com um Agente Genie.

Importante

Este recurso está em versão Beta. Para o usar, um administrador de espaço de trabalho deve ativar Analisar Ficheiros em Volumes com Agentes Genie a partir da página de Pré-visualizações . Ver Gerir as pré-visualizações de Azure Databricks.

Requerimentos

Antes de ativar a pesquisa de conteúdo para um volume do Unity Catalog, confirme que cumpre os seguintes requisitos:

Disponibilidade regional

A pesquisa de conteúdos está disponível nas regiões listadas nesta secção. Não está disponível em regiões que não estão listadas. Em algumas regiões, só funciona se um administrador de contas permitir o processamento cross-Geo, o que permite ao Azure Databricks processar os seus ficheiros fora do seu espaço de trabalho Geo. Consulte Ativar processamento geográfico cruzado.

Regiões que não requerem processamento cruzado

A pesquisa de conteúdos corre na sua região de espaço de trabalho para as seguintes regiões:

  • E.U.A. Central
  • E.U.A. Leste
  • E.U.A. Leste 2
  • Centro de França
  • Alemanha Centro-Oeste
  • E.U.A. Centro-Norte
  • E.U.A. Centro-Sul
  • Suécia Central
  • Norte da Suíça
  • E.U.A. Oeste
  • E.U.A. Oeste 2
  • E.U.A. Oeste 3

Regiões que requerem processamento cross-Geo

Para as seguintes regiões, um administrador de conta deve ativar o processamento cruzado antes de poder ativar a pesquisa de conteúdo:

  • Austrália Central
  • Austrália Central 2
  • Leste da Austrália
  • Austrália Sudeste
  • Sul do Brasil
  • Canadá Central
  • Leste do Canadá
  • Índia Central
  • Ásia Leste
  • Leste do Japão
  • Oeste do Japão
  • Coreia Central
  • México Central
  • Europa do Norte
  • Leste da Noruega
  • Catar Central
  • Norte da África do Sul
  • Sul da Índia
  • Sudeste Asiático
  • Oeste da Suíça
  • Norte dos E.A.U.
  • Sul do Reino Unido
  • Oeste do Reino Unido
  • E.U.A. Centro-Oeste
  • Europa Ocidental
  • Índia Ocidental

Ativar pesquisa de conteúdo

Ativa e desativa a pesquisa de conteúdo a partir da página do volume no Explorador de Catálogos.

Para ativar a pesquisa de conteúdos:

  1. No seu espaço de trabalho do Azure Databricks, clique no ícone Dados.Catálogo.
  2. Pesquise ou explore o volume que contém os ficheiros que pretende indexar e selecione-o.
  3. No separador Visão Geral , encontre a secção de pesquisa de Conteúdo na barra lateral direita.
  4. Clique em Ativar.

Depois de ativar a pesquisa de conteúdo, o Azure Databricks executa uma sincronização inicial para analisar e indexar os ficheiros suportados no volume. A secção de pesquisa de Conteúdo no separador Visão Geral mostra o estado da ingestão, o resultado da última sincronização e o tempo durante o qual o volume é indexado.

A pesquisa de conteúdo não analisa e indexa automaticamente alterações ao seu volume, como ficheiros adicionados recentemente ou edições em ficheiros existentes. Para atualizar a pesquisa de conteúdo para que reflita as suas alterações, clique em Sincronizar agora na secção de pesquisa de Conteúdo . Tens de CAN MANAGE ativar o volume para ativar a sincronização.

Para desativar a pesquisa de conteúdo, clique em Desativar na secção de pesquisa de conteúdo . Desativar a pesquisa de conteúdo apaga o índice gerado e o conteúdo processado. Se voltares a ativar, o Azure Databricks reindexa o volume do zero e voltas a incorrer com o custo de ingestão.

A Databricks recomenda ativar a pesquisa de conteúdo para os volumes que associa a um Agente Genie. Veja Analisar ficheiros em volumes com um Agente Genie.

Como a pesquisa de conteúdo é faturada

A pesquisa de conteúdo tem dois componentes de custo:

  • Ingestão: Quando ativas a pesquisa de conteúdo ou executas uma sincronização, o Azure Databricks usa a ai_parse_document função de IA para analisar os ficheiros no volume antes de construir o índice. A Databricks fatura este processamento sob a tarifação das Funções de IA.
  • Serviço de consultas: O Lakebase armazena e serve os índices resultantes. Os Databricks faturam computação e armazenamento com base nas unidades de computação (CUs) que o Lakebase disponibiliza. O serviço de consultas escala de 2 a 12 CUs com base no tamanho do índice e na concorrência das consultas. Após três dias sem tráfego, o endpoint escala para zero e deixa de incorrer em custos de computação de serviço de consultas. Para as taxas atuais, consulte a página de preços da Lakebase.

Quando um Agente Genie consulta um volume indexado, a consulta também pode gerar custos para o Agente Genie. Veja : Como é apresentada esta funcionalidade?.

Limitations

As seguintes limitações aplicam-se à pesquisa de conteúdo durante a Beta:

  • Apenas os volumes geridos pelo Unity Catalog suportam pesquisa de conteúdo. Volumes externos, volumes My Files e volumes em catálogos com encadernações de espaço de trabalho não são suportados. Veja Armazenar ficheiros nos Meus Ficheiros.
  • Ativas a pesquisa de conteúdo para um volume inteiro. Não podes indexar um subconjunto das pastas ou ficheiros num volume.
  • Cada espaço de trabalho pode ter até 100 volumes com a pesquisa de conteúdo ativada.
  • Cada volume indexado pode conter até 10.000 ficheiros.
  • A pesquisa de conteúdo ignora ficheiros superiores a 50 MB.
  • A pesquisa de conteúdo suporta ficheiros PDF, JPG, JPEG, PNG, TIFF, TIF, DOC, DOCX, PPT ou PPTX. Ignora todos os outros tipos de ficheiros.
  • A pesquisa de conteúdo não está disponível no AWS GovCloud, nas regiões do Azure Government, nem em espaços de trabalho com conformidade com o FedRAMP.

Recursos adicionais

Consulte os seguintes recursos para informações relacionadas:

  • Last updated on