Usar o URI do Azure Data Lake Storage (ABFS)

O driver do sistema de arquivos Hadoop compatível com o Azure Data Lake Storage usa o identificador de esquema abfs (Sistema de Arquivos de Blob do Azure). Assim como outros drivers do Sistema de Arquivos Hadoop, o driver do ABFS usa um formato de URI para abordar arquivos e diretórios em uma conta habilitada Data Lake Storage.

Sintaxe de URI do ABFS para Azure Data Lake Storage

O driver do Azure Blob File System funciona com o ponto de extremidade do Data Lake Storage de uma conta, mesmo que essa conta não tenha um namespace hierárquico habilitado. Se a conta de armazenamento não tiver um namespace hierárquico, use a seguinte sintaxe de URI abreviada:

abfs[s]1://<file_system>2@<account_name>3.dfs.core.windows.net/<path>4/<file_name>5

  1. Identificador do esquema: O abfs protocolo é usado como o identificador do esquema. Se você adicionar um s no final (abfss), o driver de cliente do ABFS Hadoop sempre usará o TLS (Transport Layer Security), independentemente do método de autenticação escolhido. Se você escolher o OAuth como sua autenticação, o driver cliente sempre usará TLS mesmo que você especifique abfs , em vez de abfss porque o OAuth depende apenas da camada TLS. Por fim, se você optar por usar o método mais antigo da chave da conta de armazenamento, o driver do cliente interpretará abfs como significando que você não deseja usar o TLS.

  2. Sistema de arquivos: O local pai que contém os arquivos e pastas. Esta localização é a mesma dos contêineres no serviço Blob do Armazenamento do Azure.

  3. Nome da conta: o nome que você dá à sua conta de armazenamento durante a criação.

  4. Caminhos: uma barra invertida delimitada (/) representação da estrutura de diretório.

  5. Nome do arquivo: O nome do arquivo individual. Esse parâmetro é opcional se você está endereçando um diretório.

Se a conta que você deseja abordar tiver um namespace hierárquico, use a seguinte sintaxe de URI abreviada:

/<path>1/<file_name>2

  1. Caminho: uma barra invertida delimitada (/) representação da estrutura de diretório.

  2. Nome do arquivo: O nome do arquivo individual.

Próximas etapas

  • Last updated on