Salto de ficheiros para tabelas Delta

O ignoramento de ficheiros é uma otimização de leitura do Delta Lake que permite ao motor Spark evitar analisar ficheiros de dados que não podem conter linhas coincidentes. Como o motor lê menos dados, as consultas correm mais rápido e consomem menos recursos de I/O.

Como funciona o salto de ficheiros

Sempre que um ficheiro de dados é escrito numa tabela Delta, o Delta Lake regista estatísticas de coluna por ficheiro no registo de transações. Estas estatísticas incluem o valor mínimo, valor máximo e contagem nula para cada coluna indexada nesse ficheiro.

Quando uma consulta inclui um predicado de filtro, o motor compara o valor do predicado com o intervalo mínimo/máximo armazenado para cada ficheiro. Se o valor do predicado estiver fora do intervalo de um ficheiro, esse ficheiro é completamente ignorado — não há necessidade de o abrir ou escanear.

Por exemplo, considere uma sales tabela particionada em cinco ficheiros de dados por intervalos de datas:

Neste caso, quatro em cada cinco ficheiros são ignorados — 80% menos dados digitalizados — porque os seus intervalos mínimos/máximos não coincidem com o valor do filtro.

Comportamento padrão

A Delta Lake recolhe automaticamente estatísticas de ficheiros com os seguintes predefinidos:

• Apenas as primeiras 32 colunas (por posição ordinal) têm estatísticas recolhidas.
• Estatísticas monitorizadas por coluna por ficheiro: contagem mínima, máxima e nula
• Recolher estatísticas em colunas longas é dispendioso e acrescenta sobrecarga de escrita, por isso o posicionamento é importante.

A delta.dataSkippingNumIndexedCols propriedade da tabela controla o limite da coluna. Colunas acima desse limiar não recebem estatísticas ao nível do ficheiro e não podem participar no salto de ficheiros.

Tipos de dados elegíveis

Nem todos os tipos de coluna suportam estatísticas ao nível do ficheiro e, portanto, o salto de ficheiros. O motor avalia o tipo de dados de cada coluna para determinar se é possível recolher estatísticas mínimas ou máximas.

Sempre elegível (tipos atómicos)

• NumericType(ByteType, ShortType, IntegerType, LongType, FloatType, DoubleType, ) DecimalType
• DateType
• TimestampType
• TimestampNTZType
• StringType

Elegível condicionalmente

• VariantType: quando spark.databricks.delta.variantShredding.collectVariantDataSkippingStats está ativado.
• ArrayType: quando spark.microsoft.delta.skipping.complexTypes.enabled está ativado e o tipo de elemento é ele próprio elegível.
• MapType: quando spark.microsoft.delta.skipping.complexTypes.enabled está ativado e tanto os tipos de chave como de valor são elegíveis.

Não elegível

• BinaryType
• BooleanType
• StructType (no seu conjunto — os campos foliares dentro das estruturas são avaliados individualmente)
• NullType

Maximizar a cobertura das colunas

Para obter o máximo benefício ao ignorar ficheiros, certifique-se de que as colunas pelas quais filtra com mais frequência estão abrangidas pelas estatísticas dos ficheiros.

Posicione primeiro as colunas frequentemente filtradas

Coloque as colunas que aparecem mais frequentemente em WHERE cláusulas, chaves de junção e predicados de filtro nas primeiras 32 posições ordinais do esquema da tabela. Mova colunas de cadeias de caracteres longas ou colunas de baixa seletividade para além da posição 32, para evitar desperdiçar sobrecarga de gravação em estatísticas que raramente ajudam.

ALTER TABLE table_name ALTER COLUMN long_str_col AFTER last_indexed_col

spark.sql("ALTER TABLE table_name ALTER COLUMN long_str_col AFTER last_indexed_col")

spark.sql("ALTER TABLE table_name ALTER COLUMN long_str_col AFTER last_indexed_col")

Aumentar o número de colunas indexadas

Se a sua tabela tiver mais de 32 colunas que beneficiam das estatísticas, aumente o limite padrão:

ALTER TABLE table_name SET TBLPROPERTIES ('delta.dataSkippingNumIndexedCols' = '40')

spark.sql("ALTER TABLE table_name SET TBLPROPERTIES ('delta.dataSkippingNumIndexedCols' = '40')")

spark.sql("ALTER TABLE table_name SET TBLPROPERTIES ('delta.dataSkippingNumIndexedCols' = '40')")

Especifique colunas exatas para estatística

Use delta.dataSkippingStatsColumns para controlar explicitamente quais as colunas que recebem estatísticas do ficheiro, independentemente da posição ordinal:

ALTER TABLE table_name SET TBLPROPERTIES ('delta.dataSkippingStatsColumns' = 'col1,col2')

spark.sql("ALTER TABLE table_name SET TBLPROPERTIES ('delta.dataSkippingStatsColumns' = 'col1,col2')")

spark.sql("ALTER TABLE table_name SET TBLPROPERTIES ('delta.dataSkippingStatsColumns' = 'col1,col2')")

Quando delta.dataSkippingStatsColumns está definido, apenas são recolhidas estatísticas das colunas especificadas. Esta abordagem dá-lhe um controlo preciso sobre o equilíbrio entre o custo de escrita e o benefício na leitura.

Combinar o salto de ficheiros com o layout dos dados

O salto de ficheiros funciona melhor quando valores relacionados estão colocalizados nos mesmos ficheiros. Técnicas como ZORDER BY o agrupamento de líquidos reorganizam fisicamente os dados para que linhas com valores de coluna semelhantes acabem nos mesmos ficheiros. Colocar valores semelhantes aperta os intervalos mínimos/máximos por ficheiro, o que aumenta a percentagem de ficheiros que o motor pode saltar para um determinado filtro.

Para mais informações sobre otimização do layout de dados, veja Compactação de Tabelas, Agrupamento de Líquidos e Ordem Z.

Conteúdo relacionado

• Compactação de tabelas
• Estatísticas automáticas para tabelas Delta
• Ordem V
• Agrupamento de líquidos
• Z-Order
• Manutenção da tabela Delta