Databricks Runtime 16.2 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 16.2, alimentado pelo Apache Spark 3.5.2.

O Databricks lançou esta versão em fevereiro de 2025.

Alterações de comportamento

O ANALYZE agora ignora colunas com tipos não suportados

ANALYZE TABLE não resulta mais em uma mensagem de erro quando executada em uma tabela com tipos sem suporte, como ARRAY ou MAP. As colunas sem suporte agora são ignoradas automaticamente. Os usuários que implementaram a lógica que espera esses erros devem atualizar seu código.

No Compartilhamento Delta, o histórico de tabelas é habilitado por padrão

Os compartilhamentos criados usando o comando SQL ALTER SHARE <share> ADD TABLE <table> agora têm o compartilhamento de histórico (WITH HISTORY) habilitado por padrão. Confira ALTER SHARE.

Instruções SQL de credencial retornam um erro quando há uma incompatibilidade de tipo de credencial

Com essa versão, se o tipo de credencial especificado em uma instrução SQL de gerenciamento de credenciais não corresponder ao tipo do argumento de credencial, um erro será retornado e a instrução não será executada. Por exemplo, para a instrução DROP STORAGE CREDENTIAL 'credential-name', se credential-name não for uma credencial de armazenamento, a instrução falhará com um erro.

Essa alteração é feita para ajudar a evitar erros do usuário. Anteriormente, essas instruções eram executadas com êxito, mesmo que fosse passada uma credencial que não correspondesse ao tipo de credencial especificado. Por exemplo, a instrução a seguir removeria storage-credentialcom êxito: DROP SERVICE CREDENTIAL storage-credential.

Essa mudança afeta as seguintes declarações:

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT…ON…CREDENTIAL
• REVOKE…ON…CREDENTIAL
• SHOW GRANTS ON…CREDENTIAL

Novos recursos e aprimoramentos

• Criar aplicativos personalizados com o estado com transformWithState
• Autenticar no armazenamento de objetos de nuvem com credenciais de serviço
• Agora, o acesso controlado pelo Catálogo do Unity nos serviços de nuvem externos que usam as credenciais de serviço está em GA
• Há suporte para notebooks como os arquivos de workspace
• Usar o timestampdiff & timestampadd em expressões de coluna geradas
• Suporte para a sintaxe dos pipelines do SQL
• fazer solicitação HTTP usando a função http_request
• Atualização para DESCRIBE TABLE retorna metadados como JSON estruturado
• Ordenações que não diferenciam branco à direita
• Converter tabelas do Apache Iceberg particionadas por bucket para tabelas Delta não particionadas
• A computação no modo de acesso padrão (antigo modo de acesso compartilhado) agora dá suporte aos métodos Spark Scala foreach, foreachBatch e flatMapGroupsWithState

Criar aplicativos personalizados com o estado com transformWithState

Agora você pode usar transformWithState e APIs relacionadas para implementar aplicativos personalizados com estado como parte das consultas do Structured Streaming. Consulte Criar um aplicativo com estado personalizado.

Autenticar no armazenamento de objetos de nuvem com credenciais de serviço

Agora você pode usar as credenciais de serviço do Databricks para autenticar no armazenamento de objetos de nuvem com o Carregador Automático. Consulte Configurar fluxos do Carregador Automático no modo de notificação de arquivo.

Agora, o acesso controlado pelo Catálogo do Unity nos serviços de nuvem externos que usam as credenciais de serviço está em GA

As credenciais de serviço permitem a autenticação simples e segura nos serviços do locatário na nuvem do Azure Databricks. Com o Databricks Runtime 16.2, as credenciais de serviço geralmente estão disponíveis e agora dão suporte a SDKs do Scala, além do SDK de Python com suporte na Visualização Pública. Consulte Criar credenciais de serviço.

Há suporte para notebooks como os arquivos de workspace

No Databricks Runtime 16.2 e versões posteriores, notebooks são suportados como arquivos na área de trabalho. Agora você pode interagir programaticamente com notebooks de qualquer lugar em que o sistema de arquivos do workspace esteja disponível, incluindo escrever, ler e excluir blocos de anotações como qualquer outro arquivo. Para saber mais, consulte Programaticamente criar, atualizar e excluir arquivos e diretórios.

Usar o timestampdiff & timestampadd em expressões de coluna geradas

No Databricks Runtime 16.2 e posteriores, você pode usar as funções de timestampdiff e de timestampadd em expressões de coluna geradas pelo Delta Lake. Consulte Colunas geradas pelo Delta Lake.

Suporte para a sintaxe dos pipelines do SQL

No Databricks Runtime 16.2 e superior, você pode compor Pipelines de SQL. Um pipeline do SQL estrutura uma consulta padrão, como SELECT c2 FROM T WHERE c1 = 5, em uma sequência passo a passo, conforme mostrado no exemplo a seguir:

FROM T
|> SELECT c2
|> WHERE c1 = 5

Para saber mais sobre a sintaxe com suporte para pipelines SQL, confira Sintaxe do Pipeline do SQL.

Para obter informações básicas sobre essa extensão intersetorial, consulte O SQL tem problemas. Podemos corrigi-los: Sintaxe de pipe no SQL (por Google Research).

Fazer solicitação HTTP usando a http_request função

No Databricks Runtime 16.2 e superior, você pode criar conexões HTTP e, por meio delas, fazer solicitações HTTP usando a função http_request .

Atualizar para DESCRIBE TABLE retorna metadados como JSON estruturado

No Databricks Runtime 16.2 e superior, você pode usar o comando DESCRIBE TABLE AS JSON para retornar metadados de tabela como um documento JSON. A saída JSON é mais estruturada do que o relatório legível por humanos padrão e pode ser usada para interpretar o esquema de uma tabela programaticamente. Para saber mais, consulte DESCRIBE TABLE AS JSON.

Ordenações que não diferenciam branco à direita

O Databricks Runtime 16.2 adiciona suporte para ordenação que não diferenciam branco à direita, complementando o suporte de ordenação adicionado ao Databricks Runtime 16.1. Por exemplo, essas classificações tratam 'Hello' e 'Hello ' como iguais. Para saber mais, confira Ordenação RTRIM.

Converter tabelas do Apache Iceberg com particionamento por bucket em tabelas Delta sem partições.

As declarações CONVERT TO DELTA e CREATE TABLE CLONE agora suportam a conversão de uma tabela Apache Iceberg com particionamento em bucket para uma tabela Delta não particionada.

A computação no modo de acesso padrão (anteriormente modo de acesso compartilhado) agora dá suporte aos métodos Spark Scala foreach, foreachBatch e flatMapGroupsWithState

No Databricks Runtime 16.2 e superior, o modo de acesso padrão agora dá suporte aos métodos Scala DataStreamWriter.foreachBatch e KeyValueGroupedDataset.flatMapGroupsWithState. No Databricks Runtime 16.1 e acima, a computação no modo de acesso padrão agora dá suporte ao método Scala DataStreamWriter.foreach.

Correções de bug

Processamento do clone incremental aprimorado

Esta versão inclui uma correção para um caso extremo em que um CLONE incremental pode transferir novamente arquivos já transferidos de uma tabela de origem para uma tabela de destino. Veja Clonar uma tabela no Azure Databricks.

Atualizações da biblioteca

• Bibliotecas de Python atualizadas:
• Bibliotecas do R atualizadas:
• Bibliotecas de Java atualizadas:
  • org.json4s.json4s-ast_2.12 de 3.7.0-M11 a 4.0.7
  • org.json4s.json4s-core_2.12 de 3.7.0-M11 para 4.0.7
  • org.json4s.json4s-jackson_2.12 de 3.7.0-M11 para 4.0.7
  • org.json4s.json4s-scalap_2.12 de 3.7.0-M11 a 4.0.7

Apache Spark

O Databricks Runtime 16.2 inclui o Apache Spark 3.5.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 16.1 (EoS), bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

• [SPARK-49966] Reverter “[SC-179501][sql] Usar Invoke para implementar JsonToStructs(from_json)”
• [SPARK-50904] [SC-186976][sql] Correção na execução de consultas do navegador de expressões de ordenação.
• [SPARK-49666] [SQL] Habilitar testes de corte para a expressão InSet
• [SPARK-50669] [SC-184566][es-1327450][SQL] Alterar a assinatura da expressão TimestampAdd
• [SPARK-50795] [16.x][sc-186719][SQL] Armazenar o carimbo de data/hora como o tipo long em describe LinkedHashMap
• [SPARK-50870] [SC-186950][sql] Adicionar o fuso horário durante a conversão para carimbo de data/hora em V2ScanRelationPushDown
• [SPARK-50735] [SC-186944][connect] Falha em ExecuteResponseObserver resulta em solicitações de reanexação infinita
• [SPARK-50522] [SC-186500][sql] Suporte para ordenação indeterminada
• [SPARK-50525] [SC-186058][sql] Definir a Regra do Otimizador InsertMapSortInRepartitionExpressions
• [SPARK-50679] [SC-184572][sql] As expressões comuns duplicadas em diferentes cláusulas With devem ser incluídas na projeção apenas uma vez.
• [SPARK-50847] [SC-186916] [SQL] Negar a aplicação de ApplyCharTypePadding em expressões específicas no In.
• [SPARK-50714] [SC-186786][sql][SS] Habilitar a evolução do esquema para TransformWithState quando a codificação Avro é usada
• [SPARK-50795] [SC-186390][sql] Exibir todas as datas de DESCRIBE AS JSON no formato ISO-8601 e os tipos como dataType.simpleString
• [SPARK-50561] [SC-185924][sql] Databricks Runtime 16.x cherrypick: Aprimorar a coerção de tipos e a checagem de limites para a função UNIFORM SQL
• [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalog dá suporte ao valor mágico builtin
• [SPARK-50831] [SC-186736][sql] Habilitar a ordenação de corte por padrão
• [SPARK-50263] [SC-186793][conectar] Substituir System.currentTimeMillis por System.nanoTime
• [SPARK-48730] [SC-184926][sql] Implementar o Comando CreateSQLFunction para Funções Escalares e de Tabela SQL
• [SPARK-50830] [SC-186718] [SQL] Retornar resultado de uma só passagem como o resultado da análise de execução dupla
• [SPARK-50707] [SC-186098][sql] Habilitar a conversão para/de char/varchar
• [SPARK-49490] [SC-182137][sql] Adicionar parâmetros de comparação para o initCap
• [SPARK-50529] [SC-184535][sql] Alterar o comportamento de char/varchar na configuração spark.sql.preserveCharVarcharTypeInfo
• [SPARK-49632] [SC-184179][sql] Remova a sugestão de configuração ANSI no CANNOT_PARSE_TIMESTAMP
• [SPARK-50815] [SC-186487][python][SQL] Corrigir bug em que passar variantes nulas no createDataFrame faz com que ele falhe e adicione suporte variant em createDataFrame no Spark Connect
• [SPARK-50828] [SC-186493][python][ML][connect] Preterir pyspark.ml.connect
• [SPARK-50600] [SC-186057][connect][SQL] Definir como analisado em caso de falha na análise
• [SPARK-50824] [SC-186472][python] Evite importar pacotes opcionais de Python para verificação
• [SPARK-50755] [SC-185521][sql] Exibição de plano do Pretty para InsertIntoHiveTable
• [SPARK-50789] [SC-186312][connect] As entradas para agregações digitadas devem ser analisadas
• [SPARK-50791] [SC-185867][sc-186338][SQL] Corrigir o NPE no tratamento de erros do Repositório de Estado
• [SPARK-50801] [SC-186365] [SQL] Aprimorar PlanLogger.logPlanResolution para que ele mostre apenas planos resolvidos e não resolvidos
• [SPARK-50749] [SC-185925][sql] Corrigir bug de ordenação no método CommutativeExpression.gatherCommutative
• [SPARK-50783] [SC-186347] Canonicalizar o nome e o layout do arquivo de resultados do criador de perfil JVM no DFS
• [SPARK-50790] [SC-186354][python] Implementar análise de json no pyspark
• [SPARK-50738] [SC-184856][python] Atualizar Black para 23.12.1
• [SPARK-50764] [SC-185930][python] Refinar a docstring de métodos relacionados ao xpath
• [SPARK-50798] [SC-186277][sql] Aprimorar NormalizePlan
• [SPARK-49883] [SC-183787][ss] Integração da Estrutura V2 de Ponto de Verificação do Repositório de Estado com RocksDB e RocksDBFileManager
• [SPARK-50779] [SC-186062][sql] Adicionando sinalizador de recurso para ordenações no nível do objeto
• [SPARK-50778] [SC-186183][python] Adicionar metadataColumn ao PySpark DataFrame
• [SPARK-49565] [SC-186056][sql] Databricks Runtime 16.x cherrypick: Aprimorar aliases de expressão gerada automaticamente com operadores SQL de pipe
• [SPARK-50541] [16.x][sc-184937] Descrever tabela como JSON
• [SPARK-50772] [SC-185923][sql] Databricks Runtime 16.x cherrypick: Manter aliases de tabela após SET, operadores EXTEND, DROP
• [SPARK-50769] [SC-185919][sql] Fix ClassCastException in HistogramNumeric
• [SPARK-49025] [SC-174667] Sincronizar a diferença de código Delta com o Databricks Runtime
• [SPARK-50752] [SC-185547][python][SQL] Introduza configurações para ajustar Python UDF sem Seta
• [SPARK-50705] [SC-185944][sql] Tornar QueryPlan sem bloqueio
• [SPARK-50690] [16.x][sc-184640][SQL] Corrigir discrepância na exibição DESCRIBE TABLE de colunas de saída de consulta entre aspas
• [SPARK-50746] [SC-184932][sql] Substituir Either por VariantPathSegment.
• [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder define as configurações em lote
• [SPARK-50480] [SC-183359][sql] Estender CharType e VarcharType de StringType
• [SPARK-50675] [SC-184539][sql] Suporte às ordenações de nível de exibição e tabela
• [SPARK-50409] [SC-184516][sql] Correção da instrução set para ignorar ; no final de SET;, SET -v; e SET key;
• [SPARK-50743] [SC-185528][sql] Normalizar os IDs de CTERelationDef e CTERelationRef
• [SPARK-50693] [SC-184684][connect] As entradas para TypedScalaUdf devem ser analisadas
• [SPARK-50744] [SC-184929][sql] Adicionar um caso de teste para precedência da resolução do nome de exibição/CTE
• [SPARK-50710] [SC-184767][connect] Adicionar suporte para reconexão opcional do cliente às sessões após a versão
• [SPARK-50703] [SC-184843][python] Refinar a docstring de regexp_replace, regexp_substr e regexp_instr
• [SPARK-50716] [SC-184823][core] Correção da lógica de limpeza para links simbólicos no método JavaUtils.deleteRecursivelyUsingJavaIO
• [SPARK-50630] [SC-184443][sql] Corrigir suporte ordinal GROUP BY para operadores AGGREGATE de SQL com pipe
• [SPARK-50614] [SC-184729][sql] Adicionar suporte para fragmentação de dados Variant no Parquet
• [SPARK-50661] [SASP-4936] Adicionar compatibilidade com as versões anteriores para FEB do cliente antigo.
• [SPARK-50676] [SC-184641][sql] Remover private lazy val mapValueContainsNull não utilizado do ElementAt
• [SPARK-50515] [SC-183813][core] Adicionar interface somente leitura a SparkConf
• [SPARK-50697] [SC-184702][sql] Habilitar a recursão da parte final sempre que possível
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]Corrigir o esquema de estado para FlatMapGroupsWithState no Spark Connect quando não houver estado inicial
• [SPARK-50701] [SC-184704][python] Exigir a versão mínima do plotly para plotagem
• [SPARK-50702] [SC-184727][python] Refinar a docstring de regexp_count, regexp_extract e regexp_extract_all
• [SPARK-50499] [SC-184177][python] Disponibilizar métricas do BasePythonRunner
• [SPARK-50692] [SC-184705][16.x] Adicionar suporte ao pushdown do RPAD
• [SPARK-50682] [SC-184579][sql] O alias interno deve ser canonizado
• [SPARK-50699] [SC-184695][python] Analisar e gerar cadeia de caracteres DDL com uma sessão especificada
• [SPARK-50573] [SC-184568][ss] Adição da ID do esquema de Estado às Linhas de Estado para a evolução do esquema
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Corrigir a implementação do foreachBatch no Spark Connect Scala. para dar suporte ao conjunto de dados[T].
• [SPARK-50689] [SC-184591][sql] Impor ordenação determinística em listas de projetos LCA
• [SPARK-50696] [SC-184667][python] Otimizar chamada Py4J para método de análise de DDL
• [SPARK-49670] [SC-182902][sql] Habilitar a ordenação de corte para todas as expressões de passagem
• [SPARK-50673] [SC-184565][ml] Evite atravessar coeficientes de modelo duas vezes no construtor Word2VecModel
• [SPARK-50687] [SC-184588][python] Aperfeiçoar a lógica para captar rastreamentos de pilha para o DataFrameQueryContext
• [SPARK-50681] [SC-184662][python][CONNECT] Armazene o esquema analisado para MapInXXX e ApplyInXXX
• [SPARK-50674] [SC-184589][python] Correção da verificação da existência do método 'terminate' na avaliação UDTF
• [SPARK-50684] [SC-184582][python] Melhorar o desempenho de Py4J no DataFrameQueryContext
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Adicionar suporte para a nova versão dos metadados de estado para TransformWithStateInPandas
• [SPARK-50602] [SC-184439][sql] Corrigir transposição para mostrar uma mensagem de erro adequada quando colunas de índice inválidas são especificadas
• [SPARK-50650] [SC-184532][sql] Melhorar o registro em log no Analisador de passagem única
• [SPARK-50665] [SC-184533][sql] Substituir LocalRelation por ComparableLocalRelation em NormalizePlan
• [SPARK-50644] [SC-184486][sql] Ler as estruturas de variante no leitor do Parquet.
• [SPARK-49636] [SC-184089][sql] Remover a sugestão de configuração ANSI em INVALID_ARRAY_INDEX e INVALID_ARRAY_INDEX_IN_ELEMENT_AT
• [SPARK-50659] [SC-184514][sql] Refatorar o cálculo de saída do Union para reutilizá-lo no Analisador de passagem única
• [SPARK-50659] [SC-184512][sql] Mover erros relacionados a Union para QueryCompilationErrors
• [SPARK-50530] [SC-183419][sql] Corrigir cálculo de contexto de tipo de cadeia de caracteres implícita incorreto
• [SPARK-50546] [SC-183807][sql] Adicionar suporte de conversão de subconsultas à coerção do tipo de ordenação
• [SPARK-50405] [SC-182889][sql] Processar corretamente a coerção do tipo de ordenação dos tipos de dados complexos
• [SPARK-50637] [SC-184434][sql] Corrigir o estilo de código para o Analisador de passagem única
• [SPARK-50638] [SC-184435][sql] Refatorar a resolução de exibição para o arquivo separado para reutilizá-la no Analisador de passagem única
• [SPARK-50615] [SC-184298][sql] Transmitir o push da variante para a verificação.
• [SPARK-50619] [SC-184210][sql] Refatorar VariantGet.cast para agrupar os argumentos de conversão
• [SPARK-50599] [SC-184058][sql] Criar a característica do DataEncoder que permite a codificação Avro e UnsafeRow
• [SPARK-50076] [SC-183809] Corrigir as chaves de log
• [SPARK-50597] [SC-183972][sql] Refatorar a construção de lote em Optimizer.scala e SparkOptimizer.scala
• [SPARK-50339] [SC-183063][spark-50360][SS] Habilitar registro de alterações para armazenar informações de linhagem
• [SPARK-50526] [SC-183811][ss] Adicionar a configuração do formato de codificação do repositório ao log de deslocamento e impedir que os operadores com estado sem suporte usem o avro
• [SPARK-50540] [SC-183810][python][SS] Corrigir esquema de cadeia de caracteres para StatefulProcessorHandle
• [SPARK-50157] [SC-183789][sql] Usando SQLConf fornecido primeiro pelo SparkSession.
• [SPARK-48898] [SC-183793][sql] Definir a nulidade corretamente no esquema Variant
• [SPARK-50559] [SC-183814][sql] Armazenar as saídas de Except, Intersect e Union como valores lazy
• [SPARK-48416] [SC-183643][sql] Dar suporte a expressão With correlacionada aninhada
• [SPARK-50428] [SC-183566][ss][PYTHON] Suporte a TransformWithStateInPandas em consultas em lote
• [SPARK-50063] [SC-183350][sql][CONNECT] Adicionar suporte para Variant no cliente Do Spark Connect Scala
• [SPARK-50544] [SC-183569][python][CONNECT] Implementar StructType.toDDL
• [SPARK-50443] [SC-182590][ss] Corrigindo erros de build do Maven introduzidos pelo cache Guava no RocksDBStateStoreProvider
• [SPARK-50491] [SC-183434][sql] Corrigir bug em que blocos BEGIN END vazios geram um erro
• [SPARK-50536] [SC-183443][core] Registrar em log tamanhos de arquivos baixados em SparkContext e Executor
• [SPARK-45891] [SC-183439][sql] Recompilar binário variante a partir de dados fragmentados.
• [SPARK-49565] [SC-183465][sql] Adicionar sintaxe de pipe SQL para o operador FROM
• [SPARK-50497] [SC-183338][sql] Determinar a falha de consultas com mensagem adequada se MultiAlias contiver função não geradora
• [SPARK-50460] [SC-183375][python][CONNECT] Generalize e simplifique o tratamento de exceções do Connect
• [SPARK-50537] [SC-183452][connect][PYTHON] Corrigir a substituição da opção de compactação no df.write.parquet
• [SPARK-50329] [SC-183358][sql] corrigir InSet$toString
• [SPARK-50524] [SC-183364][sql] Mensagem de aviso de RowBasedKeyValueBatch.spill inferior ao nível de depuração
• [SPARK-50528] [SC-183385][conectar] Mover InvalidCommandInput para o módulo comum
• [SPARK-50017] [SC-182438][ss] Suporte à codificação Avro para o operador TransformWithState
• [SPARK-50463] [SC-182833][sql] Corrigir ConstantColumnVector com conversão de Colunas para Linhas
• [SPARK-50235] [SC-180786][sql] Limpar o recurso ColumnVector depois de processar todas as linhas em ColumnarToRowExec
• [SPARK-50516] [SC-183279][ss][MINOR] Corrigir o teste relacionado ao estado de inicialização para usar StreamManualClock
• [SPARK-50478] [SC-183188][sql] Corrigir correspondência de StringType
• [SPARK-50492] [SC-183177][ss] Corrigir java.util.NoSuchElementException quando a coluna de tempo do evento é descartada após dropDuplicatesWithinWatermark
• [SPARK-49566] [SC-182589][sql] Adicionar sintaxe de pipe SQL para o SET operador
• [SPARK-50449] [SC-183178][sql] Corrigir gramática de script SQL permitindo que loops, IF e CASE tenham corpos vazios
• [SPARK-50251] [SC-180970][python] Adicionar getSystemProperty ao PySpark SparkContext
• [SPARK-50421] [SC-183091][core] Corrigir configuração incorreta de memória relacionada ao executor enquanto vários perfis de recurso estavam ativos
• [SPARK-49461] [SC-179572][ss] ID do Ponto de Verificação Persistente para confirmar logs e lê-los novamente
• [SPARK-50343] [SC-183119][spark-50344][SQL] Adicionar sintaxe de pipe SQL para os operadores DROP e AS
• [SPARK-50481] [SC-182880][core] Melhorar SortShuffleManager.unregisterShuffle para ignorar a lógica do arquivo de soma de verificação se a soma de verificação estiver desabilitada
• [SPARK-50498] [SC-183090][python] Evite chamadas py4j desnecessárias em listFunctions
• [SPARK-50489] [SC-183053][sql][PYTHON] Corrigir a autojunção após applyInArrow
• [SPARK-49695] [SC-182967][sc-176968][SQL] Postgres corrige push-down do xor

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos dois anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Atualizações de manutenção

Consulte as atualizações de manutenção do Databricks Runtime 16.2.

Ambiente do sistema

• Sistema operacional: Ubuntu 24.04.1 LTS
  • Observação: esta é a versão do Ubuntu usada pelos contêineres do Databricks Runtime. Os contêineres do Databricks Runtime são executados nas máquinas virtuais do provedor de nuvem, que podem usar uma versão diferente do Ubuntu ou distribuição do Linux.
• Java: Zulu17.54+21-CA
• Scala: 2.12.15
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.0

Bibliotecas de Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do snapshot CRAN do Posit Gerenciador de Pacotes em 2024-08-04 : https://packagemanager.posit.co/cran/2024-08-04/.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.12)