Databricks Runtime 10.5 (EoS)

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 10.5, con tecnología de Apache Spark 3.2.1. Databricks publicó esta versión en mayo de 2022.

Nuevas características y mejoras

• SQL: Nuevas funciones to_number y try_to_number
• SQL: nueva funcióntry_sum
• SQL: actualizar a las funciones ceil, ceiling y floor
• SQL: nuevas funciones de agregado regr_avgx y regr_avgy
• SQL: actualizar a las funciones contains, startswith y endswith
• SQL: nueva funciónarray_size
• Unity Catalog: la salida LIST de SQL quita la columna is_directory y agrega el carácter / final de las rutas de acceso de directorio (versión preliminar pública).
• Auto Loader: nueva función CLOUD_FILES_STATE de SQL
• Cargador automático: la compatibilidad con notificaciones de archivos ahora está disponible
• Delta Lake: nueva opción maxRecordsPerFile para los registros máximos escritos en un único archivo
• Deprecación de Koalas
• Nueva columna _metadata para todos los formatos de archivo
• Prueba de la canalización con Databricks Runtime 10.5

SQL: Nuevas funcionesto_number y try_to_number

La función to_number y la función try_to_number permiten convertir representaciones de caracteres de números en varios formatos a DECIMAL.

SQL: nueva funcióntry_sum

A diferencia de sum, la try_sum función de agregado devuelve NULL en lugar de un error cuando se produce un desbordamiento.

SQL: actualización a las funciones ceil, ceiling y floor

La ceil función, ceiling la función y floor la función ahora admiten un segundo argumento opcional para especificar una escala de destino.

SQL: nuevas funciones de agregado regr_avgx y regr_avgy

La nueva regr_avgx función de agregado y regr_avgy la función de agregado admiten regresiones lineales.

SQL: actualización a las funciones contains, startswith y endswith

La contains función, startswith la función y endswith la función ahora admiten tipos de datos binarios como entrada además de cadenas.

SQL: nueva funciónarray_size

La nueva array_size función calcula el tamaño de una matriz.

Unity Catalog: la salida de SQL LIST elimina la columna is_directory y añade un / al final de las rutas de acceso a directorios (versión preliminar pública).

La salida de la instrucción SQL LIST para enumerar las rutas de acceso reguladas por el catálogo Unity ha cambiado. Ya no se muestra la columna is_directory. En su lugar, las rutas de acceso que representan directorios ahora terminan con una barra diagonal final (/) para las columnas path y name. Este cambio es por coherencia con la salida del comando dbutils.fs.ls.

Auto Loader: nueva función CLOUD_FILES_STATE de SQL

Puede usar la nueva función CLOUD_FILES_STATE para consultar el estado interno de un flujo de Auto Loader; ver Consultar archivos detectados por Auto Loader.

Cargador automático: el soporte con notificaciones de archivos ahora está disponible con disponibilidad general

La compatibilidad con notificaciones de archivos para ¿Qué es el cargador automático? en Google Cloud ya está disponible con carácter general.

Delta Lake: nueva opción maxRecordsPerFile para los registros máximos escritos en un único archivo

Al usar las API de dataframe para escribir en una tabla Delta, puede usar la opción maxRecordsPerFile para especificar el número máximo de registros que se van a escribir en un único archivo. Especificar un valor de cero o un valor negativo no representa ningún límite. Consulte Control del tamaño del archivo de datos.

Desuso de Koalas

Koalas está ahora en desuso. Koalas proporciona las API de Pandas sobre Apache Spark. Koalas ha sido una contribución de la comunidad y ha estado disponible como API de pandas en Spark a partir de Apache Spark 3.2. Koalas sigue preinstalado para Databricks Runtime 10.5, pero Koalas ya no estará preinstalado a partir de la siguiente versión de Databricks Runtime.

Para más información sobre las API de pandas en Spark, consulte:

• API Pandas en Spark en la documentación de Azure Databricks
• API de Pandas en Spark en la documentación de Apache Spark
• Migración de Koalas a la API de pandas en Spark en la documentación de Apache Spark

Nueva columna _metadata para todos los formatos de archivo

Puede obtener información de metadatos para los archivos de entrada con la columna _metadata. La columna _metadata está oculta. Esta columna está disponible para todos los formatos de archivo de entrada. Para incluir la columna _metadata en un DataFrame devuelto, debe hacer referencia explícita a esta columna en la consulta. Consulte Columna de metadatos de archivo.

Prueba de la canalización con Databricks Runtime 10.5

Databricks Runtime 10.5 es ahora la preview versión admitida para Spark Declarative Pipelines en Lakeflow. Para probar la canalización con Databricks Runtime 10.5, establezca la configuración channel en preview en la configuración de la canalización.

Correcciones de errores

• Se ha corregido la presentación de los resultados de métricas numUpdatedRows y numCopiedRows para las operaciones de actualización en tablas Delta que tienen habilitada la captura de datos modificados (CDC).

Actualizaciones de bibliotecas

• Bibliotecas de Python actualizadas:
  • trazado de 5.5.0 a 5.6.0
• Bibliotecas de R actualizadas:
  • base de 4.1.2 a 4.1.3
  • caret: de 6.0-90 a 6.0-91
  • cluster: de 2.1.2 a 2.1.3
  • Actualización de commonmark de la versión 1.7 a la 1.8.0
  • compilador de 4.1.2 a 4.1.3
  • crayon: de 1.5.0 a 1.5.1
  • Conjuntos de datos desde 4.1.2 hasta 4.1.3
  • Descenso de la versión 1.4.0 a la versión 1.4.1
  • fansi de 1.0.2 a 1.0.3
  • glue de 1.6.1 a 1.6.2
  • graphics: de 4.1.2 a 4.1.3
  • grDevices: de la versión 4.1.2 a la 4.1.3
  • grid: de 4.1.2 a 4.1.3
  • knitr: de 1.37 a 1.38
  • MASS: de 7.3-55 a 7.3-56
  • Matrix: de 1.4-0 a 1.4-1
  • métodos del 4.1.2 al 4.1.3
  • mgcv: de 1.8-39 a 1.8-40
  • nlme: de 3.1-155 a 3.1-157
  • openssl: de 1.4.6 a 2.0.0
  • parallel de 4.1.2 a 4.1.3
  • plyr 1.8.6 a 1.8.7
  • processx: de 3.5.2 a 3.5.3
  • r2d3: de 0.2.5 a 0.2.6
  • Rcpp: de 1.0.8 a 1.0.8.3
  • rlang: de 1.0.1 a 1.0.2
  • rmarkdown: de 2.11 a 2.13
  • RSQLite: de 2.2.10 a 2.2.11
  • sass: de 0.4.0 a 0.4.1
  • splines de 4.1.2 a 4.1.3
  • Estadísticas de 4.1.2 a 4.1.3
  • stats4 de 4.1.2 a 4.1.3
  • tcltk: de 4.1.2 a 4.1.3
  • herramientas de 4.1.2 a 4.1.3
  • utils: de 4.1.2 a 4.1.3
  • uuid: de 1.0-3 a 1.0-4
  • waldo: de 0.3.1 a 0.4.0
  • withr: de 2.4.3 a 2.5.0
  • xfun: de 0.29 a 0.30
• Bibliotecas de Java actualizadas:
  • com.h2database.h2: de 1.4.195 a 2.1.210
  • org.apache.hadoop.hadoop-client-api de 3.3.1-databricks a 3.3.2-databricks
  • org.apache.hadoop.hadoop-client-runtime: de 3.3.1 a 3.3.2
  • org.rocksdb.rocksdbjni de 6.24.2 a 6.20.3

Apache Spark

Databricks Runtime 10.5 incluye Apache Spark 3.2.1. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 10.4 LTS (EoS), así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

• [SPARK-38354] [SC-97886] Revertir “[SQL] Agregar métrica de sondeos hash para la combinación de hash aleatorio”
• [SPARK-38484] [ SAS-103][sas-111][SAS-113][sc-98102][Cherry-Pick] Instrumentar el módulo SQL de PySpark con un registrador de uso general
• [SPARK-38333] [SQL] La expresión PlanExpression debe omitir la función addExprTree en el ejecutor.
• [SPARK-38646] [PYTHON][10.x] Extraer un rasgo para las funciones de Python
• [SPARK-38674] [PHOTON] Se ha agregado una métrica a PhotonSubqueryBroadcastExec.
• [SPARK-38787] [SS] Reemplazar el valor encontrado por un elemento distinto de null en la lista restante para la clave y quitar los elementos NULL restantes de los valores del almacén keyWithIndexToValue para las combinaciones de flujo de flujo
• [SPARK-38446] [Core] Se ha corregido el interbloqueo entre ExecutorClassLoader y FileDownloadCallback causado por Log4j.
• [SPARK-38705] [SQL] Usar el identificador de función en el comando create y drop function
• [SPARK-38684] [SS] Corregir el problema de exactitud en la combinación externa de flujo de flujo con el proveedor de almacén de estado de RocksDB
• [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase no encuentra la fila de desplazamiento cuya entrada no es NULL.
• [SPARK-38204] [SS] Usar StatefulOpClusteredDistribution para operadores con estado con respeto a la compatibilidad con versiones anteriores
• [SPARK-38616] [SQL] Mantener un registro del texto de la consulta SQL en Catalyst TreeNode.
• [SPARK-38600] [SQL] Se ha incluido unit en la cadena SQL deTIMESTAMPADD/DIFF.
• [SPARK-34805] [SQL] Propagar los metadatos de columnas anidadas en Alias
• [SPARK-38535] [SQL] Se ha agregado la enumeración datetimeUnit y se utiliza en TIMESTAMPADD/DIFF.
• [SPARK-38415] [SQL] Se ha actualizado el tipo del resultado de histogram_numeric(x, y) para que x == el tipo de entrada.
• [SPARK-38148] [SQL] No se agrega la eliminación de particiones dinámicas si existe la eliminación de particiones estáticas.
• [SPARK-37527] [SQL] Se han compilado COVAR_POP, COVAR_SAMP y CORR en H2Dialet.
• [SPARK-38510] [SQL] Se reintenta ClassSymbol.selfType para solucionar las referencias cíclicas.
• [SPARK-38509] [SQL] Se ha anulado el registro de las funciones TIMESTAMPADD/DIFF y se ha quitado DATE_ADD/DIFF.
• [SPARK-38504] [SQL] No se puede leer TimestampNTZ como TimestampLTZ.
• [SPARK-38526] [SQL] Se ha corregido el nombre engañoso del alias de función para RuntimeReplaceable.
• [SPARK-38335] [SQL] Implementación del soporte del analizador para valores predeterminados de columna
• [SPARK-38593] [SS] Transmitir la métrica del número de eventos atrasados descartados a SessionWindowStateStoreSaveExec
• [SPARK-38549] [SS] Se ha agregado numRowsDroppedByWatermark a SessionWindowStateStoreRestoreExec.
• [SPARK-38583] [SQL] Se ha restaurado el comportamiento de to_timestamp que permite tipos numéricos.
• [SPARK-38481] [SQL] Sustituir una excepción de desbordamiento de Java de TIMESTAMPADD por una excepción de Spark
• [SPARK-37753] [SQL] Ajustar la lógica para degradar la combinación de hash de difusión en DynamicJoinSelection
• [SPARK-37582] [ SPARK-37583][sql] CONTAINS, STARTSWITH, ENDSWITH debe admitir tipos binarios y de cadena.
• [SPARK-38345] [SQL] Se presenta la función ARRAY_SIZE de SQL.
• [SPARK-38385] [SQL] Mejorar los mensajes de error de declaración vacía y <EOF> en ParseException
• [SPARK-37614] [SQL] Compatibilidad con la función de agregado ANSI: regr_avgx y regr_avgy
• [SPARK-38560] [SQL] Si Sum, Count, Any se acompaña con distinct, no se puede realizar una inserción parcial de agregación.
• [SPARK-38360] [SQL][ss][PYTHON] Introduce una exists función para TreeNode eliminar patrones de código duplicados
• [SPARK-38385] [SQL] Mejorar los mensajes de error de los casos de "entrada no coincidente" de ANTLR
• [SPARK-38240] [SQL] Se ha mejorado RuntimeReplaceable y se ha agregado una guía para agregar nuevas funciones.
• [SPARK-38542][SQL] UnsafeHashedRelation debe serializar numKeys
• [SPARK-38521] [SQL] Se ha cambiado partitionOverwriteMode de cadena a variable en Scala.
• [SPARK-38558] [SQL] Eliminación de conversiones innecesarias entre IntegerType e IntDecimal.
• [SPARK-38489] [SQL] Aggregate.groupOnly admite expresiones plegables.
• [SPARK-38410] [SQL] Soporte para especificar el número inicial de particiones para el reequilibrio
• [SPARK-38107] [SQL] Uso de clases de error en los errores de compilación de las UDF de Python y pandas
• [SPARK-38354] [SQL] Agregar métrica de sondeos hash para la combinación de hash aleatorio
• [SPARK-38112] [SQL] Uso de clases de error en los errores de ejecución del manejo de datos de date y timestamp
• [SPARK-38361] [SQL] Se ha agregado el Factory Method getConnection a JDBCDialect.
• [SPARK-37865] [SQL] Corrección del error de desduplicación de la unión
• [SPARK-38298] [SQL][tests] Fix DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite en modo ANSI
• [SPARK-38407] [SQL] ANSI Cast: aflojar la limitación de la conversión de tipos complejos que no son NULL
• [SPARK-38352] [SQL] Corrección de DataFrameAggregateSuite, DataFrameSetOperationsSuite y DataFrameWindowFunctionsSuite en modo ANSI
• [SPARK-38054] [SQL] Se admiten listas de espacios de nombres en el dialecto de MySQL de JDBC v2.
• [SPARK-37960] [SQL] Un nuevo marco para representar las expresiones de Catalyst en las APIs de DS v2
• [SPARK-38103] [SQL] Migración del análisis de los errores de transformación al nuevo marco de errores
• [SPARK-38519] [SQL] La excepción que lanza AQE debe respetar SparkFatalException.
• [SPARK-38528] [SQL] Iteración diligente sobre la secuencia de agregado al compilar la lista de proyectos en ExtractGenerator
• [SPARK-38320] [SS] Se ha corregido el tiempo de espera de flatMapGroupsWithState en el procesamiento por lotes con datos para la clave.
• [SPARK-38442] [SQL] Corrección de ConstantFoldingSuite, ColumnExpressionSuite/DataFrameSuite y AdaptiveQueryExecSuite en modo ANSI
• [SPARK-38268] [SQL] Se ha ocultado el campo "failOnError" en el método toString de Abs y CheckOverflow.
• [SPARK-37949] [SQL] Mejora de la estimación de las estadísticas de reequilibrio
• [SPARK-38450] [SQL] Corrección de HiveQuerySuite, PushFoldableIntoBranchesSuite y TransposeWindowSuite en modo ANSI
• [SPARK-38501] [SQL] Corrección de los errores de prueba de thriftserver en modo ANSI
• [SPARK-37895] [SQL] Empujar el filtro hacia abajo en columnas con comillas
• [SPARK-38449] [SQL] Se evita llamar a createTable cuando ignoreIfExists=true y la tabla existe.
• [SPARK-38406] [SQL] Mejora del rendimiento de ShufflePartitionsUtil y createSkewPartitionSpecs
• [SPARK-37947] [SQL] Se extrae el generador de la expresión GeneratorOuter contenida en un operador Generate.
• [SPARK-38309] [CORE] Corrección de las métricas de percentil shuffleTotalReads y shuffleTotalBlocks de SHS
• [SPARK-38412] [SS] Corregir la secuencia intercambiada de y a en StateSchemaCompatibilityChecker
• [SPARK-38267] [CORE][sql][SS] Reemplazar coincidencias de patrón en expresiones booleanas con instrucciones condicionales
• [SPARK-38104] [SQL] Migración del análisis de los errores de ventana al nuevo marco de errores
• [SPARK-38434] [SQL] Se ha corregido la semántica del método CheckAnalysis.getDataTypesAreCompatibleFn.
• [SPARK-38033] [SS] No es posible iniciar el procesamiento de SS porque el componente…
• [SPARK-38378] [SQL] Refactorización de la definición de gramática de ANTLR en archivos analizadores y lexer independientes
• [SPARK-37475] [SQL] Se ha agregado el parámetro de escala a las funciones floor y ceil.
• [SPARK-38411] [CORE] Uso de UTF-8 cuando doMergeApplicationListingInternal lee los registros de eventos
• [SPARK-36553] [ML] KMeans evita calcular las estadísticas auxiliares para un valor de K grande.
• [SPARK-38393] [SQL] Limpiar el uso obsoleto de GenSeq/GenMap.
• [SPARK-38389] [SQL] Se han agregado los alias DATEDIFF() y DATE_DIFF() para TIMESTAMPDIFF().
• [SPARK-33206] [CORE][3.2] Corregir el cálculo del peso de la caché de índices shuffle para archivos de índice pequeños
• [SPARK-38353] [PYTHON] Instrumentación de los métodos mágicos enter y exit para la API de Pandas en Spark
• [SPARK-38323] [SQL][streaming] Admitir los metadatos de archivo ocultos en streaming
• [SPARK-38138] [SQL] Se materializan las subconsultas de QueryPlan.
• [SPARK-38094] Permitir que los nombres de las columnas del esquema coincidan mediante identificadores de campo
• [SPARK-37923] [SQL] Generación de transformaciones de partición para BucketSpec dentro del analizador
• [SPARK-38363] [SQL] Se evita el error en tiempo de ejecución en Dataset.summary() y Dataset.describe() cuando el modo ANSI está activado.
• [SPARK-38284] [SQL] Se ha agregado la función TIMESTAMPDIFF().
• [SPARK-38251] [SQL] Se ha cambiado Cast.toString como "cast" en lugar de "ansi_cast" en modo ANSI.
• [SPARK-38314] [SQL] Corregir errores de lectura de archivos parquet después de escribir los metadatos ocultos del archivo en

Consulte las actualizaciones de mantenimiento de Databricks Runtime 10.5.

Entorno del sistema

• Sistema operativo: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.3
• Delta Lake: 1.2.1

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea cran de Microsoft CRAN en 2022-03-28.

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.12)