Databricks Runtime 16.0 (EoS)

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 16.0, con tecnología de Apache Spark 3.5.0.

Databricks publicó esta versión en noviembre de 2024.

Cambios en el comportamiento

• Cambio importante: JDK 17 es ahora el valor predeterminado
• Cambio importante: El RStudio hospedado está al final del ciclo de vida
• Cambio importante: eliminación de la compatibilidad para cambiar de los tipos byte, short, int y long a tipos más amplios
• Análisis correcto de patrones regex con negación en la agrupación de caracteres anidados
• Mejora de la detección de coincidencias duplicadas en Delta Lake MERGE
• El método de instalación de la biblioteca de clústeres ya no se puede invalidar
• Tiempo de espera predeterminado de dos horas para las instalaciones de bibliotecas en el ámbito del clúster
• La instalación de bibliotecas desde DBFS y la configuración del conf spark.databricks.driver.dbfsLibraryInstallationAllowed de Spark están deshabilitadas
• La addArtifact() funcionalidad ahora es coherente en todos los tipos de computación.
• La regla de comillas invertidas se aplica correctamente a los identificadores de entidad de seguridad con caracteres especiales

Cambio importante: JDK 17 es ahora el valor predeterminado

En Databricks Runtime 16.0 y versiones posteriores, la versión predeterminada de JDK se cambia de JDK 8 a JDK 17. Este cambio se realiza debido a la desaprobación planeada y a la finalización del soporte para JDK 8. Esto afecta a lo siguiente:

• El código Java que se ejecuta en Azure Databricks cómputo debe ser compatible con Java 17.
• El código Scala que se ejecuta en notebooks o en el entorno de ejecución de Azure Databricks debe ser compatible con Java 17.
• Java y las bibliotecas de Scala instaladas en el proceso deben ser compatibles con Java 17.
• Versiones del cliente de metastore de Apache Hive por debajo de la versión 2.x. Establecer la configuración de Spark spark.sql.hive.metastore.version en una versión inferior a la 2.x provocará problemas de compatibilidad con Java 17 y errores de conexión al metastore de Hive. Databricks recomienda actualizar Hive a una versión anterior a la 2.0.0.

Si necesita volver a Java 8, agregue lo siguiente a las variables de entorno de Spark al configurar el proceso de Azure Databricks:

JNAME=zulu8-ca-amd64

Si usa instancias de ARM, use lo siguiente:

JNAME=zulu8-ca-arm64

Para obtener más información sobre cómo especificar versiones de JDK con proceso de Azure Databricks, consulte Crear un clúster con una versión de JDK específica.

Para obtener ayuda para migrar el código de Java 8, consulte las siguientes guías:

• Transition de Java 8 a Java 11
• Migración de JDK 8 a versiones posteriores de JDK

Cambio importante: El RStudio hospedado está al final del ciclo de vida

Con esta versión, la instancia de RStudio Server alojada en Databricks ha llegado al final de su ciclo de vida y no está disponible en ninguna área de trabajo de Azure Databricks que ejecute Databricks Runtime 16.0 y versiones posteriores. Para obtener más información y ver una lista de alternativas a RStudio, consulte Conexión a un servidor de RStudio hospedado en Databricks.

Cambio importante: eliminación de la compatibilidad con el cambio de byte, short, int y long a tipos más amplios

En Databricks Runtime 15.4.3 y versiones posteriores, los siguientes cambios de tipo de datos ya no se pueden aplicar a las tablas con la característica de ampliación de tipos habilitada:

• byte, short, int y long a decimal.
• byte, short, y int a double.

Este cambio se realiza para garantizar un comportamiento coherente en las tablas Delta y Apache Iceberg. Para obtener más información sobre la ampliación de tipos, consulte Ampliación de tipos.

Análisis correcto de patrones regex con negación en la agrupación de caracteres anidados

Esta versión incluye un cambio para admitir el análisis correcto de patrones regex con negación en la agrupación de caracteres anidados. Por ejemplo, [^[abc]] se analizará como "cualquier carácter que no sea uno de 'abc'".

Además, el comportamiento de Photon era inconsistente con Spark para las clases de caracteres jerárquicas. Los patrones regex que contienen clases de caracteres anidados ya no usarán Photon y, en su lugar, usarán Spark. Una clase de caracteres anidada es cualquier patrón que contenga corchetes entre corchetes, como [[a-c][1-3]].

Mejora de la detección de coincidencias duplicadas en Delta Lake MERGE

En Databricks Runtime 15.4 LTS y versiones anteriores, las operaciones de MERGE fallan si más de una fila de la tabla de origen coincide con la misma fila de la tabla de destino según la condición MERGE especificada en la cláusula ON. En Databricks Runtime 16.0 y versiones posteriores, MERGE también tiene en cuenta las condiciones especificadas en la WHEN MATCHED cláusula . Consulte Upsert en una tabla de Delta Lake mediante combinación.

El método de instalación de la biblioteca de clústeres ya no se puede invalidar

Las configuraciones de Spark , spark.databricks.libraries.enableSparkPyPIy spark.databricks.libraries.enableMavenResolution ahora están predeterminadas spark.databricks.libraries.enableCRANResolutionnowen true y no se pueden invalidar.

Tiempo de espera predeterminado de dos horas para las instalaciones de la biblioteca con ámbito de clúster

En Databricks Runtime 16.0 y versiones posteriores, la instalación de la biblioteca con ámbito de clúster tiene un tiempo de espera predeterminado de dos horas. Se producirá un error en las instalaciones de biblioteca que tardan más de este tiempo límite y se interrumpirá la instalación. Al configurar un clúster, puede cambiar el período de tiempo de espera mediante la configuración spark.databricks.driver.clusterLibraryInstallationTimeoutSecde Spark.

La instalación de bibliotecas desde DBFS y la configuración del conf spark.databricks.driver.dbfsLibraryInstallationAllowed de Spark están deshabilitadas

En Databricks Runtime 16.0 y versiones posteriores, la instalación de bibliotecas desde DBFS está totalmente deshabilitada. Este cambio se realiza para mejorar la seguridad de las bibliotecas en un área de trabajo de Databricks. Además, en Databricks Runtime 16.0 y versiones posteriores, ya no puede usar la configuración spark.databricks.driver.dbfsLibraryInstallationAllowedde Spark.

La addArtifact() funcionalidad ahora es coherente en todos los tipos de computación.

Con esta versión, el archivo se desempaqueta automáticamente cuando se usa addArtifact(archive = True) para agregar una dependencia a un proceso compartido o sin servidor Azure Databricks. Este cambio hace que el addArtifact(archive = True) comportamiento de estos tipos de proceso sea coherente con el proceso dedicado (anteriormente proceso de usuario único), que ya admite el desempaquetado automático de archivos.

La regla de comillas invertidas se aplica correctamente a los identificadores de entidad de seguridad con caracteres especiales

Con esta versión, identificadores de entidad de seguridad con caracteres especiales en instrucciones GRANT, DENY y REVOKE ahora producirán un error si no están incluidos en comillas invertidas.

Nuevas características y mejoras

• Más recarga confiable de módulos de Python modificados con mejoras en autoreload
• Compatibilidad de Avro con el esquema recursivo
• Funciones to_avro y from_avro
• Compatibilidad ampliada con el Registro de esquema de Confluent para Avro
• Forzar la agrupación en tablas con clústeres líquidos
• Las API delta para Python y Scala ahora admiten columnas de identidad
• El control de acceso granular en el cálculo dedicado (anteriormente cálculo de usuario único) está generalmente disponible
• Crear tablas en clúster líquido durante las escrituras de streaming
• Compatibilidad con la cláusula OPTIMIZE FULL
• Compatibilidad con la especificación de opciones WITH en INSERT y en la referencia de tabla
• Nuevas funciones SQL
• Habilitación de la evolución automática del esquema al combinar datos en una tabla Delta

Recarga más confiable de módulos de Python modificados con mejoras en autoreload

En Databricks Runtime 16.0 y versiones posteriores, las actualizaciones de la extensión autoreload mejoran la seguridad y confiabilidad de la recarga de módulos modificados Python importados desde archivos del área de trabajo. Con estos cambios, , autoreloadsiempre que sea posible, vuelve a cargar solo la parte de un módulo que ha cambiado en lugar de todo el módulo. Además, ahora Azure Databricks sugiere automáticamente el uso de la extensión autoreload si el módulo ha cambiado desde su última importación. Consulte Autoreload para módulos de Python.

Compatibilidad de Avro con el esquema recursivo

Ahora puede usar la opción recursiveFieldMaxDepth con la función from_avro y el origen de datos avro. Esta opción establece la profundidad máxima para la recursividad del esquema en el origen de datos avro. Consulte Lectura y escritura de datos de Avro en streaming.

funciones de to_avro y from_avro

Las funciones to_avro y from_avro permiten la conversión de tipos SQL a datos binarios de Avro y de vuelta.

Compatibilidad ampliada con el Registro de esquema de Confluent para Avro

Azure Databricks ahora admite la referencia de esquemas Avro con Confluent Schema Registry. Consulte Autenticación en un registro de esquema de Confluent externo.

Forzar la agrupación en tablas con clústeres líquidos

En Databricks Runtime 16.0 y versiones posteriores, puede usar la sintaxis de OPTIMIZE FULL para forzar la reclusión de todos los registros de una tabla con la agrupación en clústeres líquidos habilitada. Consulte Forzar reclusterización.

Las API delta para Python y Scala ahora admiten columnas de identidad

Ahora puede usar las API delta para Python y Scala para crear tablas con columnas de identidad. Consulte Columnas de identidad.

El control de acceso granular en cómputo dedicado (antes cómputo para un solo usuario) está generalmente disponible.

En Databricks Runtime 16.0 y versiones posteriores, el control de acceso granular en la computación dedicada está disponible con carácter general. En las áreas de trabajo habilitadas para el proceso sin servidor, si se ejecuta una consulta en un proceso admitido, como el proceso dedicado y la consulta accede a cualquiera de los siguientes objetos, el recurso de proceso pasa la consulta al proceso sin servidor para ejecutar el filtrado de datos:

• Vistas creadas sobre tablas en las que el usuario no tiene el privilegio SELECT.
• Vistas dinámicas.
• Tablas con filtros de fila o máscaras de columna aplicadas.
• Vistas materializadas y tablas de streaming

Crear tablas en clúster líquido durante las escrituras de streaming

Ahora puede usar clusterBy para habilitar la agrupación en clústeres líquidos al crear nuevas tablas con escrituras de Structured Streaming. Consulte Habilitación de clústeres líquidos.

Compatibilidad con la cláusula OPTIMIZE FULL

Databricks Runtime 16.0 admite la cláusula OPTIMIZE FULL. Esta cláusula optimiza todos los registros de una tabla que usa la agrupación en clústeres líquidos, incluidos los datos que podrían haberse agrupado previamente.

Compatibilidad con la especificación de opciones WITH en INSERT y en la referencia de tabla

Databricks Runtime 16.0 admite una especificación de opciones para las referencias de tabla y los nombres de tabla de una INSERT instrucción que se pueden usar para controlar el comportamiento de los orígenes de datos.

Nuevas funciones SQL

Las siguientes funciones SQL se agregan en Databricks Runtime 16.0:

• intentar_descodificar_url

  Esta función es una versión tolerante a errores de url_decode. Esta función devuelve NULL si la entrada no es una cadena codificada con dirección URL válida.

• zeroifnull

  Si la expresión de entrada de la zeroifnull() función es NULL, la función devuelve 0. De lo contrario, se devuelve el valor de la expresión de entrada.

• nullifzero

  Devuelve NULL si la entrada es 0 o la entrada si no es 0. Si la expresión de entrada de la nullifzero() función es 0, la función devuelve NULL. Si la expresión de entrada no es 0, se devuelve el valor de la expresión de entrada.

Habilitación de la evolución automática del esquema al combinar datos en una tabla Delta

Esta versión agrega compatibilidad con el withSchemaEvolution() miembro de la DeltaMergeBuilder clase . Utilice withSchemaEvolution() para habilitar la evolución automática del esquema durante MERGE operaciones. Por ejemplo, mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

Otros cambios

SparkR ya está en desuso

En Databricks Runtime 16.0 y versiones posteriores, SparkR en Databricks está en desuso en preparación para su desuso en la próxima versión de Spark 4. Consulte el hilo Deprecate SparkR de Apache Spark.

Databricks recomienda usar sparklyr en su lugar.

Databricks Runtime 16.0 no es compatible con PVC

Databricks Runtime 16.0 no es compatible con La nube virtual privada (PVC) de Databricks. Debe usar Databricks Runtime 15.4 o inferior con todas las versiones de PVC.

Corrección de errores

Auto Loader ahora recupera los tipos de registros Avro con esquemas vacíos

Al cargar un archivo Avro en una tabla Delta mediante Auto Loader, record los tipos del archivo que tienen un esquema vacío ahora se agregan a la columna de datos de rescate. Dado que no puede ingerir tipos de datos complejos vacíos en una tabla Delta, esto resuelve un problema con la carga de algunos archivos Avro. Para más información sobre los datos rescatados, consulte ¿Qué es la columna de datos rescatados?.

Corrección para la escritura de marcas de tiempo de error con zonas horarias que contienen un segundo desplazamiento.

Esta versión corrige un error que afecta a algunas marcas de tiempo con zonas horarias que contienen un segundo desplazamiento. Este error hace que se omitan los segundos al escribir en JSON, XML o CSV, lo que provoca valores de marca de tiempo incorrectos.

Para volver al comportamiento anterior, use la siguiente opción al escribir en uno de los formatos afectados: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]").

Actualizaciones de bibliotecas

• Bibliotecas de Python actualizadas:
  • azure-core de 1.30.2 a 1.31.0
  • azure-storage-blob de 12.19.1 a 12.23.0
  • azure-storage-file-datalake de la versión 12.14.0 a la 12.17.0
  • negro de 23.3.0 a 24.4.2
  • blinker de 1.4 a 1.7.0
  • boto3 de 1.34.39 a 1.34.69
  • botocore de 1.34.39 a 1.34.69
  • certifi del 22/7/2023 al 2/6/2024
  • cffi de 1.15.1 a 1.16.0
  • Haga clic entre 8.0.4 y 8.1.7.
  • comm de 0.1.2 a 0.2.1
  • contourpy de 1.0.5 a 1.2.0
  • criptografía de 41.0.3 a 42.0.5
  • Cython de 0.29.32 a 3.0.11
  • databricks-sdk de 0.20.0 a 0.30.0
  • dbus-python de 1.2.18 a 1.3.2
  • bloqueo de archivos de 3.13.4 a 3.15.4
  • fonttools de 4.25.0 a 4.51.0
  • GitPython de 3.1.43 a 3.1.37
  • google-api-core de 2.18.0 a 2.20.0
  • google-auth de 2.31.0 a 2.35.0
  • google-cloud-storage de 2.17.0 a 2.18.2
  • google-crc32c de 1.5.0 a 1.6.0
  • google-resumable-media de 2.7.1 a 2.7.2
  • googleapis-common-protos de 1.63.2 a 1.65.0
  • httplib2 de 0.20.2 a 0.20.4
  • idna de 3.4 a 3.7
  • ipykernel de 6.25.1 a 6.28.0
  • ipython de 8.15.0 a 8.25.0
  • jedi de 0.18.1 a 0.19.1
  • jmespath de 0.10.0 a 1.0.1
  • joblib de 1.2.0 a 1.4.2
  • jupyter_client de 7.4.9 a 8.6.0
  • jupyter_core de 5.3.0 a 5.7.2
  • launchpadlib de 1.10.16 a 1.11.0
  • lazr.restfulclient de 0.14.4 a 0.14.6
  • matplotlib de 3.7.2 a 3.8.4
  • mlflow-skinny de 2.11.4 a 2.15.1
  • Actualización de more-itertools de la versión 8.10.0 a la 10.3.0
  • mypy-extensions desde 0.4.3 a 1.0.0
  • nest-asyncio de 1.5.6 a 1.6.0
  • numpy de 1.23.5 a 1.26.4
  • oauthlib de 3.2.0 a 3.2.2
  • empaquetado de 23.2 a 24.1
  • patsy de 0.5.3 a 0.5.6
  • pip de 23.2.1 a 24.2
  • plotly de 5.9.0 a 5.22.0
  • prompt-toolkit de 3.0.36 a 3.0.43
  • pyarrow de 14.0.1 a 15.0.2
  • pydantic de 1.10.6 a 2.8.2
  • PyGObject de 3.42.1 a 3.48.2
  • PyJWT de 2.3.0 a 2.7.0
  • pyodbc de 4.0.38 a 5.0.1
  • python-dateutil de 2.8.2 a 2.9.0.post0
  • python-lsp-jsonrpc de 1.1.1 a 1.1.2
  • pytz de 2022.7 a 2024.1
  • PyYAML de 6.0 a 6.0.1
  • pyzmq de 23.2.0 a 25.1.2
  • solicitudes de 2.31.0 a 2.32.2
  • scikit-learn de 1.3.0 a 1.4.2
  • scipy de 1.11.1 a 1.13.1
  • seaborn de 0.12.2 a 0.13.2
  • setuptools de 68.0.0 a 74.0.0
  • smmap de 5.0.1 a 5.0.0
  • sqlparse de 0.5.0 a 0.5.1
  • statsmodels de 0.14.0 a 0.14.2
  • tornado de 6.3.2 a 6.4.1
  • traitlets de 5.7.1 a 5.14.3
  • typing_extensions de 4.10.0 a 4.11.0
  • ujson de 5.4.0 a 5.10.0
  • virtualenv de 20.24.2 a 20.26.2
  • wheel de 0.38.4 a 0.43.0
  • zipp de 3.11.0 a 3.17.0
• Bibliotecas de R actualizadas:
  • flecha de la versión 14.0.0.2 a la versión 16.1.0
  • backports de 1.4.1 a 1.5.0
  • base de 4.3.2 a 4.4.0
  • bitops de 1.0-7 a 1.0-8
  • arranque de 1.3-28 a 1.3-30
  • brio de 1.1.4 a 1.1.5
  • broom de 1.0.5 a 1.0.6
  • bslib de 0.6.1 a 0.8.0
  • cachem de 1.0.8 a 1.1.0
  • callr de 3.7.3 a 3.7.6
  • cli de 3.6.2 a 3.6.3
  • clock de 0.7.0 a 0.7.1
  • clúster de 2.1.4 a 2.1.6
  • codetools de 0.2-19 a 0.2-20
  • espacio de colores de 2.1-0 a 2.1-1
  • compilador de 4.3.2 a 4.4.0
  • crayon de 1.5.2 a 1.5.3
  • curl de 5.2.0 a 5.2.1
  • data.table de 1.15.0 a 1.15.4
  • conjuntos de datos de 4.3.2 a 4.4.0
  • DBI de 1.2.1 a 1.2.3
  • dbplyr de 2.4.0 a 2.5.0
  • resumen de 0.6.34 a 0.6.36
  • downlit de 0.4.3 a 0.4.4
  • evaluar de 0.23 a 0.24.0
  • farver de 2.1.1 a 2.1.2
  • fastmap de 1.1.1 a 1.2.0
  • foreign de 0.8-85 a 0.8-86
  • fs de 1.6.3 a 1.6.4
  • future de 1.33.1 a 1.34.0
  • future.apply de 1.11.1 a 1.11.2
  • gert de 2.0.1 a 2.1.0
  • ggplot2 de 3.4.4 a 3.5.1
  • gh de 1.4.0 a 1.4.1
  • globals de 0.16.2 a 0.16.3
  • gráficos de 4.3.2 a 4.4.0
  • grDevices de 4.3.2 a 4.4.0
  • cuadrícula de 4.3.2 a 4.4.0
  • gt de 0.10.1 a 0.11.0
  • gtable de 0.3.4 a 0.3.5
  • hardhat de 1.3.1 a 1.4.0
  • highr de 0,10 a 0,11
  • htmltools de 0.5.7 a 0.5.8.1
  • httpuv de 1.6.14 a 1.6.15
  • httr2 de 1.0.0 a 1.0.2
  • ipred de 0.9-14 a 0.9-15
  • KernSmooth de 2.23-21 a 2.23-22
  • knitr de 1.45 a 1.48
  • lattice de 0.21-8 a 0.22-5
  • lava de 1.7.3 a 1.8.0
  • Markdown de 1.12 a 1.13
  • MASS de 7.3-60 a 7.3-60.0.1
  • Matriz de 1.5-4.1 a 1.6-5
  • métodos de 4.3.2 a 4.4.0
  • mgcv de 1,8-42 a 1,9-1
  • mlflow de 2.10.0 a 2.14.1
  • munsell de 0.5.0 a 0.5.1
  • nlme de 3.1-163 a 3.1-165
  • openssl de 2.1.1 a 2.2.0
  • paralelo de 4.3.2 a 4.4.0
  • en paralelo de 1.36.0 a 1.38.0
  • pkgbuild de 1.4.3 a 1.4.4
  • pkgdown de 2.0.7 a 2.1.0
  • pkgload de 1.3.4 a 1.4.0
  • processx de 3.8.3 a 3.8.4
  • prodlim de 2023.08.28 a 2024.06.25
  • promesas de 1.2.1 a 1.3.0
  • ps de 1.7.6 a 1.7.7
  • ragg de 1.2.7 a 1.3.2
  • Rcpp de 1.0.12 a 1.0.13
  • RcppEigen de 0.3.3.9.4 a 0.3.4.0.0
  • reactR de 0.5.0 a 0.6.0
  • recetas de 1.0.9 a 1.1.0
  • remotes de 2.4.2.1 a 2.5.0
  • Actualización de reprex de la versión 2.1.0 a la 2.1.1
  • rlang de 1.1.3 a 1.1.4
  • rmarkdown de 2.25 a 2.27
  • roxygen2 de 7.3.1 a 7.3.2
  • Actualización de rpart de la versión 4.1.21 a la 4.1.23
  • RSQLite de 2.3.5 a 2.3.7
  • rstudioapi de 0.15.0 a 0.16.0
  • Actualización de la versión de rvest de 1.0.3 a 1.0.4
  • sass de 0.4.8 a 0.4.9
  • shape de 1.4.6 a 1.4.6.1
  • shiny de 1.8.0 a 1.9.1
  • sparklyr de 1.8.4 a 1.8.6
  • espacial de 7.3-15 a 7.3-17
  • splines de 4.3.2 a 4.4.0
  • estadísticas de 4.3.2 a 4.4.0
  • stats4 de 4.3.2 a 4.4.0
  • stringi de 1.8.3 a 1.8.4
  • supervivencia de 3,5-5 a 3,6-4
  • swagger de 3.33.1 a 5.17.14.1
  • Actualización de systemfonts de la versión 1.0.5 a la 1.1.0
  • tcltk de 4.3.2 a 4.4.0
  • testthat de 3.2.1 a 3.2.1.1
  • textshaping de 0.3.7 a 0.4.0
  • tidyselect de 1.2.0 a 1.2.1
  • tinytex de 0,49 a 0,52
  • tools de 4.3.2 a 4.4.0
  • usethis de 2.2.2 a 3.0.0
  • Actualización de utils de la versión 4.3.2 a la 4.4.0
  • uuid de 1.2-0 a 1.2-1
  • V8 de 4.4.1 a 4.4.2
  • withr de 3.0.0 a 3.0.1
  • xfun de 0,41 a 0,46
  • Actualización de xopen de la versión 1.0.0 a la versión 1.0.1
  • yaml de 2.3.8 a 2.3.10
• Bibliotecas de Java actualizadas:
  • com.amazonaws.aws-java-sdk-autoscaling de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-cloudformation de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-cloudfront de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-codedeploy de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-cognitosync de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-config de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-core de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-datapipeline de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-directconnect de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-directory de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-dynamodb de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-ec2 de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-ecs de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-efs de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-elasticache de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-emr de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-glacier de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-glue de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-iam de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-importexport de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-kinesis de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-kms de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-lambda de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-logs de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-machinelearning de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-opsworks de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-rds de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-redshift de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-route53 de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-s3 de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-ses de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-simpledb de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-sns de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-sqs de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-ssm de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-storagegateway de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-sts de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-support de la versión 1.12.610 a la versión 1.12.638
  • com.amazonaws.aws-java-sdk-workspaces de 1.12.610 a 1.12.638
  • com.amazonaws.jmespath-java de 1.12.610 a 1.12.638
  • com.google.protobuf.protobuf-java de 2.6.1 a 3.25.1
  • io.airlift.aircompressor de 0.25 a 0.27
  • io.delta.delta-sharing-client_2.12 de 1.1.3 a 1.2.0
  • io.netty.netty-all de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-buffer de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-codec de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-codec-http de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-codec-http2 de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-codec-socks de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-common de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-handler de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-handler-proxy de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-resolver de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-transport de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-transport-classes-epoll de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-transport-classes-kqueue de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-transport-native-epoll de 4.1.96.Final-linux-x86_64 a 4.1.108.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue de 4.1.96.Final-osx-x86_64 a 4.1.108.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common de 4.1.96.Final a 4.1.108.Final
  • org.apache.ivy.ivy de 2.5.1 a 2.5.2
  • org.apache.zookeeper.zookeeper de 3.6.3 a 3.9.2
  • org.apache.zookeeper.zookeeper-jute de 3.6.3 a 3.9.2
  • org.rocksdb.rocksdbjni de 8.11.4 a 9.2.1
  • org.scalactic.scalactic_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-compatible de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-core_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-diagrams_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-featurespec_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-flatspec_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-freespec_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-funspec_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-funsuite_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-matchers-core_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-mustmatchers_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-propspec_2.12 de la versión 3.2.15 a la versión 3.2.16
  • org.scalatest.scalatest-refspec_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-shouldmatchers_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-wordspec_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest_2.12 de 3.2.15 a 3.2.16

Apache Spark

Databricks Runtime 16.0 incluye Apache Spark 3.5.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 15.4 LTS, así como las siguientes correcciones de errores adicionales y mejoras realizadas en Spark:

• [SPARK-49093] [DBRRM-1371] Reversión de "[SC-172958][sql] GROUP BY con MapType nes...
• [SPARK-49898] [DBRRM-1282][sc-178410] Corrección de la documentación y el valor predeterminado para la marca de registro de métricas de tareas de registro de eventos de SPARK-42204
• [SPARK-49743] [ ES-1260022][behave-157][SC-177475][sql] OptimizeCsvJsonExpr no debe cambiar los campos de esquema al eliminar GetArrayStructFields
• [SPARK-49816] [SC-177896][sql] Solo debe actualizar out-going-ref-count para la relación CTE externa a la que se hace referencia
• [SPARK-48939] [SC-177022][sc-172766][AVRO] Soporte para la lectura de Avro con esquema de referencia recursiva
• [SPARK-49688] [SC-177468][es-1242349][CONNECT] Corregir una carrera de datos entre interrupciones y ejecutar plan
• [SPARK-49771] [SC-177466][python] Mejora del error UDF de Iter escalar de Pandas cuando las filas de salida superan las filas de entrada
• [SPARK-48866] [SC-170772][sql] Corregir indicaciones sobre los conjuntos de caracteres válidos en el mensaje de error de INVALID_PARAMETER_VALUE CHARSET
• [SPARK-48195] [FIXFORWARD][sc-177267][CORE] Guardar y reutilizar RDD/Broadcast creado por SparkPlan
• SPARK-49585 [CONNECT] Reemplazar el mapa de ejecuciones en SessionHolder por un conjunto de operationID
• [SPARK-49211] [ SC-174257][sql] V2 Catalog también puede admitir orígenes de datos integrados
• [SPARK-49684] Minimizar la duración del bloqueo de restauración de sesión
• [SPARK-48059] [SPARK-48145][spark-48134][SPARK-48182][spark-48209][SPARK-48291] Marco de registro estructurado en el lado Java
• [SPARK-48857] [SC-170661][sql] Restringir los conjuntos de caracteres en CSVOptions
• [SPARK-49152] [ SC-173690][sql] V2SessionCatalog debe usar V2Command
• [SPARK-42846] [SC-176588][sql] Quitar condición de error _LEGACY_ERROR_TEMP_2011
• [SPARK-48195] [ SC-177267][core] Guardar y reutilizar RDD/Broadcast creado por SparkPlan
• [SPARK-49630] [SC-177379][ss] Agregar opción de aplanamiento para procesar tipos de recopilación con lector de origen de datos de estado
• [SPARK-49699] [ SC-177154][ss] Deshabilitar PruneFilters para cargas de trabajo de streaming
• [SPARK-48781] [ SC-175282][sql] Agregar API de catálogo para cargar procedimientos almacenados
• [SPARK-49667] [SC-177068][sql] No permitir intercaladores CS_AI con expresiones que utilizan StringSearch
• [SPARK-49737] [SC-177207][sql] Deshabilitar la creación de cubos en columnas intercaladas en tipos complejos
• [SPARK-48712] [SC-169794][sql] Mejora de rendimiento para la codificación con valores vacíos o conjunto de caracteres UTF-8
• [SPARK-49038] [ SC-173933][sql] SQLMetric debe notificar el valor sin procesar en el evento de actualización del acumulador
• [SPARK-48541] [SC-169066][core] Agregar un nuevo código de salida para ejecutores eliminados por TaskReaper
• [SPARK-48774] [SC-170138][sql] Usar SparkSession en SQLImplicits
• [SPARK-49719] [SC-177139][sql] Hacer que UUID y SHUFFLE acepten entero seed
• [SPARK-49713] [SC-177135][python][CONNECT] Hacer que la función count_min_sketch acepte argumentos numéricos
• [SPARK-47601] [ SC-162499][graphx] Graphx: Migración de registros con variables al marco de registro estructurado
• [SPARK-49738] [SC-177219][sql] Corrección de errores de endswith
• [SPARK-48623] [SC-170822][core] Migraciones de registro estructurado [Parte 3]
• [SPARK-49677] [SC-177148][ss] Garantizar que los archivos de registro de cambios se escriben en la confirmación y la marca forceSnapshot también se restablece
• [SPARK-49684] [SC-177040][connect] Eliminar bloqueos globales de los gestores de sesión y ejecución
• [SPARK-48302] [SC-168814][python] Preservar valores nulos en columnas de mapas en tablas PyArrow
• [SPARK-48601] [SC-169025][sql] Proporcione un mensaje de error más descriptivo al establecer un valor NULL para la opción JDBC.
• [SPARK-48635] [SC-169263][sql] Asignar clases para unir errores de tipo y error de combinación
• [SPARK-49673] [SC-177032][connect] Aumentar CONNECT_GRPC_ARROW_MAX_BATCH_SIZE a 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
• [SPARK-49693] [SC-177071][python][CONNECT] Refinar la representación de cadena de timedelta
• [SPARK-49687] [SC-176901][sql] Retrasar la ordenación en validateAndMaybeEvolveStateSchema
• [SPARK-49718] [SC-177112][ps] Cambiar gráfico Scatter a datos muestreados
• [SPARK-48472] [SC-169044][sql] Habilitar expresiones reflect con cadenas intercaladas
• [SPARK-48484] [SC-167484][sql] Corrección: V2Write usa el mismo TaskAttemptId para distintos intentos de tarea
• [SPARK-48341] [SC-166560][connect] Permitir que los complementos usen QueryTest en sus pruebas
• [SPARK-42252] [SC-168723][core] Agregar spark.shuffle.localDisk.file.output.buffer y dejar de usar spark.shuffle.unsafe.file.output.buffer
• [SPARK-48314] [SC-166565][ss] No haga doble caché los archivos para FileStreamSource mediante Trigger.AvailableNow
• [SPARK-49567] [SC-176241][python] Usar classic en lugar de vanilla desde el código base de PySpark
• [SPARK-48374] [SC-167596][python] Compatibilidad con tipos de columnas de tabla PyArrow adicionales
• [SPARK-48300] [SC-166481][sql] Compatibilidad con Codegen from_xml
• [SPARK-49412] [SC-177059][ps] Calcular todas las métricas de diagrama de caja en un solo trabajo
• [SPARK-49692] [SC-177031][python][CONNECT] Refinar la representación de cadena de la fecha literal y fecha y hora
• [SPARK-49392] [ES-1130351][sc-176705][SQL] Detectar errores al no escribir en el origen de datos externo
• [SPARK-48306] [SC-166241][sql] Mejorar UDT en el mensaje de error
• [SPARK-44924] [SC-166379][ss] Agregar configuración para archivos almacenados en caché fileStreamSource
• [SPARK-48176] [SC-165644][sql] Ajustar el nombre de la condición de error FIELD_ALREADY_EXISTS
• [SPARK-49691] [SC-176988][python][CONNECT] La función substring debe aceptar nombres de columna.
• [SPARK-49502] [SC-176077][core] Evitar NPE en SparkEnv.get.shuffleManager.unregisterShuffle
• [SPARK-49244] [ SC-176703][sql] Mejoras de excepciones adicionales para el analizador o intérprete
• [SPARK-48355] [SC-176684][sql] Compatibilidad con la instrucción CASE
• [SPARK-49355] [ SC-175121][sql] levenshtein debe comprobar si los collation valores de todos los tipos de parámetros son los mismos.
• [SPARK-49640] [SC-176953][ps] Aplicar muestreo de depósitos en SampledPlotBase
• [SPARK-49678] [SC-176857][core] Compatibilidad spark.test.master con SparkSubmitArguments
• [SPARK-49680] [SC-176856][python] Limitar Sphinx el paralelismo de compilación a 4 de forma predeterminada
• [SPARK-49396] Revert "[SC-176030][sql] Modify nullability check for CaseWhen expression" (Revertir "[SC-176030][sql] Modificar comprobación de nulabilidad para la expresión CaseWhen"
• [SPARK-48419] [SC-167443][sql] Propagación plegable reemplaza la columna plegable…
• [SPARK-49556] [SC-176757][sql] Agregar sintaxis de canalización SQL para el SELECT operador
• [SPARK-49438] [ SC-175237][sql] Corregir el nombre bonito de la FromAvro & ToAvro expresión
• [SPARK-49659] [SC-1229924][sql] Incorporación de un mensaje de error claro para el usuario para subconsultas escalares dentro de la cláusula VALUES
• [SPARK-49646] [SC-176778][sql] Corregir la decorrelación de subconsultas para operaciones de unión/conjunto cuando parentOuterReferences tiene referencias no cubiertas en collectedChildOuterReferences
• [SPARK-49354] [ SC-175034][sql] split_part debe comprobar si los collation valores de todos los tipos de parámetros son los mismos.
• [SPARK-49478] [SC-175914][connect] Control de métricas nulas en ConnectProgressExecutionListener
• [SPARK-48358] [SC-176374][sql] Compatibilidad con la instrucción REPEAT
• [SPARK-49183] [SC-173680][sql] El V2SessionCatalog.createTable debe respetar PROP_IS_MANAGED_LOCATION
• [SPARK-49611] [ SC-176791][sql] Introducir TVF collations() y quitar el SHOW COLLATIONS comando
• [SPARK-49261] [SC-176589][sql] No reemplazar literales en expresiones de agregado por expresiones group-by
• [SPARK-49099] [ SC-173229][sql] CatalogManager.setCurrentNamespace debe respetar el catálogo de sesiones personalizado
• [SPARK-49594] [SC-176569][ss] Agregando una comprobación sobre si las familias de columnas se agregaron o se quitaron para escribir el archivo StateSchemaV3
• [SPARK-49578] [SC-176385][sql] Quitar la sugerencia de configuración ANSI en CAST_INVALID_INPUT y CAST_OVERFLOW
• [SPARK-48882] [SC-174256][ss] Asignar nombres a clases de error relacionadas con el modo de salida de streaming
• [SPARK-49155] [ SC-176506][sql][SS] Usar el tipo de parámetro más adecuado para construir GenericArrayData
• [SPARK-49519] [SC-176388][sql] Opciones de combinación de tabla y relación al construir FileScanBuilder
• [SPARK-49591] [SC-176587][sql] Agregar columna de tipo lógico a variante readme
• [SPARK-49596] [ SC-176423][sql] Mejorar el rendimiento de FormatString
• [SPARK-49525] [SC-176044][ss][CONNECT] Mejoras de registros menores en el agente de escucha ListenerBus de consulta de streaming del lado servidor
• [SPARK-49583] [SC-176272][sql] Definir la sub-condición SECONDS_FRACTION de error para el patrón de fracción de segundos no válido
• [SPARK-49536] [SC-176242] Manejo del error en la precarga de registros de la fuente de datos de streaming de Python
• [SPARK-49443] [SC-176273][sql][PYTHON] Implementar la expresión to_variant_object y hacer que las expresiones schema_of_variant impriman OBJECT específicamente para objetos de tipo Variant.
• [SPARK-49544] [SASP-3990][sc-176557][CONNECT] Reemplazar el bloqueo general en SparkConnectExecutionManager con ConcurrentMap
• [SPARK-49548] [SASP-3990][sc-176556][CONNECT] Reemplazar el bloqueo grueso en SparkConnectSessionManager con ConcurrentMap
• [SPARK-49551] [SC-176218][ss] Mejorar el registro de RocksDB para replayChangelog
• [SPARK-49595] [SC-176396][connect][SQL] Corrección DataFrame.unpivot/melt en el cliente Scala de Spark Connect
• [SPARK-49006] [SC-176162] Implementación de purga para archivos OperatorStateMetadataV2 y StateSchemaV3
• [SPARK-49600] [SC-176426][python] Quitar la lógica relacionada con Python 3.6 and older de try_simplify_traceback
• [SPARK-49303] [SC-176013][ss] Implementación de TTL para ValueState en transformWithStateInPandas API
• [SPARK-49191] [SC-176243][ss] Agregar compatibilidad para leer las variables de estado de mapa transformWithState con el lector de origen de datos de estado
• [SPARK-49593] [SC-176371][ss] Lanzar la excepción de RocksDB al llamador al cerrar la base de datos si se detecta un error
• [SPARK-49334] [ SC-174803][sql] str_to_map debe comprobar si los collation valores de todos los tipos de parámetros son los mismos.
• [SPARK-42204] [ SC-176126][core] Agregar opción para deshabilitar el registro redundante de Acumuladores Internos de TaskMetrics en los registros de eventos
• [SPARK-49575] [SC-176256][ss] Agregar registro para la versión de bloqueo solo si acquiredThreadInfo no es null
• [SPARK-49539] [SC-176250][ss] Actualizar el identificador de inicio de las familias de columnas internas a uno diferente
• [SPARK-49205] [SC-173853][sql] KeyGroupedPartitioning debería heredar de HashPartitioningLike
• [SPARK-49396] [SC-176030][sql] Modificar la comprobación de nulabilidad para CaseWhen expression
• [SPARK-49476] [SC-175700][sql] Corrección de la nulabilidad de la función base64
• [SPARK-47262] [SC-174829][sql] Asignar nombres a condiciones de error para conversiones de parquet
• [SPARK-47247] [SC-158349][sql] Usar un tamaño de destino menor al combinar particiones con combinaciones de explosión
• [SPARK-49501] [SC-176166][sql] Corregir el escape doble de la ubicación de la tabla
• [SPARK-49083] [ SC-173214][connect] Permitir que from_xml y from_json funcionen de forma nativa con esquemas JSON
• [SPARK-49043] [SC-174673][sql] Corregir el grupo de rutas de código interpretado en el mapa que contiene cadenas intercaladas
• [SPARK-48986] [SC-172265][connect][SQL] Agregar representación intermedia de ColumnNode
• [SPARK-49326] [SC-176016][ss] Clasificación de la clase de error para el error de función de usuario receptor Foreach
• [SPARK-48348] [SC-175950][spark-48376][SQL] Introducir instrucciones LEAVE y ITERATE
• [SPARK-49523] [SC-175949][connect] Aumentar el tiempo máximo de espera para que el servidor de conexión aparezca para realizar pruebas
• [SPARK-49000] [BEHAVE-105][es-1194747][SQL] Corrección de "select count(distinct 1) from t" donde la tabla t está vacía ampliando RewriteDistinctAggregates - Databricks Runtime versión 16.x
• [SPARK-49311] [SC-175038][sql] Permitir que los valores grandes de "intervalo de segundos" se conviertan en decimales
• [SPARK-49200] [SC-173699][sql] Corregir la excepción de ordenación de tipos NULL que no son codegen
• [SPARK-49467] [SC-176051][ss] Agregar compatibilidad con el lector de datos de estado y el estado de listas
• [SPARK-47307] [SC-170891][sql] Agregar una configuración para fragmentar cadenas base64 opcionalmente
• [SPARK-49391] [SC-176032][ps] Selección de valores atípicos en diagrama de caja por distancia de las vallas
• [SPARK-49445] [SC-175845][ui] Compatibilidad con la información sobre herramientas en la barra de progreso de la interfaz de usuario
• [SPARK-49451] [SC-175702] Permitir claves duplicadas en parse_json.
• [SPARK-49275] [SC-175701][sql] Corregir la nulación del tipo de valor devuelto de la expresión xpath
• [SPARK-49021] [SC-175578][ss] Incorporar soporte para la lectura de variables de estado de valor de transformWithState utilizando el lector de fuente de datos del estado.
• [SPARK-49474] [BEHAVE-143][sc-169253][SC-175933][ss] Clasificar la clase de error para el error de función de usuario FlatMapGroupsWithState
• [SPARK-49408] [SC-175932][sql] Usar IndexedSeq en ProjectingInternalRow
• [SPARK-49509] [SC-175853][core] Use Platform.allocateDirectBuffer en lugar de ByteBuffer.allocateDirect
• [SPARK-49382] [SC-175013][ps] Hacer que el diagrama de caja de marco represente correctamente los valores atípicos o valores atípicos
• [SPARK-49002] [SC-172846][sql] Controlar constantemente ubicaciones no válidas en WAREHOUSE/SCHEMA/TABLE//PARTITIONDIRECTORY
• [SPARK-49480] [SC-175699][core] Corregir NullPointerException desde SparkThrowableHelper.isInternalError
• [SPARK-49477] [SC-175828][python] Mejora del mensaje de error de tipo de valor devuelto no válido de udf de pandas
• [SPARK-48693] [SC-169492][sql] Simplificar y unificar toString de Invoke y StaticInvoke
• [SPARK-49441] [ SC-175716][ml] StringIndexer ordenar matrices en ejecutores
• [SPARK-49347] [SC-175004][r] SparkR en desuso
• [SPARK-49357] [SC-175227][connect][PYTHON] Truncar verticalmente el mensaje protobuf anidado profundamente
• [SPARK-41982] [SC-120604][sql] Las particiones de tipo cadena no deben tratarse como tipos numéricos
• [SPARK-48776] [SC-170452][behave-72] Corrección del formato de marca de tiempo para json, xml y csv
• [SPARK-49223] [SC-174800][ml] Simplificación de StringIndexer.countByValue con funciones integradas
• [SPARK-49016] Revertir “[SC-174663][sql] Restaurar el comportamiento que las consultas de los archivos CSV sin procesar no se permiten cuando solo se incluyen columnas de registro dañadas y asignar nombre a _LEGACY_ERROR_TEMP_1285”
• [SPARK-49041] [SC-172392][python][CONNECT] Generar un error adecuado para dropDuplicates cuando se da un subset incorrecto
• [SPARK-49050] [SC-175235] Habilitación del operador deleteIfExists en TWS con familias de columnas virtuales
• [SPARK-49216] [SC-173919][core]Corrección para no registrar el contexto del mensaje con LogEntry construido explícitamente cuando el conf de registro estructurado está desactivado
• [SPARK-49252] [SC-175596][core] HacerTaskSetExcludeList y HeathTracker independientes
• [SPARK-49352] [SC-174971][sql] Evitar la transformación de matriz redundante para expresiones idénticas
• [SPARK-42307] [SC-173863][sql] Asignar nombre para el error _LEGACY_ERROR_TEMP_2232
• [SPARK-49197] [SC-173732][core] Tachar salida Spark Command en módulo launcher
• [SPARK-48913] [SC-173934][sql] Implementar IndentingXMLStreamWriter
• [SPARK-49306] [SC-175363][python][SQL] Crear alias de función SQL para 'zeroifnull' y 'nullifzero'
• [SPARK-48344] [SQL] Ejecución de script de SQL (incluido Spark Connect)
• [SPARK-49402] [SC-175122][python] Corrección de la integración del enlazador en la documentación de PySpark
• [SPARK-49017] [ SC-174664][sql] Error en la instrucción Insert cuando se usan varios parámetros
• [SPARK-49318] [SC-174733][sql] Prevenir errores de prioridad baja en LCA hasta el final del análisis de verificación para mejorar la experiencia de errores
• [SPARK-49016] Revertir “[SC-174663][sql] Restaurar el comportamiento que las consultas de los archivos CSV sin procesar no se permiten cuando solo se incluyen columnas de registro dañadas y asignar nombre a _LEGACY_ERROR_TEMP_1285”
• [SPARK-49387] [SC-175124][python] Corrección del indicador de tipo para accuracy en percentile_approx y approx_percentile
• [SPARK-49131] [ SC-174666][ss] TransformWithState debe establecer correctamente claves de agrupación implícitas incluso con iteradores diferidos
• [SPARK-49301] [SC-174795][ss] Datos de flecha de fragmentos pasados al trabajo de Python
• [SPARK-49039] [SC-174651][ui] Restablecer casilla de verificación cuando las métricas del ejecutor se cargan en la pestaña de etapas
• [SPARK-48428] [SC-169806][sql]: Corrección de IllegalStateException en NestedColumnAliasing
• [SPARK-49353] [SC-174830][sql] Actualización de documentos relacionados con UTF-32 la codificación o descodificación
• [SPARK-48613] [SC-170966][sql] SPJ: compatibilidad con el orden aleatorio automático de un lado + menos claves de combinación que las claves de partición
• [SPARK-47473] [SC-160450][behave-127][SQL] Corrección del problema de corrección de las marcas de tiempo de postgres INFINITY
• [SPARK-49142] [SC-173658][connect][PYTHON] Seguimiento para revertir proto al costo de rendimiento de cadena
• [SPARK-49300] [SC-175008][core] Corregir la pérdida de tokens de delegación de Hadoop cuando no está establecido tokenRenewalInterval.
• [SPARK-49367] [SC-175012][ps] Paralelizar el cálculo de KDE para varias columnas (back-end de plotly)
• [SPARK-49365] [SC-175011][ps] Simplificación de la agregación de cubos en histograma
• [SPARK-49372] [SC-175003][ss] Asegúrese de que latestSnapshot se establezca en none al cerrar para evitar el uso posterior.
• [SPARK-49341] [SC-174785] Quitar connector/docker en favor de Apache Spark Operator
• [SPARK-49344] [SC-174894][ps] Compatibilidad json_normalize con API de Pandas en Spark
• [SPARK-49306] [SC-174794][sql] Crear nuevas funciones SQL 'zeroifnull' y 'nullifzero'
• [SPARK-48796] [SC-174668][ss] Cargar identificador de familia de columnas desde RocksDBCheckpointMetadata para VCF al reiniciar
• [SPARK-49342] [SC-174899][sql] Convertir el argumento 'jsonFormatSchema' de la función SQL TO_AVRO en opcional
• [SPARK-48628] [SC-174695][core] Añadir métricas del pico de memoria 'on-heap' y 'off-heap'
• [SPARK-47407] [SC-159379][behave-126][SQL] Compatibilidad de asignación de java.sql.Types.NULL a NullType
• [SPARK-48628] [SC-173407][core] Añadir métricas del pico de memoria 'on-heap' y 'off-heap'
• [SPARK-49166] [SC-173987][sql] Soporte para OFFSET en subconsulta correlacionada
• [SPARK-49269] [SC-174676][sql] Evaluación inmediata de la lista VALUES() en AstBuilder
• [SPARK-49281] [SC-174782][sql] Optimizar binario de parquet getBytes con getBytesUnsafe para evitar el costo de copia
• [SPARK-49113] [SC-174734] No aserción en errores de traducción: tragar silenciosamente la excepción
• [SPARK-49098] [ SC-173253][sql] Agregar opciones de escritura para INSERT
• [SPARK-48638] [SC-174694][follow][CONNECT] Corrección de la documentación de ExecutionInfo
• [SPARK-49250] [ES-1222826][sql] Mejorar el mensaje de error para UnresolvedWindowExpression anidado en CheckAnalysis
• [SPARK-48755] [SC-174258][ss][PYTHON] implementación base de transformWithState en pyspark y soporte para ValueState
• [SPARK-48966] [SC-174329][sql] Mejorar el mensaje de error con una referencia de columna no resuelta no válida en la llamada UDTF
• [SPARK-46590] [SC-154115][sql] Corrección del error de fusión con índices de partición inesperada
• [SPARK-49235] [SC-174159][sql] Refactorizar la regla ResolveInlineTables para que no recorra todo el árbol
• [SPARK-49060] [SC-173107][connect] Limpieza de reglas de Mima para comprobaciones de compatibilidad binaria de SQL-Connect
• [SPARK-48762] [SC-172525][sql] Introducción de la API de DataFrameWriter "clusterBy" para Python
• [SPARK-49207] [SC-173852][sql] Corregir el mapeo de casos de uno a varios en SplitPart y StringSplitSQL
• [SPARK-49204] [SC-173850][sql] Corregir el control de pares suplentes en StringInstr y StringLocate
• [SPARK-36680] [SC-170640][sql] Admite opciones de tabla dinámica para Spark SQL
• [SPARK-49204] [SC-173849][sql] Corregir el control de pares suplentes en SubstringIndex
• [SPARK-49204] [SC-173848][sql] Corregir el control de pares suplentes en StringTrim
• [SPARK-48967] [SC-173993]Corrección de la prueba de SparkConfigOwnershipSuite para OPTIMIZE_INSERT_INTO_VALUES_PARSER
• [SPARK-49204] [SC-173851][sql] Corregir el control de pares suplentes en StringReplace
• [SPARK-48967] [SC-173993][sql][16.x] Mejora del rendimiento y la superficie de memoria de declaraciones "INSERT INTO... VALUES"Instrucciones
• [SPARK-49099] Revertir “[SC-173229][sql] CatalogManager.setCurrent…
• [SPARK-48347] [SC-173812][sql] Compatibilidad con la instrucción WHILE
• [SPARK-49128] [SC-173344][core] Compatibilidad con el título personalizado de la interfaz de usuario del servidor de historial
• [SPARK-49146] [SC-173825][ss] Mover errores de aserción relacionados con la ausencia de marca de agua en las consultas de streaming en modo de anexión al marco de errores
• [SPARK-45787] [SC-172197][sql] Compatibilidad de Catalog.listColumns para columnas de clúster
• [SPARK-49099] [ SC-173229][sql] CatalogManager.setCurrentNamespace debe respetar el catálogo de sesiones personalizado
• [SPARK-49138] [SC-173483][sql] Reparar CollationTypeCasts de varias expresiones
• [SPARK-49163] [SC-173666][sql] Intentar crear una tabla basada en los resultados de datos de partición parquet rotos debe devolver un error orientado al usuario
• [SPARK-49201] [SC-173793][ps][PYTHON][connect] Reimplementar gráfico hist con Spark SQL
• [SPARK-49188] [SC-173682][sql] Error interno en concat_ws llamado en la matriz de matrices de cadenas
• [SPARK-49137] [SC-173677][sql] Cuando la condición booleana en if statement es inválida, se debe lanzar una excepción.
• [SPARK-49193] [SC-173672][sql] Mejorar el rendimiento de RowSetUtils.toColumnBasedSet
• [SPARK-49078] [SC-173078][sql] Compatibilidad con mostrar la sintaxis de columnas en la tabla v2
• [SPARK-49141] [SC-173388][sql] Marcar la variante como tipo de datos incompatible con Hive
• [SPARK-49059] [Cherry-Pick][15.x][SC-172528][connect] Mover SessionHolder.forTesting(...) al paquete de prueba
• [SPARK-49111] [SC-173661][sql] Mover withProjectAndFilter al objeto complementario de DataSourceV2Strategy
• [SPARK-49185] [SC-173688][ps][PYTHON][connect] Reimplementar gráfico kde con Spark SQL
• [SPARK-49178] [ SC-173673][sql] Optimizar el rendimiento de Row#getSeq para que coincida con el rendimiento al usar Spark 3.5 con Scala 2.12
• [SPARK-49093] [SC-172958][sql] GROUP BY con MapType anidado dentro de un tipo complejo
• [SPARK-49142] [SC-173469][connect][PYTHON] Reducir el nivel de registro de cliente de Spark Connect para depurar
• [SPARK-48761] [SC-172048][sql] Introducir la API clusterBy DataFrameWriter para Scala
• [SPARK-48346] [SC-173083][sql] Compatibilidad con instrucciones IF ELSE en scripts SQL
• [SPARK-48338] [SC-173112][sql] Mejorar las excepciones producidas por el analizador/intérprete
• [SPARK-48658] [ SC-169474][sql] Las funciones Codificar/Descodificar informan de errores de codificación en lugar de mojibake para caracteres que no se pueden mapear
• [SPARK-49071] [SC-172954][sql] Quitar el rasgo ArraySortLike
• [SPARK-49107] "Revertir "[SC-173103][sql] ROUTINE_ALREADY_EXISTS admite RoutineType""
• [SPARK-49070] [SC-172907][ss][SQL] TransformWithStateExec.initialState se reescribe incorrectamente para generar un plan de consulta no válido
• [SPARK-49114] [SC-173217] La subconsulta no puede cargar errores de almacén de estado
• [SPARK-49107] Revertir “[SC-173103][sql] ROUTINE_ALREADY_EXISTS admite RoutineType”
• [SPARK-49048] [ SC-173223][ss] Agregar compatibilidad para leer metadatos de operador pertinentes en un identificador de lote determinado
• [SPARK-49094] [SC-173049][sql] Corregir el mal funcionamiento de ignoreCorruptFiles en la implementación de hive orc con mergeSchema desactivado.
• [SPARK-49108] [SC-173102][ejemplo] Ejemplo de adición submit_pi.sh de la API REST
• [SPARK-49107] [SC-173103][sql] ROUTINE_ALREADY_EXISTS admite RoutineType
• [SPARK-48997] [SC-172484][ss] Implementación de descargas individuales para errores de subprocesos de grupo de subprocesos de mantenimiento
• [SPARK-49063] [SC-173094][sql] Corrección de Between con ScalarSubqueries
• [SPARK-45891] [SC-172305][sql][PYTHON][variant] Agregar compatibilidad con los tipos de intervalo en la especificación variant
• [SPARK-49074] [BEHAVE-110][sc-172815][SQL] Corrección de variante con df.cache()
• [SPARK-49003] [SC-172613][sql] Corregir el hash de ruta de acceso de código interpretado para que sea compatible con la intercalación
• [SPARK-48740] [SC-172430][sql] Error de especificación temprano de capturar ventana que falta
• [SPARK-48999] [SC-172245][ss] Dividir PythonStreamingDataSourceSimpleSuite
• [SPARK-49031] [SC-172602] Implementación de la validación para el operador TransformWithStateExec mediante OperatorStateMetadataV2
• [SPARK-49053] [SC-172494][python][ML] Hacer que las funciones auxiliares de guardar/cargar el modelo acepten la sesión de spark
• [SPARK-49032] [Backport][15.x][SS] Agregar ruta de acceso de esquema en la entrada de la tabla de metadatos, comprobar la versión esperada y agregar la prueba relacionada con los metadatos del operador para el formato de metadatos del operador v2
• [SPARK-49034] [SC-172306][core] Compatibilidad con el reemplazo de sparkProperties del lado servidor en la API de envío de REST
• [SPARK-48931] [SC-171895][ss] Reducir el costo de la API de lista de almacenes en la nube para la tarea de mantenimiento del almacén de estado
• [SPARK-48849] [ SC-172068][ss]Create OperatorStateMetadataV2 para el operador TransformWithStateExec
• [SPARK-49013] [SC-172322] Cambiar clave en collationsMap para tipos de mapa y matriz en scala
• [SPARK-48414] [SC-171884][python] Corrección del cambio importante en fromJson de Python
• [SPARK-48910] [SC-171001][sql] Usar HashSet/HashMap para evitar búsquedas lineales en PreprocessTableCreation
• [SPARK-49007] [SC-172204][core] Mejorar MasterPage para admitir el título personalizado
• [SPARK-49009] [SC-172263][sql][PYTHON] Hacer que las API de columna y las funciones acepten enumeraciones
• [SPARK-49033] [SC-172303][core] Compatibilidad con el reemplazo de environmentVariables del lado servidor en la API de envío de REST
• [SPARK-48363] [SC-166470][sql] Limpiar algunos códigos redundantes en from_xml
• [SPARK-46743] [SC-170867][sql][BEHAVE-84] Error de recuento después de que ScalarSubqery esté plegado si tiene una relación vacía
• [SPARK-49040] [SC-172351][sql] Corrección del documento sql-ref-syntax-aux-exec-imm.md
• [SPARK-48998] [SC-172212][ml] Algoritmos meta guardan/cargan modelo con SparkSession
• [SPARK-48959] [SC-171708][sql] Ampliar NoSuchNamespaceExceptionNoSuchDatabaseException para restaurar el control de excepciones
• [SPARK-48996] [SC-172130][sql][PYTHON] Permitir literales sin sistema para and y or de columna
• [SPARK-48990] [SC-171936] Seguimiento de #101759: corrección de pruebas
• [SPARK-48338] [SC-171912][sql] Comprobar declaraciones de variables
• [SPARK-48990] [SC-171936][sql] Palabras clave de sintaxis SQL relacionadas con variables unificadas
• [SPARK-48988] [ SC-171915][ml] Realizar DefaultParamsReader/Writer el control de metadatos con la sesión de Spark
• [SPARK-48974] [ SC-171978][sql][SS][ml][MLLIB] Use SparkSession.implicits en lugar de SQLContext.implicits
• [SPARK-48760] [SC-170870][sql] Corregir el CatalogV2Util.applyClusterByChanges
• [SPARK-48928] [SC-171956] Advertencia de registro para llamar a .unpersist() en RDD de punto de control local
• [SPARK-48760] [SC-170139][sql] Introducir ALTER TABLE ... CLUSTER BY sintaxis SQL para cambiar columnas de agrupamiento
• [SPARK-48844] Revertir “[SC-170669][sql] USE INVALID_EMPTY_LOCATION en lugar de UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY cuando la ruta de acceso esté vacía”
• [SPARK-48833] [SC-171914][sql][VARIANT] Variante de compatibilidad en InMemoryTableScan
• [SPARK-48975] [ SC-171894][protobuf] Quitar la definición innecesaria ScalaReflectionLock de protobuf
• [SPARK-48970] [SC-171800][python][ML] Evite usar SparkSession.getActiveSession en el lector y escritor de Spark ML.
• [SPARK-48844] [SC-170669][sql] USE INVALID_EMPTY_LOCATION en lugar de UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY cuando la ruta de acceso esté vacía
• [SPARK-48714] [SC-170136] Corrección de pruebas df.mergeInto con errores en PySpark y UC
• [SPARK-48957] [SC-171797][ss] Devuelve una clase de error subclasificada al cargar el almacén de estado para el proveedor hdfs y rocksdb.
• [SPARK-48891] [Backport][15x][SC-171677][ss] Refactorizar StateSchemaCompatibilityChecker para unificar todos los formatos de esquema de estado
• [SPARK-48972] [SC-171795][python] Unificar el control de cadenas literales en las funciones
• [SPARK-48388] [SC-171337][sql] Corrección del comportamiento de la instrucción SET para scripts SQL
• [SPARK-48743] [ SC-170552][sql][SS] CombinarSessionIterator debe controlar mejor cuando getStruct devuelve null
• [SPARK-48623] [15.x][sc-171322][CORE] Migración de registros de FileAppender al registro estructurado
• [SPARK-36680] [DBRRM-1123] Revertir "[SC-170640][sql] Admite opciones de tabla dinámica para Spark SQL".
• [SPARK-48841] [SC-170868][behave-83][SQL] Incluir collationName a sql() de Collate
• [SPARK-48941] [SC-171703][python][ML] Reemplace la invocación de la API de lectura y escritura de RDD por la de lectura/escritura de DataFrame.
• [SPARK-48938] [SC-171577][python] Mejorar los mensajes de error al registrar UDTF de Python
• [SPARK-48350] [SC-171040][sql] Introducción de excepciones personalizadas para scripting SQL
• [SPARK-48907] [SC-171158][sql] Corregir el valor explicitTypes en COLLATION_MISMATCH.EXPLICIT
• [SPARK-48945] [ SC-171658][python] Simplificar las funciones regex con lit
• [SPARK-48944] [ SC-171576][connect] Unificar el control de esquemas de formato JSON en Connect Server
• [SPARK-48836] [SC-171569] Integración del esquema SQL con el esquema o metadatos de estado
• [SPARK-48946] [SC-171504][sql] NPE en el método de redacción cuando session es null
• [SPARK-48921] [SC-171412][sql] Los codificadores ScalaUDF en subconsulta deben resolverse para MergeInto
• [SPARK-45155] [SC-171048][connect] Agregar documentos de API para el cliente JVM/Scala de Spark Connect
• [SPARK-48900] [SC-171319] Agregar reason campo para cancelJobGroup y cancelJobsWithTag
• [SPARK-48865] [SC-171154][sql] Agregar try_url_decode función
• [SPARK-48851] [SC-170767][sql] Cambiar el valor de SCHEMA_NOT_FOUND de a namespacecatalog.namespace
• [SPARK-48510] [SC-170893][2/2] Compatibilidad con la API de UDAF toColumn en Spark Connect
• [SPARK-45190] [SC-171055][spark-48897][PYTHON][connect] Hacer que from_xml admita un esquema de StructType
• [SPARK-48930] [SC-171304][core] Tachar awsAccessKeyId incluyendo el patrón accesskey
• [SPARK-48909] [ SC-171080][ml][MLLIB] Usa SparkSession sobre SparkContext al escribir metadatos
• [SPARK-48883] [SC-171133][ml][R] Reemplazar la invocación de la API de lectura y escritura de RDD por la API de lectura y escritura de DataFrame
• [SPARK-48924] [SC-171313][ps] Agregar una función auxiliar parecida a make_interval pandas
• [SPARK-48884] [SC-171051][python] Quitar la función auxiliar sin usar PythonSQLUtils.makeInterval
• [SPARK-48817] [SC-170636][sql] Ejecución diligente de comandos múltiples de unión juntos
• [SPARK-48896] [SC-171079][ml][MLLIB] Evitar la repartición al escribir los metadatos
• [SPARK-48892] [SC-171127][ml] Evitar la lectura de parámetros por fila en Tokenizer
• [SPARK-48927] [SC-171227][core] Mostrar el número de RDD almacenados en caché en StoragePage
• [SPARK-48886] [15.x][backport][SC-171039][ss] Agregar información de versión a changelog v2 para permitir una evolución más sencilla
• [SPARK-48903] [SC-171136][ss] Establecer la última versión de instantánea de RocksDB correctamente en la carga remota
• [SPARK-48742] [ SC-170538][ss] Familia de columnas virtuales para RocksDB
• [SPARK-48726] [15.x][sc-170753][SS] Crear el formato de archivo StateSchemaV3 y escribirlo para el operador TransformWithStateExec
• [SPARK-48794] [SC-170882][connect][15.x] df.mergeInto compatible con Spark Connect (Scala y Python)
• [SPARK-48714] [ SC-170136][python] Implementar DataFrame.mergeInto en PySpark
• [SPARK-48772] [SC-170642][ss][SQL] Modo lector de fuente de cambios de origen de datos de estado
• [SPARK-48666] [SC-170887][sql] No inserte el filtro si contiene PythonUDFs
• [SPARK-48845] [SC-170889][sql] Excepciones catch GenericUDF de children
• [SPARK-48880] [SC-170974][core] Evite lanzar NullPointerException si el controlador no logra inicializarse.
• [SPARK-48888] [Backport][15x][SC-170973][ss] Eliminar la creación de instantáneas basada en el tamaño de las operaciones de registro de cambios
• [SPARK-48871] [SC-170876] Corrección de la validación de EXPRESIONES_NO_DETERMINÍSTICAS_INVALIDAS en...
• [SPARK-48883] [SC-170894][ml][R] Reemplace la invocación de la API de lectura/escritura de RDD con la API de lectura/escritura de Dataframe
• [SPARK-36680] [SC-170640][sql] Admite opciones de tabla dinámica para Spark SQL
• [SPARK-48804] [SC-170558][sql] Agregar classIsLoadable & OutputCommitter.isAssignableFrom para verificar las configuraciones de la clase del confirmador de salida
• [SPARK-46738] [SC-170791][python] Volver a habilitar un grupo de doctests
• [SPARK-48858] [SC-170756][python] Quitar la llamada de método setDaemon en desuso de Thread en log_communication.py
• [SPARK-48639] [SC-169801][connect][PYTHON] Agregar origen a RelationCommon
• [SPARK-48863] [SC-170770][es-1133940][SQL] Corregir ClassCastException al analizar JSON con "spark.sql.json.enablePartialResults" habilitado
• [SPARK-48343] [SC-170450][sql] Introducción al intérprete de scripting de SQL
• [SPARK-48529] [SC-170755][sql] Introducir las etiquetas en scripting SQL
• [SPARK-45292] Reversión de "[SC-151609][sql][HIVE] Eliminación de Guava de las clases compartidas de IsolatedClientLoader"
• [SPARK-48037] [SC-165330][core][3.5] Corregir que SortShuffleWriter carezca de métricas relacionadas con escritura aleatoria, lo que da lugar a datos potencialmente inexactos
• [SPARK-48720] [SC-170551][sql] Alinear el comando ALTER TABLE ... UNSET TBLPROPERTIES ... en v1 y v2
• [SPARK-48485] [ SC-167825][connect][SS] Admite interruptTag e interruptAll en consultas de streaming
• [SPARK-45292] [SC-151609][sql][HIVE] Eliminar Guava de las clases compartidas de IsolatedClientLoader
• [SPARK-48668] [SC-169815][sql] Compatibilidad con ALTER NAMESPACE ... PROPIEDADES NO ESTABLECIDAS en v2
• [SPARK-47914] [SC-165313][sql] No mostrar el parámetro splits en Range
• [SPARK-48807] [SC-170643][sql] Compatibilidad binaria con el origen de datos CSV
• [SPARK-48220] [SC-167592][python][15.X] Permitir pasar la tabla PyArrow para crearDataFrame()
• [SPARK-48545] [SC-169543][sql] Crear to_avro y from_avro funciones SQL para que coincidan con los equivalentes de DataFrame
• [SPARK-47577] [ SC-168875][spark-47579] Corrección del uso engañoso de la clave de registro TASK_ID

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Entorno del sistema

• sistema operativo: Ubuntu 24.04.1 LTS
• Java: Zulu17.50+19-CA
• Scala: 2.12.15
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.2.1

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de paquetes dePositiv en 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/.

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.12)