Databricks Runtime 12.1 (EoS)

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 12.1, impulsado por Apache Spark 3.3.1.

Databricks publicó esta versión en enero de 2023.

Nuevas características y mejoras

• Características de tablas de Delta Lake compatibles con la administración de protocolos
• La E/S predictiva para actualizaciones está en versión preliminar pública
• Explorador de catálogo ya está disponible para todas las personas
• Compatibilidad con varios operadores con estado en una sola consulta de streaming
• La compatibilidad con búferes de protocolo está en versión preliminar pública.
• Compatibilidad con la autenticación del registro de esquema de Confluent
• Compatibilidad con el historial de tablas compartidas con recursos compartidos de Delta Sharing
• Compatibilidad de streaming con recursos compartidos de Delta Sharing
• La versión de tabla que usa la marca de tiempo ahora se admite para las tablas de uso compartido de Delta en catálogos
• Compatibilidad con WHEN NOT MATCHED BY SOURCE para MERGE INTO
• Recopilación de estadísticas optimizadas para CONVERT TO DELTA
• Soporte de Unity Catalog para deshacer tablas

Características de tablas de Delta Lake compatibles con la administración de protocolos

Azure Databricks ha introducido compatibilidad con las características de tabla de Delta Lake, que presentan marcas granulares que especifican qué características son compatibles con una tabla determinada. Consulte Compatibilidad y protocolos de características de Delta Lake.

La E/S predictiva para actualizaciones está en versión preliminar pública

La E/S predictiva ahora acelera las operaciones DELETE, MERGE y UPDATE para las tablas Delta con vectores de eliminación habilitados en el proceso habilitado para Photon. Consulte ¿Qué es la E/S predictiva?.

El Explorador de catálogos ahora está disponible para todos los usuarios

Explorador de catálogo ya está disponible para todos los roles de Azure Databricks al usar Databricks Runtime 7.3 LTS y versiones posteriores.

Compatibilidad con varios operadores con estado en una sola consulta de streaming

Los usuarios ahora pueden encadenar operadores con estado con el modo de anexión en consultas de streaming. No todos los operadores son totalmente compatibles. Conectar al intervalo de tiempo de secuencia-secuencia y flatMapGroupsWithState no permite que otros operadores con estado se encadenen.

La compatibilidad con búferes de protocolo está en versión preliminar pública.

Puede usar las funciones from_protobuf y to_protobuf para intercambiar datos entre tipos binarios y struct. Consulte Búferes de protocolo de lectura y escritura.

Soporte para la autenticación del Confluent Schema Registry.

La integración de Azure Databricks con Confluent Schema Registry ahora admite direcciones externas del registro de esquema con autenticación. Esta característica está disponible para las funciones from_avro, to_avro, from_protobufy to_protobuf. Consulte Protobuf o Avro.

Compatibilidad con el historial de tablas compartidas con recursos compartidos de Delta Sharing

Ahora puedes compartir una tabla con todo su historial mediante Delta Sharing, permitiendo a los destinatarios realizar consultas de viaje en el tiempo y consultar la tabla usando el flujo estructurado de Spark. WITH HISTORY se recomienda en lugar de CHANGE DATA FEED, aunque este último sigue siendo compatible. Consulte ALTER SHARE y Agregar tablas a un recurso compartido.

Compatibilidad de streaming con recursos compartidos de Delta Sharing

El flujo estructurado de Spark ahora funciona con el formato deltasharing en tablas Delta Sharing de origen que se hayan compartido mediante WITH HISTORY.

La versión de tabla que usa la marca de tiempo ahora se admite para las tablas de uso compartido de Delta en catálogos

Ahora puede usar la sintaxis TIMESTAMP AS OF SQL en sentencias SELECT para especificar la versión de una tabla Delta Sharing montada en un catálogo. Las tablas deben compartirse mediante WITH HISTORY.

Compatibilidad con WHEN NOT MATCHED BY SOURCE para MERGE INTO

Ahora puede agregar cláusulas WHEN NOT MATCHED BY SOURCE a MERGE INTO para actualizar o eliminar filas de la tabla elegida que no tienen coincidencias en la tabla de origen en función de la condición de combinación. La nueva cláusula está disponible en SQL, Python, Scala y Java. Consulte MERGE INTO.

Recopilación de estadísticas optimizadas para CONVERT TO DELTA

La recopilación de estadísticas de la operación CONVERT TO DELTA ahora es mucho más rápida. Esto reduce el número de cargas de trabajo que pueden usar NO STATISTICS para mejorar la eficacia.

Soporte de Unity Catalog para deshacer tablas

Esta función se lanzó inicialmente en la versión preliminar pública. Es GA a partir del 25 de octubre de 2023.

Ahora puede no quitar una tabla externa o administrada eliminada en un esquema existente en un plazo de siete días después de quitarla. Vea UNDROP y SHOW TABLES DROPPED.

Actualizaciones de bibliotecas

• Bibliotecas de Python actualizadas:
  • filelock: de 3.8.0 a 3.8.2
  • platformdirs: de 2.5.4 a 2.6.0
  • setuptools: de 58.0.4 a 61.2.0
• Bibliotecas de R actualizadas:
• Bibliotecas de Java actualizadas:
  • io.delta.delta-sharing-spark_2.12: de 0.5.2 a 0.6.2
  • org.apache.hive.hive-storage-api: de 2.7.2 a 2.8.1
  • org.apache.parquet.parquet-column: de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-common: de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-encoding: de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-format-structures: desde 1.12.3-databricks-0001 hasta 1.12.3-databricks-0002
  • org.apache.parquet.parquet-hadoop: de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-jackson: de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.tukaani.xz: de 1.8 a 1.9

Apache Spark

Databricks Runtime 12.1 incluye Apache Spark 3.3.1. Esta versión incluye todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 12.0 (EoS), junto con las siguientes correcciones de errores y mejoras adicionales de Spark:

• [SPARK-41405] [SC-119769][12.1.0] Revertir "[SC-119411][sql] Centralizar la lógica de resolución de columnas" y "[SC-117170][spark-41338][SQL] Resolver referencias externas y columnas normales en el mismo lote del analizador"
• [SPARK-41405] [SC-119411][sql] Centralizar la lógica de resolución de columnas
• [SPARK-41859] [ SC-119514][sql] CreateHiveTableAsSelectCommand debe establecer correctamente el indicador de sobrescritura.
• [SPARK-41659] [SC-119526][connect][12.X] Habilitar doctests en pyspark.sql.connect.readwriter
• [SPARK-41858] [SC-119427][sql] Corrección de la regresión de perf del lector ORC debido a la característica de valor DEFAULT
• [SPARK-41807] [SC-119399][core] Quitar la clase de error no existente: UNSUPPORTED_FEATURE.DISTRIBUTE_BY
• [SPARK-41578] [12.x][sc-119273][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_2141
• [SPARK-41571] [SC-119362][sql] Asignar nombre a _LEGACY_ERROR_TEMP_2310
• [SPARK-41810] [SC-119373][connect] Inferir nombres de una lista de diccionarios en SparkSession.createDataFrame
• [SPARK-40993] [SC-119504][spark-41705][CONNECT][12.x] Trasladar la documentación y el script de Spark Connect a dev/ y la documentación de Python
• [SPARK-41534] [ SC-119456][connect][SQL][12.x] Configuración del módulo de cliente inicial para Spark Connect
• [SPARK-41365] [SC-118498][ui][3.3] La página de interfaz de usuario de fases no se puede cargar para el proxy en un entorno específico de yarn
• [SPARK-41481] [ SC-118150][core][SQL] Reutilización INVALID_TYPED_LITERAL en lugar de _LEGACY_ERROR_TEMP_0020
• [SPARK-41049] [SC-119305][sql] Reexaminar la gestión de expresiones de estado
• [SPARK-41726] [SC-119248][sql] Eliminar OptimizedCreateHiveTableAsSelectCommand
• [SPARK-41271] [ SC-118648][sc-118348][SQL] Admite consultas SQL parametrizadas por sql()
• [SPARK-41066] [SC-119344][connect][PYTHON] Implementar DataFrame.sampleBy y DataFrame.stat.sampleBy
• [SPARK-41407] [SC-119402][sc-119012][SQL][all tests] Extraer escritura v1 en WriteFiles
• [SPARK-41565] [SC-118868][sql] Agregar la clase de error UNRESOLVED_ROUTINE
• [SPARK-41668] [ SC-118925][sql] La función DECODE devuelve resultados incorrectos cuando se pasa NULL
• [SPARK-41554] [SC-119274] corregir el cambio de escala decimal cuando la escala disminuye en m…
• [SPARK-41065] [SC-119324][connect][PYTHON] Implementar DataFrame.freqItems y DataFrame.stat.freqItems
• [SPARK-41742] [SC-119404][spark-41745][CONNECT][12.x] Volver a activar las pruebas documentales y añadir el alias de columna que falta al recuento()
• [SPARK-41069] [SC-119310][connect][PYTHON] Implementar DataFrame.approxQuantile y DataFrame.stat.approxQuantile
• [SPARK-41809] [SC-119367][connect][PYTHON] Hacer que la función from_json sea compatible con el esquema de tipo de dato (DataType Schema)
• [SPARK-41804] [SC-119382][sql] Elegir el tamaño de elemento correcto en InterpretedUnsafeProjection para la matriz de UDT
• [SPARK-41786] [SC-119308][connect][PYTHON] Deduplicar funciones auxiliares
• [SPARK-41745] [SC-119378][spark-41789][12.X] Hacer que createDataFrame soporte listas de filas
• [SPARK-41344] [ SC-119217][sql] Hacer que el error sea más claro cuando la tabla no se encuentra en el catálogo SupportsCatalogOptions
• [SPARK-41803] [SC-119380][connect][PYTHON] Agregar función que falta log(arg1, arg2)
• [SPARK-41808] [SC-119356][connect][PYTHON] Hacer que las funciones JSON admitan opciones
• [SPARK-41779] [SC-119275][spark-41771][CONNECT][python] Hacer que __getitem__ admita filtros y selecciones.
• [SPARK-41783] [SC-119288][spark-41770][CONNECT][python] Hacer que la columna op admita None
• [SPARK-41440] [ SC-119279][connect][PYTHON] Evite el operador de caché para el ejemplo general.
• [SPARK-41785] [SC-119290][connect][PYTHON] Implementar GroupedData.mean
• [SPARK-41629] [SC-119276][connect] Compatibilidad con extensiones de protocolo en relación y expresión
• [SPARK-41417] [SC-118000][core][SQL] Cambiar el nombre _LEGACY_ERROR_TEMP_0019 a INVALID_TYPED_LITERAL
• [SPARK-41533] [SC-119342][connect][12.X] Control de errores adecuado para spark Connect Server/Client
• [SPARK-41292] [SC-119357][connect][12.X] Ventana de compatibilidad en el espacio de nombres pyspark.sql.window
• [SPARK-41493] [SC-119339][connect][PYTHON] Hacer que las funciones csv admitan opciones
• [SPARK-39591] [ SC-118675][ss] Seguimiento de progreso asincrónico
• [SPARK-41767] [SC-119337][connect][PYTHON] [12.x] Implementar Column.{withField, dropFields}
• [SPARK-41068] [SC-119268][connect][PYTHON] Implementar DataFrame.stat.corr
• [SPARK-41655] [SC-119323][connect][12.X] Habilitar doctests en pyspark.sql.connect.column
• [SPARK-41738] [SC-119170][connect] Mezclar ClientId en caché SparkSession
• [SPARK-41354] [SC-119194][connect] Agregar RepartitionByExpression a proto
• [SPARK-41784] [SC-119289][connect][PYTHON] Agregar función que falta __rmod__ en Columna
• [SPARK-41778] [SC-119262][sql] Agregar un alias "reduce" a ArrayAggregate
• [SPARK-41067] [SC-119171][connect][PYTHON] Implementar DataFrame.stat.cov
• [SPARK-41764] [SC-119216][connect][PYTHON] Hacer que el nombre de operación de cadena interna sea coherente con FunctionRegistry
• [SPARK-41734] [SC-119160][connect] Agregar un mensaje primario para el catálogo
• [SPARK-41742] [SC-119263] Admitir df.groupBy().agg({“*”:”count”})
• [SPARK-41761] [SC-119213][connect][PYTHON] Corregir operaciones aritméticas: __neg__, , __pow__, __rpow__
• [SPARK-41062] [ SC-118182][sql] Cambiar el nombre UNSUPPORTED_CORRELATED_REFERENCE a CORRELATED_REFERENCE
• [SPARK-41751] [SC-119211][connect][PYTHON] Corrección Column.{isNull, isNotNull, eqNullSafe}
• [SPARK-41728] [SC-119164][connect][PYTHON][12.x] Implementar la función unwrap_udt
• [SPARK-41333] [SC-119195][spark-41737] Implementar GroupedData.{min, max, avg, sum}
• [SPARK-41751] [ SC-119206][connect][PYTHON] Corrección Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
• [SPARK-41631] [SC-101081][sql] Admite la resolución implícita de alias de columna lateral en Agregado
• [SPARK-41529] [SC-119207][connect][12.X] Implementar SparkSession.stop
• [SPARK-41729] [ SC-119205][core][SQL][12.x] Cambiar nombre _LEGACY_ERROR_TEMP_0011 a UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
• [SPARK-41717] [SC-119078][connect][12.X] Deduplicar impresión y repr_html en LogicalPlan
• [SPARK-41740] [SC-119169][connect][PYTHON] Implementar Column.name
• [SPARK-41733] [ SC-119163][sql][SS] Aplicar la eliminación basada en patrones de árbol para la regla ResolveWindowTime
• [SPARK-41732] [SC-119157][sql][SS] Aplicar la poda basada en patrones de árbol para la regla SessionWindowing
• [SPARK-41498] [SC-119018] Propagación de metadatos a través de Union
• [SPARK-41731] [SC-119166][connect][PYTHON][12.x] Implementar el accesor de columna
• [SPARK-41736] [SC-119161][connect][PYTHON] pyspark_types_to_proto_types debe admitir ArrayType
• [SPARK-41473] [SC-119092][connect][PYTHON] Implementar format_number función
• [SPARK-41707] [SC-119141][connect][12.X] Implementación de la API de catálogo en Spark Connect
• [SPARK-41710] [SC-119062][connect][PYTHON] Implementar Column.between
• [SPARK-41235] [ SC-119088][sql][PYTHON]Función de orden superior: implementación de array_compact
• [SPARK-41518] [SC-118453][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_2422
• [SPARK-41723] [SC-119091][connect][PYTHON] Implementar sequence función
• [SPARK-41703] [SC-119060][connect][PYTHON] Combine NullType y typed_null en literal
• [SPARK-41722] [SC-119090][connect][PYTHON] Implementar tres funciones de ventana de tiempo que faltan
• [SPARK-41503] [SC-119043][connect][PYTHON] Implementar funciones de transformación de partición
• [SPARK-41413] [SC-118968][sql] Evitar orden aleatorio en Storage-Partitioned Join cuando las claves de partición no coinciden, pero las expresiones de combinación son compatibles
• [SPARK-41700] [SC-119046][connect][PYTHON] Quitar FunctionBuilder
• [SPARK-41706] [SC-119094][connect][PYTHON] pyspark_types_to_proto_types debe admitir MapType
• [SPARK-41702] [SC-119049][connect][PYTHON] Agregar operaciones de columna no válidas
• [SPARK-41660] [SC-118866][sql] Solo propaga columnas de metadatos si se usan
• [SPARK-41637] [SC-119003][sql] ORDER BY ALL
• [SPARK-41513] [SC-118945][sql] Implementar un acumulador para recopilar métricas de recuento de filas por mapeador
• [SPARK-41647] [SC-119064][connect][12.X] Deduplicar docstrings en pyspark.sql.connect.functions
• [SPARK-41701] [SC-119048][SPARK-41770][connect][PYTHON] Hacer que la columna op admita decimal
• [SPARK-41383] [ SC-119015][spark-41692][SPARK-41693] Implementar rollup, cube y pivot
• [SPARK-41635] [SC-118944][sql] GROUP BY ALL
• [SPARK-41645] [SC-119057][connect][12.X] Deduplicar docstrings en pyspark.sql.connect.dataframe
• [SPARK-41688] [SC-118951][connect][PYTHON] Mover expresiones a expressions.py
• [SPARK-41687] [SC-118949][connect] Eliminar duplicados de docstrings en pyspark.sql.connect.group
• [SPARK-41649] [SC-118950][connect] Deduplicar docstrings en pyspark.sql.connect.window
• [SPARK-41681] [SC-118939][connect] Factor GroupedData out para group.py
• [SPARK-41292] [SC-119038][spark-41640][SPARK-41641][connect][PYTHON][12.x] Implementar Window funciones
• [SPARK-41675] [SC-119031][sc-118934][CONNECT][python][12.X] Hacer que la columna op admita datetime
• [SPARK-41672] [SC-118929][connect][PYTHON] Habilitar las funciones en desuso
• [SPARK-41673] [SC-118932][connect][PYTHON] Implementar Column.astype
• [SPARK-41364] [SC-118865][connect][PYTHON] Implementar broadcast función
• [SPARK-41648] [SC-118914][connect][12.X] Deduplicar docstrings en pyspark.sql.connect.readwriter
• [SPARK-41646] [SC-118915][connect][12.X] Eliminar docstrings duplicados en pyspark.sql.connect.session
• [SPARK-41643] [SC-118862][connect][12.X] Deduplicar docstrings en pyspark.sql.connect.column
• [SPARK-41663] [ SC-118936][connect][PYTHON][12.x] Implementar el resto de funciones lambda
• [SPARK-41441] [SC-118557][sql] Compatibilidad con generar sin ninguna salida secundaria necesaria para hospedar referencias externas
• [SPARK-41669] [SC-118923][sql] Eliminación temprana en canCollapseExpressions
• [SPARK-41639] [SC-118927][sql][PROTOBUF] : Eliminar ScalaReflectionLock de SchemaConverters
• [SPARK-41464] [SC-118861][connect][PYTHON] Implementar DataFrame.to
• [SPARK-41434] [SC-118857][connect][PYTHON] Implementación inicial LambdaFunction
• [SPARK-41539] [SC-118802][sql] Reasignar estadísticas y restricciones frente a la salida en el plan lógico para LogicalRDD
• [SPARK-41396] [ SC-118786][sql][PROTOBUF] Compatibilidad con campos OneOf y comprobaciones de recursividad
• [SPARK-41528] [ SC-118769][connect][12.X] Unificar el espacio de nombres de Spark Connect y la API de PySpark
• [SPARK-41568] [SC-118715][sql] Asignar nombre a _LEGACY_ERROR_TEMP_1236
• [SPARK-41440] [SC-118788][connect][PYTHON] Implementar DataFrame.randomSplit
• [SPARK-41583] [ SC-118718][sc-118642][CONNECT][protobuf] Agregar Spark Connect y protobuf a setup.py con la especificación de dependencias
• [SPARK-27561] [SC-101081][12.x][SQL] Admite la resolución implícita de alias de columna lateral en Project
• [SPARK-41535] [SC-118645][sql] Establecer null correctamente para los campos de intervalo de calendario en InterpretedUnsafeProjection y InterpretedMutableProjection
• [SPARK-40687] [SC-118439][sql] Compatibilidad con la función integrada de enmascaramiento de datos 'mask'
• [SPARK-41520] [ SC-118440][sql] Dividir el patrón de árbol AND_OR para separar los patrones de árbol AND y OR
• [SPARK-41349] [SC-118668][connect][PYTHON] Implementar DataFrame.hint
• [SPARK-41546] [ SC-118541][connect][PYTHON] pyspark_types_to_proto_types debe admitir StructType.
• [SPARK-41334] [SC-118549][connect][PYTHON] Trasladar SortOrder proto de relaciones a expresiones
• [SPARK-41387] [SC-118450][ss] Aserción del desplazamiento final actual desde el origen de datos de Kafka para Trigger.AvailableNow
• [SPARK-41508] [ SC-118445][core][SQL] Cambiar el nombre _LEGACY_ERROR_TEMP_1180 a UNEXPECTED_INPUT_TYPE y quitar _LEGACY_ERROR_TEMP_1179
• [SPARK-41319] [SC-118441][connect][PYTHON] Implementar Column.{when, otherwise} y Function when con UnresolvedFunction
• [SPARK-41541] [SC-118460][sql] Corrección de la llamada al método secundario incorrecto en SQLShuffleWriteMetricsReporter.decRecordsWritten()
• [SPARK-41453] [SC-118458][connect][PYTHON] Implementar DataFrame.subtract
• [SPARK-41248] [ SC-118436][sc-118303][SQL] Agregar "spark.sql.json.enablePartialResults" para habilitar o deshabilitar resultados parciales json
• [SPARK-41437] Revertir "[SC-117601][sql] No optimice la consulta de entrada dos veces para la reserva de escritura v1"
• [SPARK-41472] [SC-118352][connect][PYTHON] Implementar el resto de funciones binarias o de cadena
• [SPARK-41526] [SC-118355][connect][PYTHON] Implementar Column.isin
• [SPARK-32170] [SC-118384] [CORE] Mejore la especulación mediante las métricas de tareas de fase.
• [SPARK-41524] [SC-118399][ss] Diferenciar SQLConf y extraOptions en StateStoreConf para su uso en RocksDBConf
• [SPARK-41465] [SC-118381][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1235
• [SPARK-41511] [SC-118365][sql] LongToUnsafeRowMap admite ignoresDuplicatedKey
• [SPARK-41409] [SC-118302][core][SQL] Cambiar el nombre _LEGACY_ERROR_TEMP_1043 a WRONG_NUM_ARGS.WITHOUT_SUGGESTION
• [SPARK-41438] [SC-118344][connect][PYTHON] Implementar DataFrame.colRegex
• [SPARK-41437] [SC-117601][sql] No optimice la consulta de entrada dos veces para la reserva de escritura v1
• [SPARK-41314] [SC-117172][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1094
• [SPARK-41443] [SC-118004][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1061
• [SPARK-41506] [SC-118241][connect][PYTHON] Refactorizar LiteralExpression para que admita DataType
• [SPARK-41448] [SC-118046] Estandarizar los identificadores de trabajos MR en FileBatchWriter y FileFormatWriter
• [SPARK-41456] [SC-117970][sql] Mejorar el rendimiento de try_cast
• [SPARK-41495] [SC-118125][connect][PYTHON] Implementar las funciones collection: P~Z
• [SPARK-41478] [ SC-118167][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1234
• [SPARK-41406] [SC-118161][sql] Reestructurar el mensaje de error de NUM_COLUMNS_MISMATCH para que sea más genérico
• [SPARK-41404] [SC-118016][sql] Reestructurar ColumnVectorUtils#toBatch para que ColumnarBatchSuite#testRandomRows compruebe un dataType más primitivo
• [SPARK-41468] [SC-118044][sql] Corregir el manejo de PlanExpression en EquivalentExpressions
• [SPARK-40775] [SC-118045][sql] Corregir entradas de descripción duplicadas para exámenes de archivos V2
• [SPARK-41492] [SC-118042][connect][PYTHON] Implementación de funciones MISC
• [SPARK-41459] [SC-118005][sql] corregir que la salida del registro de operaciones del servidor thrift esté vacía.
• [SPARK-41395] [ SC-117899][sql] InterpretedMutableProjection debe usar setDecimal para establecer valores NULL para decimales en una fila no segura
• [SPARK-41376] [ SC-117840][core][3.3] Corrija la lógica de comprobación de Netty preferDirectBufs al iniciar el ejecutor
• [SPARK-41484] [ SC-118159][sc-118036][CONNECT][python][12.x] Implementar collection funciones: E~M
• [SPARK-41389] [ SC-117426][core][SQL] Reutilizar WRONG_NUM_ARGS en lugar de _LEGACY_ERROR_TEMP_1044
• [SPARK-41462] [SC-117920][sql] El tipo de fecha y marca de tiempo puede convertirse a TimestampNTZ
• [SPARK-41435] [SC-117810][sql] Modificar para llamar a invalidFunctionArgumentsError para curdate() cuando expressions no esté vacío
• [SPARK-41187] [SC-118030][core] LiveExecutor MemoryLeak en AppStatusListener cuando se produce ExecutorLost
• [SPARK-41360] [ SC-118083][core] Evite volver a registrar BlockManager si se ha perdido el ejecutor
• [SPARK-41378] [SC-117686][sql] Admitir estadísticas de columna en DS v2
• [SPARK-41402] [SC-117910][sql][CONNECT][12.x] Invalidar prettyName de StringDecode
• [SPARK-41414] [SC-118041][connect][PYTHON][12.x] Implementar funciones date/timestamp
• [SPARK-41329] [SC-117975][connect] Resolución de importaciones circulares en Spark Connect
• [SPARK-41477] [SC-118025][connect][PYTHON] Inferir correctamente el tipo de datos de enteros literales
• [SPARK-41446] [ SC-118024][connect][PYTHON][12.x] Hacer que createDataFrame sea compatible con el esquema y más tipos de conjunto de datos de entrada.
• [SPARK-41475] [SC-117997][connect] Corregir el error del comando lint-scala y la errata tipográfica
• [SPARK-38277] [SC-117799][ss] Borrar lote de escritura después de la confirmación del almacén de estado de RocksDB
• [SPARK-41375] [SC-117801][ss] Evitar que KafkaSourceOffset esté vacío
• [SPARK-41412] [SC-118015][connect] Implementar Column.cast
• [SPARK-41439] [SC-117893][connect][PYTHON] Implementar DataFrame.melt y DataFrame.unpivot
• [SPARK-41399] [SC-118007][sc-117474][CONNECT] Refactorizar pruebas relacionadas con columnas para test_connect_column
• [SPARK-41351] [SC-117957][sc-117412][CONNECT][12.x] Column debe admitir el operador !=
• [SPARK-40697] [SC-117806][sc-112787][SQL] Agregar relleno de caracteres de lectura para cubrir archivos de datos externos
• [SPARK-41349] [SC-117594][connect][12.X] Implementar DataFrame.hint
• [SPARK-41338] [SC-117170][sql] Resuelve referencias externas y columnas normales durante la misma fase de análisis
• [SPARK-41436] [SC-117805][connect][PYTHON] Implementar collection funciones: A~C
• [SPARK-41445] [SC-117802][connect] Implementar DataFrameReader.parquet
• [SPARK-41452] [ SC-117865][sql] to_char debe devolver null cuando el formato es NULL
• [SPARK-41444] [SC-117796][connect] Compatibilidad con read.json()
• [SPARK-41398] [SC-117508][sql] Flexibilización de las restricciones en las uniones con partición de almacenamiento cuando las claves de partición, tras el filtrado en tiempo de ejecución, no coinciden
• [SPARK-41228] [SC-117169][sql] Cambiar el nombre de & Mejorar el mensaje de error para COLUMN_NOT_IN_GROUP_BY_CLAUSE.
• [SPARK-41381] [SC-117593][connect][PYTHON] Implementar funciones count_distinct y sum_distinct
• [SPARK-41433] [SC-117596][connect] Hacer configurable Max Arrow BatchSize
• [SPARK-41397] [SC-117590][connect][PYTHON] Implementación de parte de funciones de cadena y binario
• [SPARK-41382] [SC-117588][connect][PYTHON] Implementar product función
• [SPARK-41403] [SC-117595][connect][PYTHON] Implementar DataFrame.describe
• [SPARK-41366] [ SC-117580][connect] DF.groupby.agg() debe ser compatible
• [SPARK-41369] [SC-117584][connect] Agregar conexión común a jar sombreado del servidor
• [SPARK-41411] [ SC-117562][ss] Corrección de errores de compatibilidad de marcas de agua del operador con varios estados
• [SPARK-41176] [SC-116630][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1042
• [SPARK-41380] [SC-117476][connect][PYTHON][12.x] Implementar funciones de agregación
• [SPARK-41363] [SC-117470][connect][PYTHON][12.x] Implementar funciones normales
• [SPARK-41305] [SC-117411][connect] Mejorar la documentación para el proto del comando
• [SPARK-41372] [SC-117427][connect][PYTHON] Implementar DataFrame TempView
• [SPARK-41379] [SC-117420][ss][PYTHON] Proporcionar una sesión de Spark clonada en DataFrame en la función de usuario para el receptor foreachBatch en PySpark
• [SPARK-41373] [SC-117405][sql][ERROR] Cambie el nombre de CAST_WITH_FUN_SUGGESTION a CAST_WITH_FUNC_SUGGESTION
• [SPARK-41358] [ SC-117417][sql] Método refactorizar ColumnVectorUtils#populate para usar PhysicalDataType en lugar de DataType
• [SPARK-41355] [SC-117423][sql] Solución alternativa para el problema de validación del nombre de tabla de Hive
• [SPARK-41390] [SC-117429][sql] Actualización del script usado para generar register la función en UDFRegistration
• [SPARK-41206] [SC-117233][sc-116381][SQL] Cambiar el nombre de la clase _LEGACY_ERROR_TEMP_1233 de error a COLUMN_ALREADY_EXISTS
• [SPARK-41357] [SC-117310][connect][PYTHON][12.x] Implementación de funciones matemáticas
• [SPARK-40970] [SC-117308][connect][PYTHON] Admitir List[Column] para Join's en argumento
• [SPARK-41345] [SC-117178][connect] Agregar sugerencia para conectar Proto
• [SPARK-41226] [ SC-117194][sql][12.x] Refactorizar tipos de Spark mediante la introducción de tipos físicos
• [SPARK-41317] [SC-116902][connect][PYTHON][12.x] Agregar compatibilidad básica con DataFrameWriter
• [SPARK-41347] [SC-117173][connect] Agregar conversión a la expresión proto
• [SPARK-41323] [SC-117128][sql] Compatibilidad con current_schema
• [SPARK-41339] [SC-117171][sql] Cerrar y volver a crear el lote de escritura de RocksDB en lugar de simplemente borrar
• [SPARK-41227] [SC-117165][connect][PYTHON] Implementar combinación cruzada de DataFrame
• [SPARK-41346] [ SC-117176][connect][PYTHON] Implementar funciones asc y desc
• [SPARK-41343] [SC-117166][connect] Mover el análisis de FunctionName al lado servidor
• [SPARK-41321] [SC-117163][connect] Campo de destino de soporte técnico para UnresolvedStar
• [SPARK-41237] [SC-117167][sql] Reutilizar la clase UNSUPPORTED_DATATYPE de error para _LEGACY_ERROR_TEMP_0030
• [SPARK-41309] [ SC-116916][sql] Reutilizar INVALID_SCHEMA.NON_STRING_LITERAL en lugar de _LEGACY_ERROR_TEMP_1093
• [SPARK-41276] [SC-117136][sql][ML][mllib][PROTOBUF][python][R][ss][AVRO] Optimizar el uso del constructor de StructType
• [SPARK-41335] [SC-117135][connect][PYTHON] Compatibilidad con IsNull e IsNotNull en columna
• [SPARK-41332] [SC-117131][connect][PYTHON] Corrección nullOrdering en SortOrder
• [SPARK-41325] [SC-117132][connect][12.X] Corregir la falta de avg() para GroupBy en DF
• [SPARK-41327] [ SC-117137][core] Corregir SparkStatusTracker.getExecutorInfos por switch On/OffHeapStorageMemory info
• [SPARK-41315] [SC-117129][connect][PYTHON] Implementar DataFrame.replace y DataFrame.na.replace
• [SPARK-41328] [SC-117125][connect][PYTHON] Agregar API lógica y de cadena a columna
• [SPARK-41331] [SC-117127][connect][PYTHON] Agregar orderBy y drop_duplicates
• [SPARK-40987] [ SC-117124][core] BlockManager#removeBlockInternal debe asegurarse de que el bloqueo se desbloquea correctamente.
• [SPARK-41268] [SC-117102][sc-116970][CONNECT][python] Refactorizar "Column" para compatibilidad con la API
• [SPARK-41312] [SC-116881][connect][PYTHON][12.x] Implementar DataFrame.withColumnRenamed
• [SPARK-41221] [SC-116607][sql] Agregar la clase de error INVALID_FORMAT
• [SPARK-41272] [SC-116742][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_2019
• [SPARK-41180] [ SC-116760][sql] Reutilizar INVALID_SCHEMA en lugar de _LEGACY_ERROR_TEMP_1227
• [SPARK-41260] [SC-116880][python][SS][12.x] Convertir instancias de NumPy a tipos primitivos de Python en la actualización de GroupState
• [SPARK-41174] [SC-116609][core][SQL] Propagar una clase de error a los usuarios para format no válido de to_binary()
• [SPARK-41264] [SC-116971][connect][PYTHON] Hacer que Literal admita más tipos de datos
• [SPARK-41326] [SC-116972] [CONNECT] Falta entrada en corregir deduplicación
• [SPARK-41316] [SC-116900][sql] Habilite la recursividad de cola siempre que sea posible.
• [SPARK-41297] [SC-116931] [CONNECT] [PYTHON] Admitir expresiones de cadena en el filtro.
• [SPARK-41256] [SC-116932][sc-116883][CONNECT] Implementar DataFrame.withColumn(s)
• [SPARK-41182] [SC-116632][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1102
• [SPARK-41181] [SC-116680][sql] Migrar los errores de opciones de mapeo a las clases de error.
• [SPARK-40940] [ SC-115993][12.x] Quitar comprobadores de operadores con estado múltiple para consultas de streaming.
• [SPARK-41310] [SC-116885][connect][PYTHON] Implementar el método DataFrame.toDF
• [SPARK-41179] [SC-116631][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1092
• [SPARK-41003] [SC-116741][sql] BHJ LeftAnti no actualiza numOutputRows cuando codegen está deshabilitado
• [SPARK-41148][SC-116878][connect][PYTHON] Implementar y DataFrame.dropna
• [SPARK-41217] [SC-116380][sql] Agregar la clase de error FAILED_FUNCTION_CALL
• [SPARK-41308] [SC-116875][connect][PYTHON] Mejorar DataFrame.count()
• [SPARK-41301] [SC-116786] [CONNECT] Homogeneizar el comportamiento de SparkSession.range()
• [SPARK-41306] [SC-116860][connect] Mejorar la documentación proto de expresiones de Connect
• [SPARK-41280] [SC-116733][connect] Implementar el método DataFrame.tail
• [SPARK-41300] [SC-116751] [CONNECT] El esquema sin establecer se interpreta como esquema
• [SPARK-41255] [SC-116730][sc-116695] [CONNECT] Cambiar el nombre de RemoteSparkSession
• [SPARK-41250] [SC-116788][sc-116633][CONNECT][python] DataFrame. toPandas no debe devolver dataframe de Pandas opcional
• [SPARK-41291] [SC-116738][connect][PYTHON] DataFrame.explain debe imprimir y devolver Ninguno
• [SPARK-41278] [SC-116732][connect] Limpiar QualifiedAttribute in Expression.proto sin utilizar
• [SPARK-41097] [SC-116653][core][SQL][ss][PROTOBUF] Eliminar la conversión redundante de colecciones basada en el código de Scala 2.13
• [SPARK-41261] [SC-116718][python][SS] Corrección del problema para applyInPandasWithState cuando las columnas de claves de agrupación no se colocan en orden desde el primer momento
• [SPARK-40872] [SC-116717][3.3] Volver al bloque de shuffle original cuando un fragmento de shuffle combinado por push es de tamaño cero.
• [SPARK-41114] [SC-116628][connect] Compatibilidad con datos locales para LocalRelation
• [SPARK-41216] [SC-116678][connect][PYTHON] Implementar DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
• [SPARK-41238] [SC-116670][connect][PYTHON] Compatibilidad con tipos de datos más integrados
• [SPARK-41230] [SC-116674][connect][PYTHON] Quitar str del tipo de expresión Aggregate
• [SPARK-41224] [ SC-116652][spark-41165][SPARK-41184][connect] Implementación optimizada de recopilación basada en flechas para transmitir desde el servidor al cliente
• [SPARK-41222] [SC-116625][connect][PYTHON] Unificar las definiciones de escritura
• [SPARK-41225] [SC-116623] [CONNECT] [PYTHON] Deshabilitar las funciones no admitidas.
• [SPARK-41201] [SC-116526][connect][PYTHON] Implemente DataFrame.SelectExpr en Python cliente
• [SPARK-41203] [SC-116258] [CONNECT] Admitir Dataframe.tansform en el cliente de Python.
• [SPARK-41213] [SC-116375][connect][PYTHON] Implementar DataFrame.__repr__ y DataFrame.dtypes
• [SPARK-41169] [SC-116378][connect][PYTHON] Implementar DataFrame.drop
• [SPARK-41172] [SC-116245][sql] Migre el error de referencia ambiguo a una clase de error.
• [SPARK-41122] [SC-116141][connect] Explain API puede admitir diferentes modos
• [SPARK-41209] [SC-116584][sc-116376][PYTHON] Mejorar la inferencia de tipos PySpark en el método _merge_type
• [SPARK-41196] [ SC-116555][sc-116179] [CONNECT] Homogeneice la versión de protobuf en el servidor de conexión de Spark para usar la misma versión principal.
• [SPARK-35531] [SC-116409][sql] Actualizar estadísticas de tabla de Hive sin necesidad de conversión
• [SPARK-41154] [SC-116289][sql] Almacenamiento en caché incorrecto de relaciones para consultas con especificación de viajes en el tiempo
• [SPARK-41212] [SC-116554][sc-116389][CONNECT][python] Implementar DataFrame.isEmpty
• [SPARK-41135] [SC-116400][sql] Cambiar el nombre UNSUPPORTED_EMPTY_LOCATION a INVALID_EMPTY_LOCATION
• [SPARK-41183] [SC-116265][sql] Agregar una API de extensión para planear la normalización del almacenamiento en caché
• [SPARK-41054] [SC-116447][ui][CORE] Soporte para RocksDB como KVStore en la interfaz de usuario en tiempo real
• [SPARK-38550] [SC-115223]Revert "[SQL][core] Usar un almacén basado en disco para guardar más información de depuración para la interfaz de usuario activa"
• [SPARK-41173] [SC-116185][sql] Eliminar require() de los compiladores de expresiones de cadena
• [SPARK-41188] [ SC-116242][core][ML] Establezca executorEnv OMP_NUM_THREADS como spark.task.cpus de forma predeterminada para los procesos JVM del ejecutor de Spark
• [SPARK-41130] [SC-116155][sql] Cambiar el nombre OUT_OF_DECIMAL_TYPE_RANGE a NUMERIC_OUT_OF_SUPPORTED_RANGE
• [SPARK-41175] [SC-116238][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1078
• [SPARK-41106] [SC-116073][sql] Reducir la conversión de colección al crear AttributeMap
• [SPARK-41139] [ SC-115983][sql] Mejorar la clase de error: PYTHON_UDF_IN_ON_CLAUSE
• [SPARK-40657] [SC-115997][protobuf] Requerir sombreado para jar de clase Java, mejorar el control de errores
• [SPARK-40999] [ SC-116168] Propagar sugerencias a subconsultas
• [SPARK-41017] [SC-116054][sql] Admitir la eliminación de columnas con varios filtros no deterministas
• [SPARK-40834] [SC-114773][sql] Usar SparkListenerSQLExecutionEnd para realizar un seguimiento del estado final de SQL en la interfaz de usuario
• [SPARK-41118] [ SC-116027][sql] to_number/try_to_number debe devolver null cuando el formato es null
• [SPARK-39799] [ SC-115984][sql] DataSourceV2: Ver interfaz de catálogo
• [SPARK-40665] [SC-116210][sc-112300][CONNECT] Evite insertar Spark Connect en la versión binaria de Apache Spark.
• [SPARK-41048] [ SC-116043][sql] Mejorar la creación de particiones de salida y la ordenación con caché de AQE
• [SPARK-41198] [SC-116256][ss] Corrección de métricas en la consulta en streaming teniendo CTE y DSv1 como fuentes de streaming.
• [SPARK-41199] [ SC-116244][ss] Corrección del problema de métricas cuando el origen de streaming DSv1 y el origen de streaming DSv2 se usan conjuntamente
• [SPARK-40957] [SC-116261][sc-114706] Agregar caché de memoria en HDFSMetadataLog
• [SPARK-40940] [ SC-115993][12.x] Quitar comprobadores de operadores con estado múltiple para consultas de streaming.”
• [SPARK-41090] [SC-116040][sql] Lanzar una excepción para db_name.view_name al crear una vista temporal mediante la Dataset API
• [SPARK-41133] [SC-116085][sql] Integrar UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION en NUMERIC_VALUE_OUT_OF_RANGE
• [SPARK-40557] [SC-116182][sc-111442][CONNECT] Confirmaciones del volcado de código 9
• [SPARK-40448] [SC-114447][sc-111314][CONNECT] Compilación de Spark Connect como complemento del controlador con dependencias sombreadas
• [SPARK-41096] [SC-115812][sql] Admitir lectura de parquet de tipo FIXED_LEN_BYTE_ARRAY
• [SPARK-41140] [SC-115879][sql] Cambiar el nombre de la clase _LEGACY_ERROR_TEMP_2440 de error a INVALID_WHERE_CONDITION
• [SPARK-40918] [ SC-114438][sql] Desajuste entre FileSourceScanExec y Orc y ParquetFileFormat al generar la salida en formato columnar
• [SPARK-41155] [SC-115991][sql] Agregar mensaje de error a SchemaColumnConvertNotSupportedException
• [SPARK-40940] [ SC-115993] Quitar comprobadores de operadores con estado múltiple para consultas de streaming.
• [SPARK-41098] [ SC-115790][sql] Cambiar el nombre GROUP_BY_POS_REFERS_AGG_EXPR a GROUP_BY_POS_AGGREGATE
• [SPARK-40755] [SC-115912][sql] Migrar errores de comprobación de tipos de formato numérico a clases de error
• [SPARK-41059] [ SC-115658][sql] Cambiar el nombre _LEGACY_ERROR_TEMP_2420 a NESTED_AGGREGATE_FUNCTION
• [SPARK-41044] [SC-115662][sql] Convertir DATATYPE_MISMATCH.UNSPECIFIED_FRAME a INTERNAL_ERROR
• [SPARK-40973] [SC-115132][sql] Cambiar el nombre _LEGACY_ERROR_TEMP_0055 a UNCLOSED_BRACKETED_COMMENT

Actualizaciones de mantenimiento

Consulte las actualizaciones de mantenimiento de Databricks Runtime 12.1.

Entorno del sistema

• Sistema operativo: Ubuntu 20.04.5 LTS
• Java: Zulu 8.64.0.19-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.2.2
• Delta Lake: 2.2.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN desde el 11-11-2022.

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.12)