Note di rilascio di Databricks Feature Store e del Workspace Feature Store legacy

Questa pagina elenca le versioni del client Databricks Feature Engineering nel Unity Catalog e del client Databricks Workspace Feature Store. Entrambi i client sono disponibili in PyPI: databricks-feature-engineering e databricks-feature-store.

Le librerie vengono usate per:

  • Creare, leggere e scrivere tabelle di caratteristiche.
  • Allenare i modelli sui dati delle caratteristiche.
  • Pubblicare tabelle delle caratteristiche nei negozi online per la disponibilità in tempo reale.

Per la documentazione sull'utilizzo, vedere Archivio funzionalità di Databricks. Per la documentazione dell'API Python, vedere API Python di progettazione delle funzionalità.

Il client di Feature Engineering in Unity Catalog funziona per le caratteristiche e le tabelle delle caratteristiche in Unity Catalog. Il client di Workspace Feature Store funziona per le feature e le tabelle di feature in Workspace Feature Store. Entrambi i client sono preinstallati in Databricks Runtime per Machine Learning. Possono anche essere eseguiti in Databricks Runtime dopo l'installazione databricks-feature-engineering da PyPI (pip install databricks-feature-engineering). Solo per gli unit test, entrambi i client possono essere usati in locale o in ambienti CI/CD.

Per una tabella che mostra la compatibilità delle versioni client con Databricks Runtime e le versioni di Databricks Runtime ML, vedere matrice di compatibilità di Progettazione delle funzionalità. Le versioni precedenti del client del Feature Store dell'area di lavoro di Databricks sono disponibili su PyPI come databricks-feature-store.

databricks-feature-engineering 0.16.1

  • create_training_set e score_batch ora riutilizzano, quando disponibili, le funzionalità di aggregazione materializzate offline, accelerando la creazione del set di addestramento e l'inferenza batch. Vedere Materialize Feature Views.
  • RequestSource Le funzionalità non richiedono più colonne entità e serie temporali.
  • Corretti i risultati errati di First e Last in create_training_set. Queste aggregazioni ora includono i valori null per impostazione predefinita; aggiungere filter_condition per escludere le colonne di input null.
  • Risolto un problema per cui compute_features restituiva zeri o valori null quando le righe di origine contenevano valori null.
  • Correzioni di bug e miglioramenti.

databricks-feature-engineering 0.16.0

  • Anteprima pubblica delle visualizzazioni delle funzionalità:
    • Le visualizzazioni delle funzionalità sono ora disponibili in anteprima pubblica. Le utilità is_beta_feature_view() e list_beta_feature_views() in FeatureEngineeringClient identificano le funzionalità registrate nell'API Beta che devono essere migrate alla rappresentazione di anteprima pubblica.
    • Feature.clone() il metodo consente di eseguire la migrazione delle visualizzazioni delle funzionalità beta all'anteprima pubblica.
    • create_pipeline è deprecato per le visualizzazioni delle funzionalità; usare invece l'API delle funzionalità materializzate.
  • Funzionalità di streaming:
    • StreamSource è ora supportato in create_feature() per definire le funzionalità di streaming supportate da origini Kafka o Delta.
    • create_training_set ora supporta l'addestramento su funzionalità definite tramite un oggetto StreamSource.
    • Nuovi metodi create_stream, get_stream, update_stream, delete_stream e list_streams in FeatureEngineeringClient per la gestione delle origini delle funzionalità in streaming.
    • StreamingMode trigger per materialize_features seleziona la materializzazione di micro batch.
  • Altri miglioramenti:
    • La nuova list_features() API su FeatureEngineeringClient elenca le funzionalità in un catalogo o schema.
    • La nuova grant_feature_serving_access() utilità concede le autorizzazioni necessarie per la gestione online di funzionalità materializzate, con una dry_run modalità per visualizzare in anteprima l'accesso prima dell'applicazione.
    • DeltaTableSource.from_sql() accetta ora un oggetto SparkSession direttamente.
    • DeltaTableSource.dataframe_schema sostituisce il parametro deprecato schema_json .
    • RollingWindow sostituisce l'alias rimosso ContinuousWindow .
    • Rimozione del parametro deprecato offset da RollingWindow; usare delay invece.
    • È stato rimosso il supporto per i nomi Unity Catalog in due parti con un catalogo predefinito.
    • Correzioni di bug e miglioramenti.

databricks-feature-engineering 0.15.0

  • RequestSource (Beta):
    • La nuova RequestSource classe abilita le funzionalità calcolate in fase di richiesta dai dati passati direttamente al modello, senza richiedere una ricerca di tabella delle funzionalità.
    • create_feature(), create_training_set(), score_batch() e compute_features() supportano tutte le funzionalità basate su RequestSource.
    • log_model integra RequestSource automaticamente le caratteristiche nella firma del modello.
  • ColumnSelection (Beta):
    • La nuova ColumnSelection classe consente di selezionare colonne di output specifiche da un'origine funzionalità, abilitando definizioni di funzionalità più granulari.
    • Supportato in create_feature(), create_training_set(), compute_features() e log_model.
  • Altri miglioramenti:
    • Nuovo tipo di trigger TableTrigger per la materializzazione dei trigger materialize_features in caso di aggiornamenti della tabella Delta.
    • score_batch ora viene eseguito nei runtime serverless di Databricks Runtime.
    • DeltaTableSource.from_sql() rifiuta ora clausole SQL non supportate, ad GROUP BY esempio e ORDER BY.
    • RequestSource.from_dataframe() deduce lo schema della richiesta da un dataframe esistente.
    • Rimozione della dipendenza Flask da databricks-feature-engineering.
    • Correzioni di bug e miglioramenti.

databricks-feature-engineering 0.14.0

  • Funzionalità dichiarative batch (beta):
    • API per le funzionalità dichiarative per archiviare definizioni di funzionalità dichiarative come funzioni del catalogo Unity con aggregazioni e finestre temporali.
    • L'API delle funzionalità materializzate pianifica la materializzazione automatica in batch delle caratteristiche nei store online usando pianificazioni cron configurabili.
    • Le funzionalità materializzate possono essere usate nella gestione online per i modelli registrati nel catalogo unity.
    • Supporto per finestre scorrevoli e a cascata utilizzando le classi SlidingWindow e TumblingWindow per il calcolo corretto delle caratteristiche temporizzate in create_training_set().
    • filter_condition il parametro consente di filtrare i dati di origine durante l'elaborazione delle funzionalità.
  • Altri miglioramenti:
    • La nuova list_online_stores() API elenca tutti i negozi online in un catalogo o uno schema.
    • Supporto per usage_policy_id nel monitoraggio della fatturazione durante la creazione o l'aggiornamento di negozi online.
    • Messaggi di errore migliorati quando gli archivi online vengono eliminati o non disponibili.
    • Correzioni di bug e miglioramenti delle prestazioni.

databricks-feature-engineering 0.13.0

  • API per la gestione degli archivi di funzionalità online gestiti da Databricks.
  • publish_table() ora accetta i parametri source_table_name, online_table_name e publish_mode per una specifica di tabella più chiara.
  • Supporto nel read_replica_count per la creazione o l'aggiornamento di negozi online per migliorare la scalabilità in lettura.
  • Correzioni di bug e miglioramenti.

databricks-feature-engineering 0.12.1

  • Supportare i valori predefiniti per le ricerche di funzionalità.
  • Correzioni di bug e miglioramenti.

databricks-ingegneria-delle-caratteristiche 0.11.0

  • Aggiungere il supporto per mlflow la versione 3.0.
  • Correzioni di bug e miglioramenti.

databricks-feature-engineering 0.10.2

  • Aggiungere il supporto per mlflow versione 2.20.0 e successive.
  • Aggiungere il supporto per la numpy versione 2.x.
  • Correzioni di bug e miglioramenti.

databricks-feature-engineering 0.9.0

  • Supporto dell'uso di prebuilt_env nelle chiamate score_batch.
  • Miglioramenti delle prestazioni nell'unione delle funzionalità puntuali con Photon.
  • Correzioni di bug e miglioramenti.

databricks-feature-engineering 0.8.0

  • Supporto dell'uso di params nelle chiamate score_batch, che consente di passare parametri aggiuntivi al modello per l'inferenza.
  • Correzioni di bug e miglioramenti.

databricks-feature-engineering 0.7.0

  • Alcune viste in Unity Catalog possono ora essere usate come tabelle delle funzionalità per il training e la valutazione dei modelli offline. Consulta Leggere da una tabella delle caratteristiche in Unity Catalog.
  • È ora possibile creare set di training con ricerche di funzionalità o una specifica delle caratteristiche. Consultare la documentazione di riferimento del Python SDK.

databricks-feature-engineering 0.6.0

  • L'esecuzione di join a un punto nel tempo con Spark nativo è ora supportata, oltre al supporto già esistente con Tempo. Grazie enorme a Semyon Sinchenko per suggerire l'idea!
  • StructType è ora supportato come tipo di dati PySpark. StructType non è supportato per il servizio online.
  • write_table supporta ora la scrittura in tabelle con clustering liquido abilitato.
  • Il timeseries_columns parametro per create_table è stato rinominato in timeseries_column. I flussi di lavoro esistenti possono continuare a usare il timeseries_columns parametro .
  • score_batch supporta ora il env_manager parametro . Per altre informazioni, vedere la documentazione di MLflow.

databricks-feature-engineering 0.5.0

  • Nuova API update_feature_spec in databricks-feature-engineering che permette agli utenti di aggiornare il proprietario di una FeatureSpec in Unity Catalog.

databricks-feature-engineering 0.4.0

  • Piccole correzioni di bug e miglioramenti.

databricks-feature-engineering 0.3.0

databricks-feature-store 0.17.0

  • databricks-feature-store è obsoleto. Tutti i moduli esistenti in questo pacchetto sono disponibili nella databricks-feature-engineering versione 0.2.0 e successive. Per informazioni dettagliate, vedere API Python.

databricks-feature-engineering 0.2.0

  • databricks-feature-engineering ora contiene tutti i moduli da databricks-feature-store. Per informazioni dettagliate, vedere API Python.

databricks-feature-store 0.16.3

  • Corregge il bug di timeout quando si usa AutoML con le tabelle delle funzionalità.

databricks-feature-engineering 0.1.3

  • Piccoli miglioramenti in UpgradeClient.

databricks-feature-store 0.16.2

  • È ora possibile creare endpoint di funzionalità e di gestione delle funzioni. Per informazioni dettagliate, vedere Funzionalità e gestione delle funzioni.

databricks-feature-store 0.16.1

  • Piccole correzioni di bug e miglioramenti.

databricks-feature-engineering 0.1.2 & databricks-feature-store 0.16.0

  • Piccole correzioni di bug e miglioramenti.
    • Correzione di URL di derivazione del processo non corretti registrati con determinate configurazioni dell'area di lavoro.

databricks-feature-engineering 0.1.1

  • Piccole correzioni di bug e miglioramenti.

databricks-feature-engineering 0.1.0

  • Rilascio generale dell'Ingegneria delle Caratteristiche nel client Python di Unity Catalog su PyPI

databricks-feature-store 0.15.1

  • Piccole correzioni di bug e miglioramenti.

databricks-feature-store 0.15.0

  • È ora possibile dedurre e registrare automaticamente un esempio di input quando si registra un modello. A tale scopo, imposta infer_model_example a True quando si chiama log_model. L'esempio si basa sui dati di training specificati nel training_set parametro .

databricks-feature-store 0.14.2

  • Correzione del bug nella pubblicazione in Aurora MySQL dal connettore MariaDB/J >=2.7.5.

databricks-feature-store 0.14.1

  • Piccole correzioni di bug e miglioramenti.

databricks-feature-store 0.14.0

A partire dalla versione 0.14.0, è necessario specificare colonne con chiave di timestamp nell'argomento primary_keys. Le chiavi timestamp fanno parte delle "chiavi primarie" che identificano in modo univoco ogni riga nella tabella delle funzionalità. Analogamente ad altre colonne chiave primaria, le colonne chiave timestamp non possono contenere valori NULL.

Nell'esempio seguente il dataframe user_features_df contiene le colonne seguenti: user_id, ts, purchases_30de is_free_trial_active.

0.14.0 e versioni successive

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys=["user_id", "ts"],
timestamp_keys="ts",
features_df=user_features_df,
)

0.13.1 e versioni successive

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys="user_id",
timestamp_keys="ts",
features_df=user_features_df,
)

databricks-feature-store 0.13.1

  • Piccole correzioni di bug e miglioramenti.

databricks-feature-store 0.13.0

  • L versione mlflow-skinny minima richiesta è ora 2.4.0.
  • La creazione di un set di addestramento ha esito negativo se il DataFrame specificato non contiene tutte le chiavi di ricerca necessarie.
  • Quando si registra un modello che usa tabelle delle funzionalità in Unity Catalog, una firma MLflow viene registrata automaticamente con il modello.

databricks-feature-store 0.12.0

  • È ora possibile eliminare un negozio online usando l'API drop_online_table.

databricks-feature-store 0.11.0

  • Nelle aree di lavoro abilitate per il Catalogo Unity, è ora possibile pubblicare le tabelle delle funzionalità sia del workspace che del Catalogo Unity negli archivi online di Cosmos DB. Ciò richiede Databricks Runtime 13.0 ML o versione successiva.

databricks-feature-store 0.10.0

  • Piccole correzioni di bug e miglioramenti.

databricks-feature-store 0.9.0

  • Piccole correzioni di bug e miglioramenti.

databricks-feature-store 0.8.0

  • Piccole correzioni di bug e miglioramenti.

databricks-feature-store 0.7.1

  • Aggiungere flask come dipendenza per risolvere il problema di dipendenza mancante durante l'assegnazione dei punteggi ai modelli con score_batch.

databricks-feature-store 0.7.0

  • Piccole correzioni di bug e miglioramenti.

databricks-feature-store 0.6.1

  • Versione pubblica iniziale del client di Databricks Feature Store su PyPI.
  • Last updated on