Versionshinweise zum Databricks Feature Store und zum Legacy Workspace Feature Store

Auf dieser Seite sind die Releases des Databricks Feature Engineering Clients im Unity Catalog und des Databricks Workspace Feature Store Clients aufgeführt. Beide Clients sind auf PyPI verfügbar: databricks-feature-engineering und databricks-feature-store.

Die Bibliotheken werden verwendet für:

  • Erstellen, Lesen und Schreiben von Featuretabellen
  • Modelle auf Merkmalsdaten trainieren.
  • Veröffentlichen von Featuretabellen in Onlinespeichern für Echtzeitbereitstellung

Die Verwendungsdokumentation finden Sie im Databricks Feature Store. Informationen zur Python API-Dokumentation finden Sie unter Feature Engineering Python API.

Der Client für Feature Engineering in Unity Catalog arbeitet mit Features und Featuretabellen im Unity Catalog. Der Arbeitsbereichsclient im Feature Store funktioniert für Features und Featuretabellen im Arbeitsbereich-Feature Store. Beide Clients sind in Databricks Runtime für Machine Learning vorinstalliert. Sie können auch auf Databricks Runtime ausgeführt werden, nachdem databricks-feature-engineering von PyPI (pip install databricks-feature-engineering) installiert wurde. Beide Clients können lokal oder in CI/CD-Umgebungen nur für Komponententests verwendet werden.

Eine Tabelle, welche die Kompatibilität von Clientversionen mit Databricks Runtime- und Databricks Runtime ML-Versionen zeigt, finden Sie in der Feature Engineering-Kompatibilitätsmatrix. Ältere Versionen des Databricks-Arbeitsbereichsclient im Feature Store sind auf PyPI als databricks-feature-store verfügbar.

databricks-feature-engineering 0.16.1

  • create_training_set und score_batch nutzen jetzt offline materialisierte Aggregations-Features, sofern verfügbar, wodurch die Erstellung von Trainingsdatensätzen und die Batch-Inferenz beschleunigt werden. Siehe Materialisieren von Featureansichten.
  • RequestSource Features erfordern keine Entitäts- und Zeitserienspalten mehr.
  • Falsche Ergebnisse für First und Last in create_training_set behoben. Diese Aggregationen schließen jetzt standardmäßig Nullwerte ein; fügen Sie filter_condition hinzu, um Eingabespalten mit Nullwerten auszuschließen.
  • Es wurde ein Problem behoben, bei dem compute_features Nullen oder Nullwerte zurückgab, wenn Quellzeilen Nullwerte enthalten.
  • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.16.0

  • Feature Views – Öffentliche Vorschau:
    • Feature Views sind jetzt als öffentliche Vorschau verfügbar. Die Hilfsprogramme is_beta_feature_view() und list_beta_feature_views() auf FeatureEngineeringClient identifizieren Features, die im Rahmen der Beta-API registriert wurden und zur Public Preview-Darstellung migriert werden müssen.
    • Feature.clone() die Methode unterstützt die Migration von Betafeatureansichten zur öffentlichen Vorschau.
    • create_pipeline ist für Featureansichten veraltet; verwenden Sie stattdessen die materialisierte Features-API.
  • Streaming-Funktionen:
    • StreamSource wird jetzt in create_feature() zum Definieren von Streaming-Features unterstützt, die auf Kafka- oder Delta-Quellen basieren.
    • create_training_set unterstützt jetzt das Training mit Features, die mit einer StreamSource definiert sind.
    • Neue create_stream, get_stream, update_stream, delete_stream und list_streams Methoden in FeatureEngineeringClient zum Verwalten von Quellen für Streaming-Features.
    • StreamingMode Trigger für materialize_features wählt Mikrobatch-Materialisierung aus.
  • Weitere Verbesserungen:
    • Neue list_features() API in FeatureEngineeringClient listet die Features in einem Katalog oder Schema auf.
    • Das neue grant_feature_serving_access() Dienstprogramm gewährt die Berechtigungen, die für die Onlinebereitstellung materialisierter Merkmale erforderlich sind, und verfügt über einen dry_run Modus, um den Zugriff vor dem Anwenden in der Vorschau anzuzeigen.
    • DeltaTableSource.from_sql() nimmt jetzt direkt an SparkSession .
    • DeltaTableSource.dataframe_schema ersetzt den veralteten schema_json Parameter.
    • RollingWindow ersetzt den entfernten ContinuousWindow Alias.
    • Entfernter veralteter offset Parameter aus RollingWindow; verwenden Sie delay stattdessen.
    • Unterstützung für zweiteilige Unity-Katalognamen mit einem Standardkatalog entfernt.
    • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.15.0

  • RequestSource (Beta):
    • Die neue RequestSource-Klasse ermöglicht Features, die zur Anfragezeit aus Daten berechnet werden, die direkt an das Modell übergeben werden, ohne dass ein Lookup in einer Featuretabelle erforderlich ist.
    • create_feature(), create_training_set(), score_batch() und compute_features() unterstützen alle RequestSource-gestützte Funktionen.
    • log_model bindet RequestSource Features automatisch in die Modellsignatur ein.
  • ColumnSelection (Beta):
    • Neue ColumnSelection Klasse ermöglicht das Auswählen bestimmter Ausgabespalten aus einer Featurequelle, wodurch präzisere Featuredefinitionen ermöglicht werden.
    • Unterstützt in create_feature(), create_training_set(), compute_features(), und log_model.
  • Weitere Verbesserungen:
    • Neuer TableTrigger-Triggertyp für materialize_features-Trigger, der die Materialisierung bei Aktualisierungen von Delta-Tabellen auslöst.
    • score_batch wird jetzt auf Databricks Runtime Serverless-Runtimes ausgeführt.
    • DeltaTableSource.from_sql() weist jetzt nicht unterstützte SQL-Klauseln wie GROUP BY und ORDER BY zurück.
    • RequestSource.from_dataframe() leitet das Anforderungsschema von einem vorhandenen DataFrame ab.
    • Die Flask-Abhängigkeit wurde aus databricks-feature-engineering entfernt.
    • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.14.0

  • Deklarative Batch-Funktionen (Beta):
    • Deklarative Features-API zum Speichern deklarativer Featuredefinitionen als Unity-Katalogfunktionen mit Aggregationen und Zeitfenstern.
    • Die API für materialisierte Features plant die automatische Batch-Verarbeitung von Features in Online-Stores mithilfe konfigurierbarer Cron-Zeitpläne.
    • Materialisierte Features können im Online-Dienst für registrierte Modelle im Unity-Katalog verwendet werden.
    • Unterstützung für gleitende und rollierende Fenster mithilfe der SlidingWindow- und TumblingWindow-Klassen für die korrekte zeitpunktbezogener Feature-Berechnung in create_training_set().
    • filter_condition Parameter ermöglicht das Filtern von Quelldaten beim Berechnen von Features.
  • Weitere Verbesserungen:
    • Neue list_online_stores() API listet in einem Katalog oder Schema alle Online-Shops auf.
    • Unterstützung für usage_policy_id bei der Abrechnungsnachverfolgung beim Erstellen oder Aktualisieren von Online-Shops.
    • Verbesserte Fehlermeldungen, wenn Onlinespeicher gelöscht oder nicht verfügbar sind.
    • Fehlerbehebungen und Leistungsverbesserungen.

databricks-feature-engineering 0.13.0

  • APIs zum Verwalten von Databricks-verwalteten Online-Feature-Stores.
  • publish_table() akzeptiert jetzt die Parameter source_table_name, online_table_name und publish_mode für eine klarere Spezifikation der Tabelle.
  • Unterstützung für read_replica_count beim Erstellen oder Aktualisieren von Online-Stores für verbesserte Lesbarkeit.
  • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.12.1

  • Standardwerte für Feature-Suchen unterstützen.
  • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.11.0

  • Fügen Sie Unterstützung für mlflow Version 3.0 hinzu.
  • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.10.2

  • Fügen Sie Unterstützung für mlflow Version 2.20.0 und höher hinzu.
  • Unterstützung für numpy Version 2.x hinzufügen.
  • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.9.0

  • Unterstützung mithilfe von prebuilt_env bei score_batch-Aufrufen.
  • Zeitpunktfeature, das Leistungsverbesserungen mit Photon verbindet.
  • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.8.0

  • Unterstützung der Nutzung von params in score_batch-Aufrufen, wodurch zusätzliche Parameter für die Modellinferenz übergeben werden können.
  • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.7.0

  • Bestimmte Ansichten in Unity Catalog können jetzt als Featuretabellen für das Offline-Training und die Offline-Bewertung von Modellen und verwendet werden. Siehe Lesen aus einer Featuretabelle in Unity Catalog.
  • Trainingssätze können jetzt mit Featuresuchen oder einer Featurespezifikation erstellt werden. Weitere Informationen finden Sie in der Python SDK-Referenz.

databricks-feature-engineering 0.6.0

  • Das Ausführen von Point-in-Time-Verknüpfungen mit nativem Spark wird jetzt zusätzlich zum bestehenden Support mit Tempo unterstützt. Vielen Dank an Semyon Sinchenko für diesen Vorschlag!
  • StructType wird jetzt als PySpark-Datentyp unterstützt. StructType wird für die Onlinebereitstellung nicht unterstützt.
  • write_table unterstützt jetzt das Schreiben in Tabellen mit aktiviertem Liquid Clustering.
  • Der timeseries_columns-Parameter für create_table wurde in timeseries_column umbenannt. Vorhandene Workflows können den timeseries_columns-Parameter weiterhin verwenden.
  • score_batch unterstützt jetzt den env_manager-Parameter. Weitere Informationen finden Sie in der MLflow-Dokumentation.

databricks-feature-engineering 0.5.0

  • Neue API update_feature_spec in databricks-feature-engineering, mit der Benutzer den Besitzer eines FeatureSpec im Unity-Katalog aktualisieren können.

databricks-feature-engineering 0.4.0

  • Kleine Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.3.0

  • log_model verwendet jetzt das neue databricks-feature-lookup PyPI-Paket, das Leistungsverbesserungen für die Onlinemodellbereitstellung enthält.

databricks-feature-store 0.17.0

  • databricks-feature-store ist veraltet. Alle vorhandenen Module in diesem Paket sind in databricks-feature-engineering Version 0.2.0 und höher verfügbar. Weitere Informationen finden Sie unter Python-API.

databricks-feature-engineering 0.2.0

  • databricks-feature-engineering enthält jetzt alle Module aus databricks-feature-store. Weitere Informationen finden Sie unter Python-API.

databricks-feature-store 0.16.3

  • Behebt einen Timeoutfehler bei Verwendung von AutoML mit Featuretabellen.

databricks-feature-engineering 0.1.3

  • Kleine Verbesserungen bei UpgradeClient.

databricks-feature-store 0.16.2

  • Sie können jetzt Feature and Function Serving-Endpunkte erstellen. Ausführliche Informationen finden Sie unter Feature & Function Serving.

databricks-feature-store 0.16.1

  • Kleine Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.1.2 und databricks-feature-store 0.16.0

  • Kleine Fehlerbehebungen und Verbesserungen.
    • Falsche Auftragsherkunfts-URLs korrigiert, die bei bestimmten Arbeitsbereichssetups protokolliert wurden.

databricks-feature-engineering 0.1.1

  • Kleine Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering Version 0.1.0

  • GA-Version von Feature Engineering im Unity Catalog-Python-Client auf PyPI

databricks-feature-store 0.15.1

  • Kleine Fehlerbehebungen und Verbesserungen.

databricks-feature-store 0.15.0

  • Sie können jetzt automatisch Rückschlüsse aus einem Eingabebeispiel ziehen und das Beispiel protokollieren, wenn Sie ein Modell protokollieren. Legen Sie dazu infer_model_example auf True fest, wenn Sie log_model aufrufen. Das Beispiel basiert auf den im Parameter training_set angegebenen Trainingsdaten.

databricks-feature-store 0.14.2

  • Behebung eines Fehlers bei der Veröffentlichung in Aurora MySQL von MariaDB-Connector/J >=2.7.5.

databricks-feature-store 0.14.1

  • Kleine Fehlerbehebungen und Verbesserungen.

databricks-feature-store 0.14.0

Ab 0.14.0 müssen Sie Zeitstempelschlüsselspalten im Argument primary_keys angeben. Zeitstempelschlüssel sind Teil der „Primärschlüssel“, die jede Zeile in der Featuretabelle eindeutig identifizieren. Wie andere Primärschlüsselspalten dürfen Zeitstempelschlüsselspalten keine NULL-Werte enthalten.

Im folgenden Beispiel enthält der Datenrahmen user_features_df die folgenden Spalten: user_id, ts, purchases_30d und is_free_trial_active.

0.14.0 und höher

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys=["user_id", "ts"],
timestamp_keys="ts",
features_df=user_features_df,
)

0.13.1 und früher

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys="user_id",
timestamp_keys="ts",
features_df=user_features_df,
)

databricks-feature-store 0.13.1

  • Kleine Fehlerbehebungen und Verbesserungen.

databricks-feature-store 0.13.0

  • Version 2.4.0 ist jetzt die mindestens erforderliche mlflow-skinny-Version.
  • Das Erstellen eines Trainingssatzes schlägt fehl, wenn der bereitgestellte DataFrame nicht alle erforderlichen Nachschlageschlüssel enthält.
  • Beim Protokollieren eines Modells, das Featuretabellen in Unity Catalog verwendet, wird automatisch eine MLflow-Signatur mit dem Modell protokolliert.

databricks-feature-store 0.12.0

  • Sie können jetzt einen Online-Shop mithilfe der drop_online_table-API löschen.

databricks-feature-store 0.11.0

  • In Unity Catalog-fähigen Arbeitsbereichen können Sie jetzt sowohl Arbeitsbereichs- als auch Unity Catalog-Feature-Tabellen in Cosmos DB-Online-Stores veröffentlichen. Dies erfordert Databricks Runtime 13.0 ML oder höher.

databricks-feature-store 0.10.0

  • Kleine Fehlerbehebungen und Verbesserungen.

databricks-feature-store 0.9.0

  • Kleine Fehlerbehebungen und Verbesserungen.

databricks-feature-store 0.8.0

  • Kleine Fehlerbehebungen und Verbesserungen.

databricks-feature-store 0.7.1

  • flask als Abhängigkeit hinzugefügt, um das Problem fehlender Abhängigkeiten beim Bewerten von Modellen mit score_batch zu beheben.

databricks-feature-store 0.7.0

  • Kleine Fehlerbehebungen und Verbesserungen.

databricks-feature-store 0.6.1

  • Erste veröffentlichte Version des Databricks Feature Store Clients auf PyPI.