Databricks Feature Store とレガシー Workspace Feature Store のリリースノート

このページでは、Unity カタログ クライアントの Databricks Feature Engineering と Databricks Workspace Feature Store クライアントのリリースの一覧を示します。 どちらのクライアントも PyPI ( databricks-feature-engineering と databricks-feature-store) で利用できます。

ライブラリは次のような目的で使用されます。

  • 特徴テーブルの作成、読み取り、書き込みを行う。
  • 特徴量データでモデルをトレーニングします。
  • 特徴テーブルをオンライン ストアに公開してリアルタイムで提供する。

使用方法に関するドキュメントについては、 Databricks Feature Store を参照してください。 Python API のドキュメントについては、「Feature Engineering Python API」を参照してください。

Unity カタログのフィーチャー エンジニアリング クライアントは、Unity カタログの機能と機能テーブルに対して機能します。 ワークスペース Feature Store クライアントは、ワークスペース Feature Store の特徴と特徴テーブルに対して機能します。 いずれのクライアントも Databricks Runtime for Machine Learning にプレインストールされています。 これらのクライアントは、PyPI (databricks-feature-engineering) から pip install databricks-feature-engineering をインストールした後、Databricks Runtime でも実行できます。 単体テストの場合にのみ、両方のクライアントはローカルまたは CI/CD 環境で使用できます。

Databricks Runtime および Databricks Runtime ML バージョンとのクライアント バージョンの互換性を示す表については、 フィーチャー エンジニアリングの互換性マトリックスを参照してください。 以前のバージョンの Databricks Workspace Feature Store クライアントは、 Databricks-feature-store として PyPI で使用できます。

databricks-feature-engineering 0.16.1

  • create_training_set と score_batch オフラインマテリアライズド集計機能が使用可能な場合に再利用され、トレーニング セットの作成とバッチ推論が高速化されるようになりました。 「 フィーチャ ビューを具体化する」を参照してください。
  • RequestSource 機能では、エンティティ列と時系列列は不要になりました。
  • 正しくない First と Last の結果が create_training_setで修正されました。 これらの集計には、既定で null が含まれるようになりました。null 入力列を除外する filter_condition を追加します。
  • ソース行に null が含まれている場合にゼロまたは null を返す compute_features を修正しました。
  • バグの修正と機能強化。

databricks-feature-engineering 0.16.0

  • フィーチャー ビュー パブリック プレビュー:
    • 機能ビューがパブリック プレビューになりました。 is_beta_feature_view()のlist_beta_feature_views()ユーティリティとFeatureEngineeringClientユーティリティは、ベータ API で登録された機能を識別し、パブリック プレビュー表現への移行が必要です。
    • Feature.clone() メソッドは、ベータ機能ビューをパブリック プレビューに移行するのに役立つ。
    • create_pipeline はフィーチャー ビューでは非推奨です。代わりに具体化された機能 API を使用してください。
  • ストリーミング機能:
    • StreamSource は、Kafka または Delta ソースによってサポートされるストリーミング機能を定義するための create_feature() でサポートされるようになりました。
    • create_training_set では、 StreamSourceで定義された機能に関するトレーニングがサポートされるようになりました。
    • ストリーミング機能ソースを管理するためのcreate_streamの新しいget_stream、update_stream、delete_stream、list_streams、およびFeatureEngineeringClientメソッド。
    • StreamingMode materialize_features のトリガーは、マイクロバッチ マテリアライズを選択します。
  • その他の機能強化:
    • list_features()の新しいFeatureEngineeringClient API では、カタログまたはスキーマの機能が一覧表示されます。
    • 新しい grant_feature_serving_access() ユーティリティは、マテリアライズド機能のオンライン サービスに必要なアクセス許可を付与し、適用前にアクセスをプレビューする dry_run モードを使用します。
    • DeltaTableSource.from_sql() SparkSessionを直接受け入れるようになりました。
    • DeltaTableSource.dataframe_schema は、非推奨の schema_json パラメーターを置き換えます。
    • RollingWindow は、削除された ContinuousWindow エイリアスを置き換えます。
    • offsetから非推奨のRollingWindow パラメーターを削除しました。代わりにdelayを使用してください。
    • 既定のカタログを含む 2 部構成の Unity カタログ名のサポートが削除されました。
    • バグの修正と機能強化。

databricks-feature-engineering 0.15.0

  • RequestSource (ベータ):
    • 新しい RequestSource クラスを使用すると、モデルに直接渡されたデータから要求時に計算される特徴を、特徴テーブルの参照を必要とせずに使用できます。
    • create_feature()、create_training_set()、score_batch()、および compute_features() は、いずれも RequestSource を基盤とする機能をサポートしています。
    • log_model は、フィーチャをモデル署名に自動的に組み込みます。
  • ColumnSelection (ベータ):
    • 新しい ColumnSelection クラスを使用すると、フィーチャ ソースから特定の出力列を選択し、より詳細な機能定義を有効にできます。
    • create_feature()、create_training_set()、compute_features()、およびlog_modelでサポートされます。
  • その他の機能強化:
    • Delta テーブルが更新されたときにTableTrigger のマテリアライズをトリガーする、新しいmaterialize_features トリガーの種類。
    • score_batch は Databricks Runtime Serverless ランタイムで実行できるようになりました。
    • DeltaTableSource.from_sql() では、 GROUP BY や ORDER BYなどのサポートされていない SQL 句が拒否されるようになりました。
    • RequestSource.from_dataframe() は、既存の DataFrame から要求スキーマを推論します。
    • databricks-feature-engineeringから Flask の依存関係を削除しました。
    • バグの修正と機能強化。

databricks-feature-engineering 0.14.0

  • バッチ宣言型機能 (ベータ):
    • 集約と時間枠を含む Unity カタログ関数として宣言型機能定義を格納する宣言型機能 API。
    • 具体化された機能 API は、構成可能な cron スケジュールを使用して、オンライン ストアへの機能の自動バッチマテリアライズをスケジュールします。
    • 具体化された機能は、Unity カタログの登録済みモデルのオンライン サービスで使用できます。
    • SlidingWindowクラスとTumblingWindowクラスを使用したスライディングウィンドウおよびタンブリングウィンドウのサポートにより、create_training_set()でポイントインタイムの特性を正確に計算できます。
    • filter_condition パラメーターを使用すると、特徴を計算するときにソース データをフィルター処理できます。
  • その他の機能強化:
    • 新しい list_online_stores() API には、カタログまたはスキーマ内のすべてのオンライン ストアが一覧表示されます。
    • オンライン ストアの作成時または更新時の課金追跡の usage_policy_id のサポート。
    • オンライン ストアが削除または使用できない場合のエラー メッセージが改善されました。
    • バグの修正とパフォーマンスの向上。

databricks-feature-engineering 0.13.0

  • Databricks で管理されるオンライン機能ストアを管理するための API。
  • publish_table() では、 source_table_name、 online_table_name、および publish_mode パラメーターを受け取って、より明確なテーブルを指定できるようになりました。
  • 読み取りスケーラビリティを向上させるために、オンライン ストアを作成または更新するときの read_replica_count のサポート。
  • バグの修正と機能強化。

databricks-feature-engineering 0.12.1

  • 機能参照の既定値をサポートします。
  • バグの修正と機能強化。

データブリックス-フィーチャーエンジニアリング 0.11.0

  • mlflow バージョン 3.0 のサポートを追加します。
  • バグの修正と機能強化。

databricks-feature-engineering 0.10.2

  • mlflow バージョン 2.20.0 以降のサポートを追加します。
  • numpy バージョン 2.x のサポートを追加します。
  • バグの修正と機能強化。

databricks-feature-engineering 0.9.0

  • prebuilt_env呼び出しでのscore_batchの使用をサポートします。
  • ポイントインタイム機能を Photon と結合するパフォーマンスの向上。
  • バグの修正と機能強化。

databricks-特徴エンジニアリング 0.8.0

  • params呼び出しでのscore_batchの使用をサポートします。これにより、推論のために追加のパラメーターをモデルに渡すことができます。
  • バグの修正と機能強化。

databricks-feature-engineering 0.7.0

databricks-feature-engineering 0.6.0

  • Tempo での既存のサポートに加えて、ネイティブ Spark でのポイントインタイム結合の実行がサポートされるようになりました。 アイデアを提案してくれた Semyon Sinchenko に感謝します。
  • StructType が PySpark データ型としてサポートされるようになりました。 StructType はオンライン提供ではサポートされていません。
  • write_table では、 液体クラスタリング が有効になっているテーブルへの書き込みがサポートされるようになりました。
  • timeseries_columns の create_table パラメーターの名前が timeseries_column に変更されました。 既存のワークフローでは、引き続き timeseries_columns パラメーターを使用できます。
  • score_batch では env_manager パラメーターがサポートされるようになりました。 詳細については、 MLflow のドキュメント を参照してください。

databricks-feature-engineering 0.5.0 (データブリックス・フィーチャー・エンジニアリングバージョン0.5.0)

  • update_feature_specの新しい API databricks-feature-engineering。これにより、ユーザーは Unity カタログの FeatureSpec の所有者を更新できます。

databricks-feature-engineering 0.4.0

  • 小さなバグ修正と機能強化。

databricks-feature-engineering 0.3.0

  • log_model では、新しい databricks-feature-lookup PyPI パッケージが使用されるようになりました。これには、オンライン モデルサービスのパフォーマンス向上が含まれています。

databricks-feature-store 0.17.0

  • databricks-feature-store は非推奨とされます。 このパッケージ内のすべての既存モジュールは、databricks-feature-engineering のバージョン 0.2.0 以上で使用できます。 詳細については、 Python API を参照してください。

databricks-feature-engineering 0.2.0

  • databricks-feature-engineering には databricks-feature-store からのすべてのモジュールが含まれるようになりました。 詳細については、 Python API を参照してください。

databricks-feature-store 0.16.3

  • 機能テーブルで AutoML を使用するときのタイムアウトバグを修正しました。

databricks-feature-engineering 0.1.3

  • UpgradeClient の小さな機能強化。

databricks-feature-store 0.16.2

  • これで Feature Serving および Function Serving エンドポイントを作成できるようになりました。 詳細については、「 機能と関数の提供」を参照してください。

databricks-feature-store 0.16.1

  • 小さなバグ修正と機能強化。

databricks-feature-engineering 0.1.2 および databricks-feature-store 0.16.0

  • 小さなバグ修正と機能強化。
    • 特定のワークスペースのセットアップと共にログに記録される不適切なジョブ系列 URL を修正しました。

databricks-feature-engineering 0.1.1

  • 小さなバグ修正と機能強化。

databricks-feature-engineering 0.1.0

  • Unity Catalog Python クライアントから PyPI への特徴エンジニアリングの一般提供リリース

databricks-feature-store 0.15.1

  • 小さなバグ修正と機能強化。

databricks-feature-store 0.15.0

  • モデルをログに記録する際に、入力例を自動的に推論してログに記録することができるようになりました。 これを行うには、infer_model_exampleを呼び出すときにTrueをlog_modelに設定します。 その例は、training_set パラメータ内で指定されたトレーニング データに基づきます。

databricks-feature-store 0.14.2

  • MariaDB Connector/J >=2.7.5 から Aurora MySQL に発行する際のバグを修正しました。

databricks-feature-store 0.14.1

  • 小さなバグ修正と機能強化。

databricks-feature-store 0.14.0

0.14.0 以降では、 primary_keys 引数にタイムスタンプ キー列を指定する必要があります。 タイムスタンプ キーは、特徴テーブルの各行を一意に識別する "主キー" の一部です。 他の主キー列と同様に、タイムスタンプ キー列に NULL 値を含めることはできません。

次の例では、DataFrame user_features_df には、 user_id、 ts、 purchases_30d、 is_free_trial_activeの各列が含まれています。

0.14.0 以降

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys=["user_id", "ts"],
timestamp_keys="ts",
features_df=user_features_df,
)

0.13.1 以前

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys="user_id",
timestamp_keys="ts",
features_df=user_features_df,
)

databricks-feature-store 0.13.1

  • 小さなバグ修正と機能強化。

databricks-feature-store 0.13.0

  • 最低限必要なmlflow-skinnyバージョンは、現在 2.4.0 です。
  • 指定された DataFrame に必要なすべての参照キーが含まれていない場合、トレーニング セットの作成は失敗します。
  • Unity カタログで機能テーブルを使用するモデルをログに記録すると、MLflow 署名がモデルと共に自動的にログに記録されます。

databricks-feature-store 0.12.0

  • drop_online_table API を使用してオンライン ストアを削除できるようになりました。

databricks-feature-store 0.11.0

  • Unity カタログ対応ワークスペースでは、ワークスペースと Unity カタログ機能テーブルの両方を Cosmos DB オンライン ストアに発行できるようになりました。 これには、Databricks Runtime 13.0 ML 以上が必要です。

databricks-feature-store 0.10.0

  • 小さなバグ修正と機能強化。

databricks-feature-store 0.9.0

  • 小さなバグ修正と機能強化。

databricks-feature-store 0.8.0

  • 小さなバグ修正と機能強化。

databricks-feature-store 0.7.1

  • flask でモデルをスコアリングする際に不足している依存関係の問題を修正するために、score_batch を依存関係として追加します。

databricks-feature-store 0.7.0

  • 小さなバグ修正と機能強化。

databricks-feature-store 0.6.1

  • Databricks Feature Store クライアントの PyPI への初期公開リリース。
  • Last updated on