Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Esta página lista as versões do cliente Databricks Feature Engineering no Unity Catalog e do cliente Databricks Workspace Feature Store. Ambos os clientes estão disponíveis no PyPI: databricks-feature-engineering e databricks-feature-store.
As bibliotecas estão habituadas a:
- Crie, leia e escreva tabelas de funcionalidades.
- Treine modelos em dados de características.
- Publique tabelas de funcionalidades em lojas online para disponibilização em tempo real.
Para obter a documentação de uso, consulte Databricks Feature Store. Para documentação de APIs em Python, veja Feature Engineering Python API.
O cliente de Engenharia de Características no Unity Catalog funciona para características e tabelas de características no Unity Catalog. O cliente do Armazém de Funcionalidades do Espaço de Trabalho é usado para funcionalidades e tabelas de funcionalidades no Armazém de Funcionalidades do Espaço de Trabalho. Ambos os clientes são pré-instalados no Databricks Runtime for Machine Learning. Eles também podem ser executados no Databricks Runtime após a instalação databricks-feature-engineering a partir do PyPI (pip install databricks-feature-engineering). Apenas para testes de unidade, ambos os clientes podem ser usados localmente ou em ambientes CI/CD.
Para ver uma tabela que mostra a compatibilidade das versões do cliente com as versões do Databricks Runtime e do Databricks Runtime ML, consulte a matriz de compatibilidade de Feature Engineering . Versões mais antigas do cliente Databricks Workspace Feature Store estão disponíveis no PyPI como databricks-feature-store.
databricks-feature-engineering 0.16.1
-
create_training_setescore_batchagora reutilizam funcionalidades de agregação materializada offline, quando disponíveis, acelerando a criação de conjuntos de treino e a inferência em lote. Consulte Materialize Feature Views. -
RequestSourceAs características já não requerem colunas de entidade e série temporal. - Corrigidos os resultados incorretos de
FirsteLastemcreate_training_set. Estas agregações incluem agora nulos por defeito; Adicione Afilter_conditionpara excluir colunas de entrada nulas. - Corrigido
compute_featuresque devolvia zeros ou valores nulos quando as linhas de origem continham valores nulos. - Correções de bugs e melhorias.
databricks-feature-engineering 0.16.0
-
Visualizações de Destaque Pré-visualização Pública:
- As Feature Views estão agora disponíveis em Pré-visualização Pública. Os utilitários
is_beta_feature_view()elist_beta_feature_views()noFeatureEngineeringClientidentificam funcionalidades que foram registadas na API beta e têm de ser migradas para a representação de pré-visualização pública. -
Feature.clone()método auxilia na migração das Visualizações de Funcionalidades Beta para a Pré-visualização Pública. -
create_pipelinefoi descontinuado para Feature Views; utilize a API de atributos materializados em vez disso.
- As Feature Views estão agora disponíveis em Pré-visualização Pública. Os utilitários
-
Funcionalidades de streaming:
-
StreamSourcepassa agora a ser suportado emcreate_feature()para definir funcionalidades de streaming baseadas em origens Kafka ou Delta. -
create_training_setAgora suporta treino em funcionalidades definidas com umStreamSource. - Novos métodos
create_stream,get_stream,update_stream,delete_stream, elist_streamsemFeatureEngineeringClientpara gerir origens de funcionalidades de transmissão em fluxo. -
StreamingModedisparador paramaterialize_featuresseleciona a materialização em micro-batch.
-
-
Outras melhorias:
- Nova
list_features()API emFeatureEngineeringClientapresenta funcionalidades num catálogo ou esquema. - A nova
grant_feature_serving_access()utilidade concede as permissões necessárias para a disponibilização online das funcionalidades materializadas, com umdry_runmodo para pré-visualizar o acesso antes de se candidatar. -
DeltaTableSource.from_sql()aceita agora umSparkSessiondiretamente. -
DeltaTableSource.dataframe_schemasubstitui o parâmetro obsoletoschema_json. -
RollingWindowsubstitui o pseudónimo removidoContinuousWindow. - Removido o parâmetro obsoleto
offsetdeRollingWindow; usedelayem vez disso. - Removido o suporte para nomes em duas partes do Unity Catalog com catálogo predefinido.
- Correções de bugs e melhorias.
- Nova
databricks-feature-engineering 0.15.0
-
RequestSource (Beta):
- A nova
RequestSourceclasse permite funcionalidades calculadas no momento do pedido a partir de dados passados diretamente para o modelo, sem necessidade de consulta na tabela de características. -
create_feature(),create_training_set(),score_batch()ecompute_features()suportam todas funcionalidades baseadas emRequestSource. -
log_modelintegra automaticamenteRequestSourcefuncionalidades na assinatura do modelo.
- A nova
-
Seleção de coluna (Beta):
- A nova
ColumnSelectionclasse permite selecionar colunas de saída específicas a partir de uma fonte de funcionalidades, permitindo definições de características mais granulares. - Suportado em
create_feature(),create_training_set(),compute_features(), elog_model.
- A nova
-
Outras melhorias:
- Novo
TableTriggertipo de trigger paramaterialize_featuresque aciona a materialização com atualizações da tabela Delta. -
score_batché agora executado em ambientes de execução sem servidor do Databricks Runtime. -
DeltaTableSource.from_sql()agora rejeita cláusulas SQL não suportadas, comoGROUP BYeORDER BY. -
RequestSource.from_dataframe()infere o esquema de pedido a partir de um DataFrame existente. - Removeu a dependência do Flask de
databricks-feature-engineering. - Correções de bugs e melhorias.
- Novo
databricks-feature-engineering 0.14.0
-
Funcionalidades Declarativas em Lote (Beta):
- API de características declarativas para armazenar definições declarativas de características como funções do Catálogo Unity com agregações e janelas temporais.
- A API de funcionalidades materializadas agenda a materialização automática em lote de funcionalidades para lojas online usando cron configuráveis.
- As funcionalidades materializadas podem ser usadas na aplicação online de modelos registados no Catálogo Unity.
- Suporte para janelas deslizantes e de tumbling usando classes
SlidingWindoweTumblingWindowpara cálculo de características corretas em ponto no tempocreate_training_set(). -
filter_conditionParameter permite filtrar dados de origem ao calcular funcionalidades.
-
Outras melhorias:
- A nova
list_online_stores()API lista todas as lojas online num catálogo ou esquema. - Suporte para
usage_policy_idacompanhamento de faturação ao criar ou atualizar lojas online. - Mensagens de erro melhoradas quando as lojas online são eliminadas ou indisponíveis.
- Correções de bugs e melhorias de desempenho.
- A nova
databricks-feature-engineering 0.13.0
- APIs para gerir lojas de funcionalidades online geridas pelo Databricks.
-
publish_table()agora aceitasource_table_name,online_table_name, epublish_modeparâmetros para especificação de tabela mais clara. - Suporte para
read_replica_countao criar ou atualizar lojas online para melhorar a escalabilidade de leitura. - Correções de bugs e melhorias.
Databricks-Feature-Engineering 0.12.1
- Suporte valores padrão para consultas de funcionalidades.
- Correções de bugs e melhorias.
Databricks-Feature-Engineering 0.11.0
- Adicione suporte para a
mlflowversão 3.0. - Correções de bugs e melhorias.
Databricks-Feature-Engineering 0.10.2
- Adicione suporte para a
mlflowversão 2.20.0 e superior. - Adicione suporte para a
numpyversão 2.x. - Correções de bugs e melhorias.
Databricks-Feature-Engineering versão 0.9.0
- Suportar o uso de
prebuilt_envnas invocaçõesscore_batch. - A funcionalidade "point-in-time" melhora o desempenho com o Photon.
- Correções de bugs e melhorias.
Databricks-Feature-Engineering 0.8.0
- Suporte para o uso de
paramsnas invocações descore_batch, o que permite que parâmetros adicionais sejam passados para o modelo para inferência. - Correções de bugs e melhorias.
Databricks-Feature-Engineering 0.7.0
- Certas visualizações no Unity Catalog agora podem ser usadas como tabelas de recursos para treinamento e avaliação de modelos offline. Veja Ler de uma tabela de características no Catálogo Unity.
- Os conjuntos de treinamento agora podem ser criados com consultas de características ou uma especificação de características. Consulte a referência do SDK do Python.
Databricks-Feature-Engineering 0.6.0
- A execução de junções point-in-time com o Spark nativo agora é suportada, além do suporte existente com o Tempo. Muito obrigado a Semyon Sinchenko por sugerir a ideia!
-
StructTypeagora é suportado como um tipo de dados PySpark.StructTypenão é suportado para serviço online. -
write_tableagora suporta a escrita em tabelas que têm aglomeração líquida ativada. - O
timeseries_columnsparâmetro decreate_tablefoi renomeado paratimeseries_column. Os fluxos de trabalho existentes podem continuar a usar otimeseries_columnsparâmetro. -
score_batchagora suporta oenv_managerparâmetro. Consulte a documentação do MLflow para obter mais informações.
Databricks-Feature-Engineering 0.5.0
- Nova API
update_feature_specemdatabricks-feature-engineeringque permite aos usuários atualizar o proprietário de um FeatureSpec no Unity Catalog.
databricks-feature-engineering 0.4.0
- Pequenas correções de bugs e melhorias.
Databricks-Feature-Engineering 0.3.0
-
log_modelagora usa o novo pacote PyPI databricks-feature-lookup, que inclui melhorias de desempenho para o serviço online de modelos.
databricks-feature-store 0.17.0
-
databricks-feature-storeestá obsoleto. Todos os módulos existentes neste pacote estão disponíveis nadatabricks-feature-engineeringversão 0.2.0 e superior. Para obter detalhes, consulte Python API.
Databricks-Feature-Engineering 0.2.0
-
databricks-feature-engineeringagora contém todos os módulos dodatabricks-feature-store. Para obter detalhes, consulte Python API.
databricks-feature-store 0.16.3
- Corrige erro de tempo limite ao usar o AutoML com tabelas de características.
Databricks-Feature-Engineering 0.1.3
- Pequenas melhorias no UpgradeClient.
databricks-feature-store 0.16.2
- Agora você pode criar pontos de extremidade para Distribuição de Funcionalidades e Funções. Para obter detalhes, consulte Feature & Function Serving.
databricks-feature-store 0.16.1
- Pequenas correções de bugs e melhorias.
databricks-feature-engineering 0.1.2 & databricks-feature-store 0.16.0
- Pequenas correções de bugs e melhorias.
- Corrigidas as URLs de linhagem de trabalho incorretas registadas automaticamente em determinados ambientes de trabalho.
Databricks-Feature-Engineering 0.1.1
- Pequenas correções de bugs e melhorias.
Databricks-Feature-Engineering 0.1.0
- Versão de disponibilidade geral da Engenharia de Funcionalidades no cliente Python do Unity Catalog para PyPI
databricks-feature-store 0.15.1
- Pequenas correções de bugs e melhorias.
databricks-feature-store 0.15.0
- Agora você pode inferir e registrar automaticamente um exemplo de entrada ao registrar um modelo. Para fazer isso, defina
infer_model_examplecomoTruequando chamarlog_model. O exemplo é baseado nos dados de treinamento especificados notraining_setparâmetro.
databricks-feature-store 0.14.2
- Corrigir bug na publicação a partir do MariaDB Connector/J para o Aurora MySQL >= 2.7.5.
databricks-feature-store 0.14.1
- Pequenas correções de bugs e melhorias.
Databricks-feature-store 0.14.0
A partir da versão 0.14.0, deve especificar colunas chave de timestamp no argumento primary_keys. As chaves de carimbo de data/hora são parte das "chaves primárias" que identificam exclusivamente cada linha da tabela de funcionalidades. Como outras colunas de chave primária, as colunas de chave de timestamp não podem conter valores NULL.
No exemplo a seguir, o DataFrame user_features_df contém as seguintes colunas: user_id, ts, purchases_30de is_free_trial_active.
0.14.0 e superior
fs = FeatureStoreClient()
fs.create_table(
name="ads_team.user_features",
primary_keys=["user_id", "ts"],
timestamp_keys="ts",
features_df=user_features_df,
)
0.13.1 e inferior
fs = FeatureStoreClient()
fs.create_table(
name="ads_team.user_features",
primary_keys="user_id",
timestamp_keys="ts",
features_df=user_features_df,
)
databricks-feature-store 0.13.1
- Pequenas correções de bugs e melhorias.
databricks-feature-store 0.13.0
- A versão mínima necessária
mlflow-skinnyé agora 2.4.0. - A criação de um conjunto de treinamento falhará se o DataFrame fornecido não contiver todas as chaves de pesquisa necessárias.
- Ao registrar um modelo que usa tabelas de recursos no Unity Catalog, uma assinatura MLflow é registrada automaticamente com o modelo.
databricks-feature-store 0.12.0
- Agora você pode excluir uma loja online usando a
drop_online_tableAPI.
databricks-feature-store 0.11.0
- Nos espaços de trabalho habilitados para Catálogo Unity, agora você pode publicar tabelas de recursos do espaço de trabalho e do Catálogo Unity nas lojas online do Cosmos DB. Isso requer o Databricks Runtime 13.0 ML ou superior.
databricks-feature-store 0.10.0
- Pequenas correções de bugs e melhorias.
databricks-feature-store 0.9.0
- Pequenas correções de bugs e melhorias.
Databricks Feature Store 0.8.0
- Pequenas correções de bugs e melhorias.
Databricks-feature-store 0.7.1
- Adicione
flaskcomo uma dependência para corrigir o problema de dependência ausente ao pontuar modelos comscore_batch.
Databricks Feature Store 0.7.0
- Pequenas correções de bugs e melhorias.
databricks-feature-store 0.6.1
- Lançamento público inicial do cliente Databricks Feature Store para o PyPI.