TokenizingByCharactersEstimator Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
public sealed class TokenizingByCharactersEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.TokenizingByCharactersTransformer>type TokenizingByCharactersEstimator = class
inherit TrivialEstimator<TokenizingByCharactersTransformer>Public NotInheritable Class TokenizingByCharactersEstimator
Inherits TrivialEstimator(Of TokenizingByCharactersTransformer)- Herança
Comentários
Características do avaliador
| Esse avaliador precisa examinar os dados para treinar seus parâmetros? | Yes |
| Tipo de dados de coluna de entrada | Escalar ou vetor de texto |
| Tipo de dados de coluna de saída | Vetor de tamanho variável do tipo de chave . |
| Exportável para ONNX | Yes |
O avaliador tokeniza os caracteres dividindo o texto em sequências de caracteres usando uma janela deslizante. Durante o treinamento, o avaliador cria um dicionário de pares chave-valor com as sequências de caracteres encontradas.
O TokenizingByCharactersTransformer resultado da montagem do avaliador cria uma nova coluna, nomeada conforme especificado nos parâmetros de nome da coluna de saída, que contém as chaves das sequências de caracteres que foram encontradas na entrada.
Verifique a seção Consulte Também para obter links para exemplos de uso.
Métodos
| Nome | Description |
|---|---|
| Fit(IDataView) |
IEstimator<TTransformer> para o TokenizingByCharactersTransformer. (Herdado de TrivialEstimator<TTransformer>) |
| GetOutputSchema(SchemaShape) |
Retorna o SchemaShape esquema que será produzido pelo transformador. Usado para propagação e verificação de esquema em um pipeline. |
Métodos de Extensão
| Nome | Description |
|---|---|
| AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment) |
Acrescente um 'ponto de verificação de cache' à cadeia do avaliador. Isso garantirá que os avaliadores downstream serão treinados em relação aos dados armazenados em cache. É útil ter um ponto de verificação de cache antes dos treinadores que têm várias passagens de dados. |
| WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>) |
Dado um avaliador, retorne um objeto de encapsulamento que chamará um delegado uma vez Fit(IDataView) chamado. Geralmente, é importante que um avaliador retorne informações sobre o que estava em forma, e é por isso que o Fit(IDataView) método retorna um objeto especificamente tipado, em vez de apenas um geral ITransformer. No entanto, ao mesmo tempo, IEstimator<TTransformer> muitas vezes são formados em pipelines com muitos objetos, portanto, talvez seja necessário criar uma cadeia de avaliadores por meio EstimatorChain<TLastTransformer> de onde o avaliador para o qual queremos obter o transformador está enterrado em algum lugar nessa cadeia. Para esse cenário, podemos por meio desse método anexar um delegado que será chamado assim que o ajuste for chamado. |