WordTokenizingEstimator Clase
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Tokeniza el texto de entrada mediante delimitadores especificados.
public sealed class WordTokenizingEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.WordTokenizingTransformer>type WordTokenizingEstimator = class
inherit TrivialEstimator<WordTokenizingTransformer>Public NotInheritable Class WordTokenizingEstimator
Inherits TrivialEstimator(Of WordTokenizingTransformer)- Herencia
Comentarios
Características del estimador
| ¿Necesita este estimador examinar los datos para entrenar sus parámetros? | No |
| Tipo de datos de columna de entrada | Escalar o vector de texto |
| Tipo de datos de columna de salida | Vector de tamaño variable de texto |
| Exportable a ONNX | Yes |
El resultado WordTokenizingTransformer crea una nueva columna, denominada como se especifica en los parámetros de nombre de columna de salida, donde cada cadena de entrada se asigna a un vector de subcadenas obtenidos dividiendo la cadena de entrada según los delimitadores definidos por el usuario. El carácter de espacio es el delimitador predeterminado.
Las cadenas vacías y las cadenas que contienen solo los espacios se quitan.
Consulte la sección Ver también para obtener vínculos a ejemplos de uso.
Métodos
| Nombre | Description |
|---|---|
| Fit(IDataView) |
Tokeniza el texto de entrada mediante delimitadores especificados. (Heredado de TrivialEstimator<TTransformer>) |
| GetOutputSchema(SchemaShape) |
Devuelve el SchemaShape del esquema que generará el transformador. Se usa para la propagación y comprobación del esquema en una canalización. |
Métodos de extensión
| Nombre | Description |
|---|---|
| AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment) |
Anexe un "punto de control de almacenamiento en caché" a la cadena del estimador. Esto garantizará que los estimadores de nivel inferior se entrenarán con los datos almacenados en caché. Resulta útil tener un punto de control de almacenamiento en caché antes de que los instructores tomen varios pases de datos. |
| WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>) |
Dado un estimador, devuelva un objeto de ajuste que llamará a un delegado una vez Fit(IDataView) que se llame. A menudo, es importante que un estimador devuelva información sobre lo que se ha ajustado, por lo que el Fit(IDataView) método devuelve un objeto específicamente tipado, en lugar de simplemente un general ITransformer. Sin embargo, al mismo tiempo, IEstimator<TTransformer> a menudo se forman en canalizaciones con muchos objetos, por lo que es posible que tengamos que crear una cadena de estimadores a través EstimatorChain<TLastTransformer> de donde el estimador para el que queremos obtener el transformador está enterrado en algún lugar de esta cadena. En ese escenario, podemos a través de este método adjuntar un delegado al que se llamará una vez que se llame a fit. |