WordTokenizingEstimator Classe
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Tokenzza il testo di input usando delimitatori specificati.
public sealed class WordTokenizingEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.WordTokenizingTransformer>type WordTokenizingEstimator = class
inherit TrivialEstimator<WordTokenizingTransformer>Public NotInheritable Class WordTokenizingEstimator
Inherits TrivialEstimator(Of WordTokenizingTransformer)- Ereditarietà
Commenti
Caratteristiche dello strumento di stima
| Questo strumento di stima deve esaminare i dati per eseguire il training dei relativi parametri? | No |
| Tipo di dati colonna di input | Scalare o vettore di testo |
| Tipo di dati della colonna di output | Vettore di dimensioni variabili di Testo |
| Esportabile in ONNX | Yes |
Il risultato WordTokenizingTransformer crea una nuova colonna, denominata come specificato nei parametri del nome della colonna di output, in cui ogni stringa di input viene mappata a un vettore di sottostringhe ottenute dividendo la stringa di input in base ai delimitatori definiti dall'utente. Il carattere spazio è il delimitatore predefinito.
Le stringhe e le stringhe vuote contenenti solo gli spazi vengono eliminate.
Vedere anche la sezione Vedere anche i collegamenti agli esempi di utilizzo.
Metodi
| Nome | Descrizione |
|---|---|
| Fit(IDataView) |
Tokenzza il testo di input usando delimitatori specificati. (Ereditato da TrivialEstimator<TTransformer>) |
| GetOutputSchema(SchemaShape) |
Restituisce l'oggetto SchemaShape dello schema che verrà prodotto dal trasformatore. Usato per la propagazione e la verifica dello schema in una pipeline. |
Metodi di estensione
| Nome | Descrizione |
|---|---|
| AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment) |
Aggiungere un "checkpoint di memorizzazione nella cache" alla catena di stima. In questo modo si garantisce che gli estimatori downstream vengano sottoposti a training su dati memorizzati nella cache. È utile disporre di un checkpoint di memorizzazione nella cache prima che i formatori eseseguono più passaggi di dati. |
| WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>) |
Dato uno strumento di stima, restituire un oggetto wrapping che chiamerà un delegato una volta Fit(IDataView) chiamato. È spesso importante che uno strumento di stima restituisca informazioni sulle dimensioni, motivo per cui il Fit(IDataView) metodo restituisce un oggetto tipizzato in modo specifico, anziché solo un oggetto generale ITransformer. Tuttavia, allo stesso tempo, IEstimator<TTransformer> vengono spesso formati in pipeline con molti oggetti, quindi potrebbe essere necessario creare una catena di estimatori tramite EstimatorChain<TLastTransformer> dove lo strumento di stima per il quale si vuole ottenere il trasformatore è sepolto in una posizione in questa catena. Per questo scenario, è possibile collegare un delegato che verrà chiamato una volta chiamato fit. |