WordTokenizingEstimator Klasse
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Tokenisiert Eingabetext mit angegebenen Trennzeichen.
public sealed class WordTokenizingEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.WordTokenizingTransformer>type WordTokenizingEstimator = class
inherit TrivialEstimator<WordTokenizingTransformer>Public NotInheritable Class WordTokenizingEstimator
Inherits TrivialEstimator(Of WordTokenizingTransformer)- Vererbung
Hinweise
Schätzeigenschaften
| Muss dieser Schätzer die Daten untersuchen, um seine Parameter zu trainieren? | No |
| Eingabespaltendatentyp | Skalar oder Textvektor |
| Ausgabespaltendatentyp | Vektor mit variabler Größe von Text |
| Exportierbar in ONNX | Yes |
Das Ergebnis WordTokenizingTransformer erstellt eine neue Spalte, die gemäß den Parametern für die Ausgabespaltennamen angegeben ist, wobei jede Eingabezeichenfolge einem Vektor von Teilzeichenfolgen zugeordnet wird, die durch Teilen der Eingabezeichenfolge gemäß den benutzerdefinierten Trennzeichen abgerufen werden. Das Leerzeichen ist das Standardtrennzeichen.
Leere Zeichenfolgen und Zeichenfolgen, die nur Leerzeichen enthalten, werden gelöscht.
Im Abschnitt "Siehe auch" finden Sie Links zu Verwendungsbeispielen.
Methoden
| Name | Beschreibung |
|---|---|
| Fit(IDataView) |
Tokenisiert Eingabetext mit angegebenen Trennzeichen. (Geerbt von TrivialEstimator<TTransformer>) |
| GetOutputSchema(SchemaShape) |
Gibt das SchemaShape Schema zurück, das vom Transformator erzeugt wird. Wird für die Schemaverteilung und Überprüfung in einer Pipeline verwendet. |
Erweiterungsmethoden
| Name | Beschreibung |
|---|---|
| AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment) |
Fügen Sie einen "Zwischenspeicherungsprüfpunkt" an die Schätzkette an. Dadurch wird sichergestellt, dass die nachgeschalteten Schätzer anhand zwischengespeicherter Daten trainiert werden. Es ist hilfreich, einen Zwischenspeicherprüfpunkt vor Trainern zu haben, die mehrere Datendurchläufe übernehmen. |
| WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>) |
Geben Sie bei einer Schätzung ein Wrapping-Objekt zurück, das eine Stellvertretung aufruft, sobald Fit(IDataView) sie aufgerufen wird. Es ist häufig wichtig, dass ein Schätzer Informationen zu dem, was passt, zurückgeben, weshalb die Fit(IDataView) Methode ein speziell typiertes Objekt und nicht nur ein allgemeines ITransformerObjekt zurückgibt. IEstimator<TTransformer> Gleichzeitig werden jedoch oft in Pipelines mit vielen Objekten gebildet, daher müssen wir möglicherweise eine Kette von Schätzern bauen, über EstimatorChain<TLastTransformer> die der Schätzer, für den wir den Transformator erhalten wollen, irgendwo in dieser Kette begraben wird. Für dieses Szenario können wir über diese Methode einen Delegat anfügen, der aufgerufen wird, sobald "Fit" aufgerufen wird. |