RobertaPreTokenizer Klasse
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Der Pre-Tokenizer für Roberta English tokenizer.
public sealed class RobertaPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizertype RobertaPreTokenizer = class
inherit PreTokenizerPublic NotInheritable Class RobertaPreTokenizer
Inherits PreTokenizer- Vererbung
Konstruktoren
| Name | Beschreibung |
|---|---|
| RobertaPreTokenizer() |
Der Pre-Tokenizer für Roberta English tokenizer. |
Felder
| Name | Beschreibung |
|---|---|
| Instance |
Ruft eine Singleton-Instanz des Roberta-Vortokenizers ab. |
Eigenschaften
| Name | Beschreibung |
|---|---|
| Instance |
Ruft eine Singleton-Instanz des Roberta-Vortokenizers ab. |
Methoden
| Name | Beschreibung |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
Rufen Sie die Offsets und Längen der Token relativ zum |
| PreTokenize(String) |
Rufen Sie die Offsets und Längen der Token relativ zum |