PreTokenizer.CreateWordOrPunctuation Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Erstellen Sie eine neue Instanz der PreTokenizer Klasse, die den Text an den Leerzeichen oder Interpunktionszeichen aufteilt.
public static Microsoft.ML.Tokenizers.PreTokenizer CreateWordOrPunctuation(System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);static member CreateWordOrPunctuation : System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.PreTokenizerPublic Shared Function CreateWordOrPunctuation (Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As PreTokenizerParameter
- specialTokens
- IReadOnlyDictionary<String,Int32>
Das Wörterbuch, das die speziellen Token und die entsprechenden IDs enthält.
Gibt zurück
Der Prätokenizer, der den Text an den Leerzeichen oder Interpunktionszeichen aufteilt.
Hinweise
Dieser Vortokenizer verwendet das regex-Muster "\w+|[\p{P}]" zum Aufteilen des Texts in Token.