PreTokenizer.CreateWhiteSpace(IReadOnlyDictionary<String,Int32>) Methode

Definition

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Paket:: Microsoft.ML.Tokenizers v1.0.1

Paket:: Microsoft.ML.Tokenizers v0.22.0

Paket:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Quelle:: PreTokenizer.cs

Quelle:: PreTokenizer.cs

Quelle:: PreTokenizer.cs

Wichtig

Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.

Erstellen Sie eine neue Instanz der PreTokenizer Klasse, die den Text an den Leerzeichen aufteilt.

public static Microsoft.ML.Tokenizers.PreTokenizer CreateWhiteSpace(System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);

static member CreateWhiteSpace : System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.PreTokenizer

Public Shared Function CreateWhiteSpace (Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As PreTokenizer

Parameter

specialTokens: IReadOnlyDictionary<String,Int32>

Das Wörterbuch, das die speziellen Token und die entsprechenden IDs enthält.

Gibt zurück

PreTokenizer

Der Vortokenizer, der den Text an den Weißen Leerzeichen aufteilt.

Hinweise

Dieser Vortokenizer verwendet das regex-Muster "\S+", um den Text in Token aufzuteilen.

Gilt für: