PreTokenizer Klasse

Definition

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Paket:: Microsoft.ML.Tokenizers v1.0.1

Paket:: Microsoft.ML.Tokenizers v0.20.1

Paket:: Microsoft.ML.Tokenizers v0.22.0

Paket:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Quelle:: PreTokenizer.cs

Quelle:: PreTokenizer.cs

Quelle:: PreTokenizer.cs

Wichtig

Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.

Basisklasse für alle Vortokenizerklassen. Der PreTokenizer ist für die Vorsegmentierung verantwortlich.

public abstract class PreTokenizer

type PreTokenizer = class

Public MustInherit Class PreTokenizer

Vererbung: Object
PreTokenizer

Abgeleitet: Microsoft.ML.Tokenizers.RegexPreTokenizer

Microsoft.ML.Tokenizers.RobertaPreTokenizer

Microsoft.ML.Tokenizers.WhiteSpace

Konstruktoren

Name	Beschreibung
PreTokenizer()	Basisklasse für alle Vortokenizerklassen. Der PreTokenizer ist für die Vorsegmentierung verantwortlich.

Methoden

Name	Beschreibung
CreateWhiteSpace(IReadOnlyDictionary<String,Int32>)	Erstellen Sie eine neue Instanz der PreTokenizer Klasse, die den Text an den Leerzeichen aufteilt.
CreateWordOrNonWord(IReadOnlyDictionary<String,Int32>)	Erstellen Sie eine neue Instanz der PreTokenizer Klasse, die den Text an der Wort- oder Nicht-Wort-Grenze aufteilt. Das Wort ist eine Reihe von Alphabet-, Numerischen und Unterstrichzeichen.
CreateWordOrPunctuation(IReadOnlyDictionary<String,Int32>)	Erstellen Sie eine neue Instanz der PreTokenizer Klasse, die den Text an den Leerzeichen oder Interpunktionszeichen aufteilt.
PreTokenize(ReadOnlySpan<Char>)	Rufen Sie die Offsets und Längen der Token relativ zur ursprünglichen Zeichenfolge ab.
PreTokenize(String)	Rufen Sie die Offsets und Längen der Token relativ zum `text`.

Gilt für: