SentencePieceNormalizer Klasse

Definition

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Paket:: Microsoft.ML.Tokenizers v1.0.1

Paket:: Microsoft.ML.Tokenizers v0.22.0

Paket:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Quelle:: SentencePieceNormalizer.cs

Quelle:: SentencePieceNormalizer.cs

Quelle:: SentencePieceNormalizer.cs

Wichtig

Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.

Normalisieren Sie die Zeichenfolge entsprechend der SentencePiece-Normalisierung.

public sealed class SentencePieceNormalizer : Microsoft.ML.Tokenizers.Normalizer

type SentencePieceNormalizer = class
    inherit Normalizer

Public NotInheritable Class SentencePieceNormalizer
Inherits Normalizer

Vererbung: Object

Normalizer
SentencePieceNormalizer

Konstruktoren

Name	Beschreibung
SentencePieceNormalizer(Boolean, Boolean, Boolean, Boolean, IReadOnlyDictionary<String,Int32>)	Erstellt ein SentencePieceNormalizer -Objekt.

Eigenschaften

Name	Beschreibung
AddDummyPrefix	Geben Sie das Dummypräfixzeichen U+2581 am Anfang des Satztokens während der Codierung an.
EscapeWhiteSpaces	Geben Sie leerzeichen an, indem Sie das Dummypräfixzeichen U+2581 hinzufügen.
RemoveExtraWhiteSpaces	Geben Sie an, dass während der Normalisierung zusätzliche Leerzeichen aus der ursprünglichen Zeichenfolge entfernt werden.
SpecialTokens	Geben Sie die hinzugefügten Token an.
TreatWhitespaceAsSuffix	Geben Sie die Behandlung von Leerzeichen als Suffix an.

Methoden

Name	Beschreibung
Normalize(ReadOnlySpan<Char>)	Normalisieren Sie die ursprüngliche Zeichenfolge entsprechend der Satzstücknormalisierung.
Normalize(String)	Normalisieren Sie die ursprüngliche Zeichenfolge entsprechend der Satzstücknormalisierung.

Gilt für: