Microsoft.ML.Tokenizers Namespace

Optionen für den Bert-Tokenizer.

Tokenizer für Bert-Modell.

Represent the Byte Pair Encoding model.

Ermöglicht das Decodieren von Original BPE durch Verknüpfen aller Token und das anschließende Ersetzen des Suffixes, das verwendet wird, um End-of-Words durch Leerzeichen zu identifizieren.

Represent the Byte Pair Encoding model.

Der bpe Trainer, der für die Ausbildung des Bpe-Modells verantwortlich ist.

Represent the Byte Pair Encoding model. Implementieren des codeGen-Tokenizers, der in https://huggingface.co/docs/transformers/main/en/model_doc/codegen#overview

Represent the Byte Pair Encoding model.

Represent the Byte Pair Encoding model.

LlamaTokenizer ist SentencePieceTokenizer, das basierend auf https://github.com/google/sentencepiece.

Normalisieren Sie die Zeichenfolge in Kleinbuchstaben, bevor Sie sie mit dem Tokenizer verarbeiten.

Stellt ein Modell dar, das während der Tokenisierung verwendet wird (z. B. BPE oder Word Stück oder Unigram).

Normalisieren Sie die Zeichenfolge vor der Verarbeitung mit dem Tokenizer.

Represent the Byte Pair Encoding model. Implementieren des in 2 beschriebenen Phi2-Tokenizers https://huggingface.co/microsoft/phi-2

Basisklasse für alle Vortokenizerklassen. Der PreTokenizer ist für die Vorsegmentierung verantwortlich.

Der Pre-Tokenizer für Tiktoken-Tokenizer.

Der Pre-Tokenizer für Roberta English tokenizer.

Normalisieren Sie die Zeichenfolge entsprechend der SentencePiece-Normalisierung.

SentencePieceBpe ist ein Tokenizer, der die Eingabe mithilfe des SentencePiece Bpe-Modells in Token aufteilt.

Dieser Split enthält das zugrunde liegende Geteilte Token sowie seine Offsets in der ursprünglichen Zeichenfolge. Diese Offsets befinden sich im original referenziellen Bereich. Sie enthält auch alle Token mit der aktuellen Unterbrechung verknüpften.

Stellt den schnellen Byte-Codierungstokenizer dar.

Stellen Sie das token dar, das aus dem Tokenisierungsprozess mit der Tokenunterzeichenfolge, der id, die der Tokenunterzeichenfolge zugeordnet ist, und die Offsetzuordnung zur ursprünglichen Zeichenfolge.

Stellt eine Abstraktion für Tokenizer bereit, wodurch die Codierung von Text in Token und die Decodierung von Token-IDs wieder in Text ermöglicht wird.

Ein Decoder hat die Verantwortung, die angegebene Liste von Token in einer Zeichenfolge zusammenzuführen.

Die Codierung stellt die Ausgabe eines Tokenizers dar.

A Trainer hat die Verantwortung, ein Modell zu trainieren. Wir füttern es mit Linien/Sätzen und dann kann es die gegebene Modeltrainieren.

Normalisieren Sie die Zeichenfolge in Großbuchstaben, bevor Sie sie mit dem Tokenizer verarbeiten.

Der Vortokenizer, der den Text an der Wortgrenze aufteilt. Das Wort ist eine Reihe von Alphabet-, Numerischen und Unterstrichzeichen.

Optionen für den WordPiece-Tokenizer.

Stellt den WordPiece-Tokenizer dar.

Stellen Sie ein Token dar, das der Benutzer über dem vorhandenen Modellvokabular hinzugefügt hat. AddedToken kann so konfiguriert werden, dass das Verhalten angegeben wird, das sie in verschiedenen Situationen haben sollten:

• Gibt an, ob sie nur mit einzelnen Wörtern übereinstimmen sollen
• Gibt an, ob Leerzeichen auf der linken oder rechten Seite enthalten sein sollen.

Stellen Sie das token dar, das aus dem Tokenisierungsprozess mit der Tokenunterzeichenfolge, der id, die der Tokenunterzeichenfolge zugeordnet ist, und die Offsetzuordnung zur ursprünglichen Zeichenfolge.

Das Ergebnis der Codierung eines Texts.

Die Einstellungen, die zum Codieren eines Texts verwendet werden.

Enthält die normalisierte Zeichenfolge und die Zuordnung zur ursprünglichen Zeichenfolge.

Stellt den Status des gemeldeten Fortschritts dar.