Bpe Klasse
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Represent the Byte Pair Encoding model.
public sealed class Bpe : Microsoft.ML.Tokenizers.Modeltype Bpe = class
inherit ModelPublic NotInheritable Class Bpe
Inherits Model- Vererbung
Konstruktoren
| Name | Beschreibung |
|---|---|
| Bpe() |
Erstellen Sie ein neues Bpe-Modellobjekt ohne Tokenisierungsvokabular. Dieser Konstruktor ist nur im Schulungsszenario hilfreich. |
| Bpe(String, String, String, String, String) |
Erstellen Sie ein neues Bpe-Modellobjekt, das für die Schulung von Satztokentoken und Tokenizern verwendet werden soll. |
Eigenschaften
| Name | Beschreibung |
|---|---|
| ContinuingSubwordPrefix |
Ein Präfix, das für jedes Unterwort verwendet werden soll, das kein Anfang des Worts ist |
| Decoder |
Ruft das Bpe-Decoderobjekt ab. |
| EndOfWordSuffix |
Ein optionales Suffix zum Charakterisieren und End-of-Word-Unterwort |
| FuseUnknownTokens |
Ruft ab oder legt fest, ob mehrere unbekannte Token fused werden |
| UnknownToken |
Ruft ein unbekanntes Token ab oder legt es fest. Das unbekannte Token, das verwendet werden soll, wenn ein unbekanntes Zeichen auftritt |
Methoden
| Name | Beschreibung |
|---|---|
| GetTrainer() |
Ruft ein Trainerobjekt ab, das beim Trainieren des Modells verwendet werden soll, und generiert das Vokabular und führt Daten zusammen. |
| GetVocab() |
Ruft die Wörterbuchzuordnungstoken zu IDs ab. |
| GetVocabSize() |
Ruft die Wörterbuchgröße ab, die Token ids zuzuordnen. |
| IdToToken(Int32, Boolean) |
Ordnen Sie die tokenisierte ID dem Token zu. |
| Save(String, String) |
Speichern Sie die Modelldaten im Vokabular, und führen Sie Dateien zusammen. |
| Tokenize(String) |
Tokenisieren Sie eine Sequenzzeichenfolge in einer Liste von Token. |
| TokenToId(String) |
Ordnen Sie das Token der tokenisierten ID zu. |