Model Klasse

Definition

Stellt ein Modell dar, das während der Tokenisierung verwendet wird (z. B. BPE oder Word Stück oder Unigram).

public abstract class Model
type Model = class
Public MustInherit Class Model
Vererbung
Model
Abgeleitet

Konstruktoren

Name Beschreibung
Model()

Stellt ein Modell dar, das während der Tokenisierung verwendet wird (z. B. BPE oder Word Stück oder Unigram).

Methoden

Name Beschreibung
GetTrainer()

Ruft ein Trainerobjekt ab, das beim Trainieren des Modells verwendet werden soll.

GetVocab()

Ruft die Wörterbuchzuordnungstoken zu IDs ab.

GetVocabSize()

Ruft die Wörterbuchgröße ab, die Token ids zuzuordnen.

IdToToken(Int32, Boolean)

Ordnen Sie die tokenisierte ID dem Token zu.

Save(String, String)

Speichern Sie die Modelldaten im Vokabular, und führen Sie Dateien zusammen.

Tokenize(String)

Tokenisieren Sie eine Sequenzzeichenfolge in einer Liste von Token.

TokenToId(String)

Ordnen Sie das Token der tokenisierten ID zu.

Gilt für: