Model Classe

Definizione

Rappresenta un modello usato durante la tokenizzazione, ad esempio BPE o Word Piece o Unigram.

public abstract class Model
type Model = class
Public MustInherit Class Model
Ereditarietà
Model
Derivato

Costruttori

Nome Descrizione
Model()

Rappresenta un modello usato durante la tokenizzazione, ad esempio BPE o Word Piece o Unigram.

Metodi

Nome Descrizione
GetTrainer()

Ottiene un oggetto trainer da utilizzare nel training del modello.

GetVocab()

Ottiene i token di mapping del dizionario agli ID.

GetVocabSize()

Ottiene le dimensioni del dizionario che eseguono il mapping dei token agli ID.

IdToToken(Int32, Boolean)

Eseguire il mapping dell'ID con token al token.

Save(String, String)

Salvare i dati del modello nel vocabolario e unire i file.

Tokenize(String)

Tokenizzare una stringa di sequenza in un elenco di token.

TokenToId(String)

Eseguire il mapping del token all'ID con token.

Si applica a