Bpe Classe
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Rappresentare il modello di codifica della coppia di byte.
public sealed class Bpe : Microsoft.ML.Tokenizers.Modeltype Bpe = class
inherit ModelPublic NotInheritable Class Bpe
Inherits Model- Ereditarietà
Costruttori
| Nome | Descrizione |
|---|---|
| Bpe() |
Costruire un nuovo oggetto modello Bpe senza vocabolario di tokenizzazione. Questo costruttore è utile solo nello scenario di training. |
| Bpe(String, String, String, String, String) |
Costruire un nuovo oggetto modello Bpe da usare per il training di tokenizzazione delle frasi e tokenizer. |
Proprietà
| Nome | Descrizione |
|---|---|
| ContinuingSubwordPrefix |
Prefisso da utilizzare per ogni sottomaschera che non è un inizio di parola |
| Decoder |
Ottiene l'oggetto decodificatore Bpe. |
| EndOfWordSuffix |
Suffisso facoltativo per caratterizzare e terminare la parola secondaria |
| FuseUnknownTokens |
Ottiene o imposta un valore che indica se consentire la fusione di più token sconosciuti |
| UnknownToken |
Ottiene o imposta un token sconosciuto. Token sconosciuto da usare quando viene rilevato un carattere sconosciuto |
Metodi
| Nome | Descrizione |
|---|---|
| GetTrainer() |
Ottiene un oggetto trainer da utilizzare nel training del modello e genera il vocabolario e unisce i dati. |
| GetVocab() |
Ottiene i token di mapping del dizionario agli ID. |
| GetVocabSize() |
Ottiene le dimensioni del dizionario che eseguono il mapping dei token agli ID. |
| IdToToken(Int32, Boolean) |
Eseguire il mapping dell'ID con token al token. |
| Save(String, String) |
Salvare i dati del modello nel vocabolario e unire i file. |
| Tokenize(String) |
Tokenizzare una stringa di sequenza in un elenco di token. |
| TokenToId(String) |
Eseguire il mapping del token all'ID con token. |