BpeTrainer Classe
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Il trainer Bpe responsabile del training del modello Bpe.
public sealed class BpeTrainer : Microsoft.ML.Tokenizers.Trainertype BpeTrainer = class
inherit TrainerPublic NotInheritable Class BpeTrainer
Inherits Trainer- Ereditarietà
Costruttori
| Nome | Descrizione |
|---|---|
| BpeTrainer() |
Costruire un nuovo oggetto BpeTrainer usando i valori predefiniti. |
| BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String) |
Costruire un nuovo oggetto BpeTrainer. |
Proprietà
| Nome | Descrizione |
|---|---|
| ContinuingSubwordPrefix |
Ottiene il prefisso da utilizzare per ogni parola secondaria che non è un inizio di parola. |
| EndOfWordSuffix |
Ottiene il suffisso da utilizzare per ogni parola secondaria che è una parola finale. |
| InitialAlphabet |
Ottiene l'elenco di caratteri da includere nell'alfabeto iniziale, anche se non visualizzato nel set di dati di training. Se le stringhe contengono più di un carattere, viene mantenuto solo il primo. |
| LimitAlphabet |
Ottiene il numero massimo di caratteri diversi da mantenere nell'alfabeto. |
| MinFrequency |
Ottiene la frequenza minima di cui deve essere unita una coppia. |
| Progress |
Impostare quando è necessario segnalare lo stato di avanzamento durante il training. (Ereditato da Trainer) |
| SpecialTokens |
Ottiene l'elenco di token speciali di cui il modello deve conoscere. |
| VocabSize |
Ottiene le dimensioni del vocabolario finale, inclusi tutti i token e l'alfabeto. |
Metodi
| Nome | Descrizione |
|---|---|
| Feed(IEnumerable<String>, Func<String,IEnumerable<String>>) |
Elaborare le sequenze di input e inserire il risultato nel modello. |
| Train(Model) |
Eseguire il training effettivo e aggiornare il modello di input con i nuovi vocabolari e unisce i dati. |