EnglishRoberta Classe

Definizione

Rappresentare il modello di codifica della coppia di byte.

public sealed class EnglishRoberta : Microsoft.ML.Tokenizers.Model
type EnglishRoberta = class
    inherit Model
Public NotInheritable Class EnglishRoberta
Inherits Model
Ereditarietà
EnglishRoberta

Costruttori

Nome Descrizione
EnglishRoberta(Stream, Stream, Stream)

Costruire l'oggetto tokenizer da usare con il modello Inglese Robert.

EnglishRoberta(String, String, String)

Costruire l'oggetto tokenizer da usare con il modello Inglese Robert.

Proprietà

Nome Descrizione
PadIndex

Ottiene l'indice del simbolo del riquadro all'interno dell'elenco dei simboli.

SymbolsCount

Ottiene la lunghezza dell'elenco dei simboli.

Metodi

Nome Descrizione
AddMaskSymbol(String)

Aggiungere il simbolo della maschera all'elenco dei simboli.

GetTrainer()

Ottiene un oggetto trainer da utilizzare nel training del modello e genera il vocabolario e unisce i dati.

GetVocab()

Ottiene i token di mapping del dizionario agli ID.

GetVocabSize()

Ottiene le dimensioni del dizionario che eseguono il mapping dei token agli ID.

IdsToOccurrenceRanks(IReadOnlyList<Int32>)

Convertire un elenco di ID token in classifica delle occorrenze più alte.

IdsToOccurrenceValues(IReadOnlyList<Int32>)

Convertire un elenco di ID token in valori di occorrenza più alti.

IdToToken(Int32, Boolean)

Eseguire il mapping dell'ID con token al token.

OccurrenceRanksIds(IReadOnlyList<Int32>)

Convertire un elenco di classificazioni delle occorrenze più alte in un elenco di ID token.

Save(String, String)

Salvare i dati del modello nel vocabolario, unire e nei file di mapping delle occorrenze.

Tokenize(String)

Tokenizzare una stringa di sequenza in un elenco di token.

TokenToId(String)

Eseguire il mapping del token all'ID con token.

Si applica a