RobertaPreTokenizer Classe
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Tokenizer di pre-tokenizzatore per Roberta English tokenizer.
public sealed class RobertaPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizertype RobertaPreTokenizer = class
inherit PreTokenizerPublic NotInheritable Class RobertaPreTokenizer
Inherits PreTokenizer- Ereditarietà
Costruttori
| Nome | Descrizione |
|---|---|
| RobertaPreTokenizer() |
Tokenizer di pre-tokenizzatore per Roberta English tokenizer. |
Campi
| Nome | Descrizione |
|---|---|
| Instance |
Ottiene un'istanza singleton del pre-tokenizer Roberta. |
Proprietà
| Nome | Descrizione |
|---|---|
| Instance |
Ottiene un'istanza singleton del pre-tokenizer Roberta. |
Metodi
| Nome | Descrizione |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
Ottenere gli offset e le lunghezze dei token rispetto all'oggetto |
| PreTokenize(String) |
Ottenere gli offset e le lunghezze dei token rispetto all'oggetto |