PreTokenizer Classe
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Classe di base per tutte le classi di pre-tokenizer. Il preTokenizer è responsabile dell'esecuzione del passaggio di pre-segmentazione.
public abstract class PreTokenizertype PreTokenizer = classPublic MustInherit Class PreTokenizer- Ereditarietà
-
PreTokenizer
- Derivato
Costruttori
| Nome | Descrizione |
|---|---|
| PreTokenizer() |
Classe di base per tutte le classi di pre-tokenizer. Il preTokenizer è responsabile dell'esecuzione del passaggio di pre-segmentazione. |
Metodi
| Nome | Descrizione |
|---|---|
| CreateWhiteSpace(IReadOnlyDictionary<String,Int32>) |
Creare una nuova istanza della PreTokenizer classe che suddivide il testo negli spazi vuoti. |
| CreateWordOrNonWord(IReadOnlyDictionary<String,Int32>) |
Creare una nuova istanza della PreTokenizer classe che suddivide il testo in corrispondenza del limite di parola o non parola. La parola è un set di caratteri alfabetici, numerici e di sottolineatura. |
| CreateWordOrPunctuation(IReadOnlyDictionary<String,Int32>) |
Creare una nuova istanza della PreTokenizer classe che suddivide il testo in corrispondenza degli spazi vuoti o dei caratteri di punteggiatura. |
| PreTokenize(ReadOnlySpan<Char>) |
Ottenere gli offset e le lunghezze dei token rispetto alla stringa originale. |
| PreTokenize(String) |
Ottenere gli offset e le lunghezze dei token rispetto all'oggetto |