WhiteSpace Classe
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Pre-tokenizzatore che divide il testo in corrispondenza del limite della parola. La parola è un set di caratteri alfabetici, numerici e di sottolineatura.
public sealed class WhiteSpace : Microsoft.ML.Tokenizers.PreTokenizertype WhiteSpace = class
inherit PreTokenizerPublic NotInheritable Class WhiteSpace
Inherits PreTokenizer- Ereditarietà
Costruttori
| Nome | Descrizione |
|---|---|
| WhiteSpace() |
Pre-tokenizzatore che divide il testo in corrispondenza del limite della parola. La parola è un set di caratteri alfabetici, numerici e di sottolineatura. |
Campi
| Nome | Descrizione |
|---|---|
| Instance |
Ottiene un'istanza singleton del pre-tokenizer whitespace. |
Metodi
| Nome | Descrizione |
|---|---|
| PreTokenize(String) |
Divide la stringa specificata in più sottostringhe al limite della parola, tenendo traccia degli offset delle sottostringhe indicate dalla stringa originale. |