BertTokenizer.ApplyBasicTokenization Proprietà
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Ottiene un valore che indica se il tokenizer deve eseguire la tokenizzazione di base. Come il testo pulito, normalizzarlo, abbassarlo e così via.
public bool ApplyBasicTokenization { get; }member this.ApplyBasicTokenization : boolPublic ReadOnly Property ApplyBasicTokenization As Boolean