BertTokenizer.IndividuallyTokenizeCjk Proprietà

Definizione

Spazio dei nomi:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Pacchetto:: Microsoft.ML.Tokenizers v1.0.1

Pacchetto:: Microsoft.ML.Tokenizers v0.22.0

Pacchetto:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Origine:: BertTokenizer.cs

Origine:: BertTokenizer.cs

Origine:: BertTokenizer.cs

Importante

Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.

Ottiene un valore che indica se il tokenizer deve suddividere i caratteri CJK in token.

public bool IndividuallyTokenizeCjk { get; }

member this.IndividuallyTokenizeCjk : bool

Public ReadOnly Property IndividuallyTokenizeCjk As Boolean

Valore della proprietà

Boolean

Commenti

Ciò è utile quando si desidera tokenizzare i caratteri CJK singolarmente. Gli intervalli Unicode seguenti sono considerati caratteri CJK a questo scopo: - U+3400 - U+4DBF CJK Unified Ideographs Extension A. - U+4E00 - U+9FFF set di base di caratteri CJK. - U+F900 - U+FAFF CJK Compatibility Ideographs. - U+20000 - U+2A6DF CJK Unified Ideographs Extension B. - U+2A700 - U+2B73F CJK Unified Ideographs Extension C. - U+2B740 - U+2B81F CJK Unified Ideographs Extension D. - U+2B820 - U+2CEAF CJK Unified Ideographs Extension E. - U+2F800 - U+2FA1F CJK Compatibility Ideographs Supplement.

Si applica a