PreTokenizer.CreateWordOrPunctuation Metodo

Definizione

Spazio dei nomi:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Pacchetto:: Microsoft.ML.Tokenizers v1.0.1

Pacchetto:: Microsoft.ML.Tokenizers v0.22.0

Pacchetto:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Origine:: PreTokenizer.cs

Origine:: PreTokenizer.cs

Origine:: PreTokenizer.cs

Importante

Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.

Creare una nuova istanza della PreTokenizer classe che suddivide il testo in corrispondenza degli spazi vuoti o dei caratteri di punteggiatura.

public static Microsoft.ML.Tokenizers.PreTokenizer CreateWordOrPunctuation(System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);

static member CreateWordOrPunctuation : System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.PreTokenizer

Public Shared Function CreateWordOrPunctuation (Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As PreTokenizer

Parametri

specialTokens: IReadOnlyDictionary<String,Int32>

Dizionario contenente i token speciali e gli ID corrispondenti.

Valori restituiti

PreTokenizer

Pre-tokenizer che divide il testo in corrispondenza degli spazi vuoti o dei caratteri di punteggiatura.

Commenti

Questo pre-tokenizzatore usa il modello regex "\w+|[\p{P}]" per suddividere il testo in token.

Si applica a