Tokenizer.DefaultTokenizerImpl(String, String) Método

Definição

Namespace:: Microsoft.Bot.Builder.Dialogs.Choices

Assembly:: Microsoft.Bot.Builder.Dialogs.dll

Pacote:: Microsoft.Bot.Builder.Dialogs v4.22.7

Importante

Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.

Tokenizador simples que quebra em espaços e pontuação. A única normalização feita é em letras minúsculas.

public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl(string text, string locale = default);

static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>

Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)

Parâmetros

text: String

O texto de entrada.

locale: String

Opcional, identifica a localidade do texto de entrada.

Retornos

List<Token>

Uma lista de tokens.

Comentários

Esta é uma versão exata da implementação JavaScript do algoritmo, exceto que aqui as funções da biblioteca .NET são usadas no lugar das funções de código de código em cadeia JavaScript.

Aplica-se a