Tokenizer.DefaultTokenizerImpl(String, String) Método

Definición

Espacio de nombres:: Microsoft.Bot.Builder.Dialogs.Choices

Ensamblado:: Microsoft.Bot.Builder.Dialogs.dll

Paquete:: Microsoft.Bot.Builder.Dialogs v4.22.7

Importante

Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.

Tokenizador simple que se interrumpe en espacios y puntuación. La única normalización realizada es en minúsculas.

public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl(string text, string locale = default);

static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>

Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)

Parámetros

text: String

Texto de entrada.

locale: String

Opcional, identifica la configuración regional del texto de entrada.

Devoluciones

List<Token>

Lista de tokens.

Comentarios

Este es un port exacto de la implementación en JavaScript del algoritmo, salvo que aquí se utilizan las funciones de la biblioteca .NET en lugar de las funciones de código de código en cadena de JavaScript.

Se aplica a