Tokenizer Clase
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Proporciona una implementación de tokenizador predeterminada.
public class Tokenizertype Tokenizer = classPublic Class Tokenizer- Herencia
-
Tokenizer
Constructores
| Nombre | Description |
|---|---|
| Tokenizer() |
Proporciona una implementación de tokenizador predeterminada. |
Propiedades
| Nombre | Description |
|---|---|
| DefaultTokenizer |
Obtiene la implementación por defecto TokenizerFunction . |
Métodos
| Nombre | Description |
|---|---|
| DefaultTokenizerImpl(String, String) |
Tokenizador simple que se interrumpe en espacios y puntuación. La única normalización realizada es en minúsculas. |