Tokenizer Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Fornece uma implementação de tokenizador padrão.
public class Tokenizertype Tokenizer = classPublic Class Tokenizer- Herança
-
Tokenizer
Construtores
| Nome | Description |
|---|---|
| Tokenizer() |
Fornece uma implementação de tokenizador padrão. |
Propriedades
| Nome | Description |
|---|---|
| DefaultTokenizer |
Recebe a implementação padrão TokenizerFunction . |
Métodos
| Nome | Description |
|---|---|
| DefaultTokenizerImpl(String, String) |
Tokenizador simples que quebra em espaços e pontuação. A única normalização feita é em letras minúsculas. |