Tokenizer クラス
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
既定のトークナイザー実装を提供します。
public class Tokenizertype Tokenizer = classPublic Class Tokenizer- 継承
-
Tokenizer
コンストラクター
| 名前 | 説明 |
|---|---|
| Tokenizer() |
既定のトークナイザー実装を提供します。 |
プロパティ
| 名前 | 説明 |
|---|---|
| DefaultTokenizer |
デフォルトの TokenizerFunction 実装を手に入れます。 |
メソッド
| 名前 | 説明 |
|---|---|
| DefaultTokenizerImpl(String, String) |
スペースと句読点を区切る単純なトークナイザー。 行われる正規化は、小文字のみです。 |