Tokenizer.DefaultTokenizerImpl(String, String) メソッド
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
スペースと句読点を区切る単純なトークナイザー。 行われる正規化は、小文字のみです。
public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl(string text, string locale = default);static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)パラメーター
- text
- String
入力テキスト。
- locale
- String
省略可能。入力テキストのロケールを識別します。
返品
トークンの一覧。
注釈
これはJavaScript実装の正確な移植ですが、ここではJavaScriptの文字列コードポイント関数の代わりに.NETライブラリ関数が使用されています。