Token クラス

定義

入力文字列内の単語など、個々のトークンを表します。

public class Token
type Token = class
Public Class Token
継承
Token

コンストラクター

名前 説明
Token()

入力文字列内の単語など、個々のトークンを表します。

プロパティ

名前 説明
End

入力内のトークンの最後の文字のインデックスを取得するか設定します。

Normalized

正規化されたトークンを取得したり設定したりします。

Start

入力内のトークンの最初の文字のインデックスを取得するか設定します。

Text

トークンの元のテキストを取得するか設定します。

適用対象

こちらもご覧ください