Token Klasse

Definition

Stellen Sie das token dar, das aus dem Tokenisierungsprozess mit der Tokenunterzeichenfolge, der id, die der Tokenunterzeichenfolge zugeordnet ist, und die Offsetzuordnung zur ursprünglichen Zeichenfolge.

public sealed class Token
type Token = class
Public NotInheritable Class Token
Vererbung
Token

Konstruktoren

Name Beschreibung
Token(Int32, String, ValueTuple<Int32,Int32>)

Erstellen Sie ein neues Token-Objekt mithilfe des Tokenwerts, der ID und der Offsetzuordnung zur ursprünglichen Zeichenfolge.

Eigenschaften

Name Beschreibung
Id

Ruft den ID-Wert ab, der dem Token zugeordnet ist.

Offset

Ruft die Offsetzuordnung zur ursprünglichen Zeichenfolge ab.

Value

Ruft den Tokenzeichenfolgenwert ab.

Gilt für: