Token Classe

Definizione

Rappresenta il token generato dal processo di tokenizzazione contenente la sottostringa del token, l'ID associato alla sottostringa del token e il mapping dell'offset alla stringa originale.

public sealed class Token
type Token = class
Public NotInheritable Class Token
Ereditarietà
Token

Costruttori

Nome Descrizione
Token(Int32, String, ValueTuple<Int32,Int32>)

Costruire un nuovo oggetto Token usando il valore del token, l'ID e il mapping dell'offset alla stringa originale.

Proprietà

Nome Descrizione
Id

Ottiene il valore ID associato al token.

Offset

Ottiene il mapping dell'offset alla stringa originale.

Value

Ottiene il valore della stringa del token.

Si applica a