EncodedToken(Int32, String, Range) Konstruktor

Definition

Erstellen Sie ein neues Token-Objekt mithilfe des Tokenwerts, der ID und der Offsetzuordnung zur ursprünglichen Zeichenfolge.

public EncodedToken(int id, string value, Range offset);
new Microsoft.ML.Tokenizers.EncodedToken : int * string * Range -> Microsoft.ML.Tokenizers.EncodedToken
Public Sub New (id As Integer, value As String, offset As Range)

Parameter

id
Int32

Der id-Wert, der dem Token zugeordnet ist.

value
String

Der Tokenzeichenfolgenwert.

offset
Range

Die Offsetzuordnung zur ursprünglichen Zeichenfolge.

Gilt für: