EncodedToken(Int32, String, Range) Konstruktor
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Erstellen Sie ein neues Token-Objekt mithilfe des Tokenwerts, der ID und der Offsetzuordnung zur ursprünglichen Zeichenfolge.
public EncodedToken(int id, string value, Range offset);
new Microsoft.ML.Tokenizers.EncodedToken : int * string * Range -> Microsoft.ML.Tokenizers.EncodedToken
Public Sub New (id As Integer, value As String, offset As Range)
Parameter
- id
- Int32
Der id-Wert, der dem Token zugeordnet ist.
- value
- String
Der Tokenzeichenfolgenwert.
- offset
- Range
Die Offsetzuordnung zur ursprünglichen Zeichenfolge.