Token(Int32, String, ValueTuple<Int32,Int32>) Costruttore

Definizione

Costruire un nuovo oggetto Token usando il valore del token, l'ID e il mapping dell'offset alla stringa originale.

public Token(int id, string value,(int, int) offset);
new Microsoft.ML.Tokenizers.Token : int * string * ValueTuple<int, int> -> Microsoft.ML.Tokenizers.Token
Public Sub New (id As Integer, value As String, offset As ValueTuple(Of Integer, Integer))

Parametri

id
Int32

Valore ID associato al token.

value
String

Valore della stringa del token.

offset
ValueTuple<Int32,Int32>

Mapping dell'offset alla stringa originale.

Si applica a