EncodedToken(Int32, String, Range) Costruttore

Definizione

Costruire un nuovo oggetto Token usando il valore del token, l'ID e il mapping dell'offset alla stringa originale.

public EncodedToken(int id, string value, Range offset);
new Microsoft.ML.Tokenizers.EncodedToken : int * string * Range -> Microsoft.ML.Tokenizers.EncodedToken
Public Sub New (id As Integer, value As String, offset As Range)

Parametri

id
Int32

Valore ID associato al token.

value
String

Valore della stringa del token.

offset
Range

Mapping dell'offset alla stringa originale.

Si applica a