EncodedToken Struktur
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Stellen Sie das token dar, das aus dem Tokenisierungsprozess mit der Tokenunterzeichenfolge, der id, die der Tokenunterzeichenfolge zugeordnet ist, und die Offsetzuordnung zur ursprünglichen Zeichenfolge.
public readonly struct EncodedToken : IEquatable<Microsoft.ML.Tokenizers.EncodedToken>type EncodedToken = structPublic Structure EncodedToken
Implements IEquatable(Of EncodedToken)- Vererbung
-
EncodedToken
- Implementiert
Konstruktoren
| Name | Beschreibung |
|---|---|
| EncodedToken(Int32, String, Range) |
Erstellen Sie ein neues Token-Objekt mithilfe des Tokenwerts, der ID und der Offsetzuordnung zur ursprünglichen Zeichenfolge. |
Eigenschaften
| Name | Beschreibung |
|---|---|
| Id |
Ruft den ID-Wert ab, der dem Token zugeordnet ist. |
| Offset |
Ruft die Offsetzuordnung zur ursprünglichen Zeichenfolge ab. |
| Value |
Ruft den Tokenzeichenfolgenwert ab. |
Methoden
| Name | Beschreibung |
|---|---|
| Equals(EncodedToken) |
Stellen Sie das token dar, das aus dem Tokenisierungsprozess mit der Tokenunterzeichenfolge, der id, die der Tokenunterzeichenfolge zugeordnet ist, und die Offsetzuordnung zur ursprünglichen Zeichenfolge. |