EncodedToken Struct
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Rappresenta il token generato dal processo di tokenizzazione contenente la sottostringa del token, l'ID associato alla sottostringa del token e il mapping dell'offset alla stringa originale.
public readonly struct EncodedToken : IEquatable<Microsoft.ML.Tokenizers.EncodedToken>type EncodedToken = structPublic Structure EncodedToken
Implements IEquatable(Of EncodedToken)- Ereditarietà
-
EncodedToken
- Implementazioni
Costruttori
| Nome | Descrizione |
|---|---|
| EncodedToken(Int32, String, Range) |
Costruire un nuovo oggetto Token usando il valore del token, l'ID e il mapping dell'offset alla stringa originale. |
Proprietà
| Nome | Descrizione |
|---|---|
| Id |
Ottiene il valore ID associato al token. |
| Offset |
Ottiene il mapping dell'offset alla stringa originale. |
| Value |
Ottiene il valore della stringa del token. |
Metodi
| Nome | Descrizione |
|---|---|
| Equals(EncodedToken) |
Rappresenta il token generato dal processo di tokenizzazione contenente la sottostringa del token, l'ID associato alla sottostringa del token e il mapping dell'offset alla stringa originale. |