TokenizerResult Klasse
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Die Codierung stellt die Ausgabe eines Tokenizers dar.
public sealed class TokenizerResulttype TokenizerResult = classPublic NotInheritable Class TokenizerResult- Vererbung
-
TokenizerResult
Konstruktoren
| Name | Beschreibung |
|---|---|
| TokenizerResult(String, String, IReadOnlyList<Split>, Boolean) |
Erstellen Sie ein neues Objekt des TokenizerResult-Objekts. |
Eigenschaften
| Name | Beschreibung |
|---|---|
| Ids |
Ruft eine Liste der Token-IDs ab. Die IDs sind die Haupteingabe für ein Sprachmodell. Sie sind die Tokenindizes, die numerischen Darstellungen, die ein LM versteht. |
| NormalizedString |
Ruft die normalisierte Form der ursprünglichen Zeichenfolge ab. |
| Offsets |
Ruft die Liste der Offsets ab. Mit diesen Offsets können Sie die Eingabezeichenfolge segmentieren und so den ursprünglichen Teil abrufen, der dazu führte, das entsprechende Token zu erzeugen. |
| OffsetsMappedToOriginalString |
Ruft die normalisierte Form der ursprünglichen Zeichenfolge ab. |
| OriginalString |
Ruft die ursprüngliche tokenisierte Zeichenfolge ab. |
| Tokens |
Ruft die generierten Token ab. Sie sind die Zeichenfolgendarstellung der IDs. |