TokenizerResult Classe
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
La codifica rappresenta l'output di un tokenizer.
public sealed class TokenizerResulttype TokenizerResult = classPublic NotInheritable Class TokenizerResult- Ereditarietà
-
TokenizerResult
Costruttori
| Nome | Descrizione |
|---|---|
| TokenizerResult(String, String, IReadOnlyList<Split>, Boolean) |
Creare un nuovo oggetto dell'oggetto TokenizerResult. |
Proprietà
| Nome | Descrizione |
|---|---|
| Ids |
Ottiene l'elenco degli ID dei token. Gli ID sono l'input principale di un modello linguistico. Sono gli indici dei token, le rappresentazioni numeriche che un LM riconosce. |
| NormalizedString |
Ottiene la forma normalizzata della stringa originale. |
| Offsets |
Ottiene l'elenco di offset. Questi offset consentono di suddividere la stringa di input e quindi recuperare la parte originale che ha portato alla produzione del token corrispondente. |
| OffsetsMappedToOriginalString |
Ottiene la forma normalizzata della stringa originale. |
| OriginalString |
Ottiene la stringa tokenizzata originale. |
| Tokens |
Ottiene i token generati. Sono la rappresentazione di stringa degli ID. |