Tokenizer Classe
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Fornisce un'astrazione per i tokenizer, abilitando la codifica del testo in token e la decodifica degli ID token nel testo.
public abstract class Tokenizerpublic class Tokenizertype Tokenizer = classPublic MustInherit Class TokenizerPublic Class Tokenizer- Ereditarietà
-
Tokenizer
- Derivato
Costruttori
| Nome | Descrizione |
|---|---|
| Tokenizer() |
Inizializza una nuova istanza della classe Tokenizer. |
| Tokenizer(Model, PreTokenizer, Normalizer) |
Creare un nuovo oggetto Tokenizer. |
Proprietà
| Nome | Descrizione |
|---|---|
| Decoder |
Ottiene o imposta il decodificatore in uso dal tokenizer. |
| Model |
Ottiene il modello in uso dal tokenizer. |
| Normalizer |
Ottiene il normalizer in uso dal tokenizer. |
| PreTokenizer |
Ottiene il preTokenizer utilizzato dal tokenizer. |
Metodi
| Nome | Descrizione |
|---|---|
| CountTokens(ReadOnlySpan<Char>, Boolean, Boolean) |
Ottenere il numero di token a cui verrà codificato il testo di input. |
| CountTokens(String, Boolean, Boolean) |
Ottenere il numero di token a cui verrà codificato il testo di input. |
| CountTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Ottenere il numero di token a cui verrà codificato il testo di input. |
| Decode(IEnumerable<Int32>, Boolean) |
Decodificare gli ID specificati, tornare a un valore String. |
| Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32) |
Decodificare gli ID specificati nel testo e archiviare il risultato nell'intervallo |
| Decode(IEnumerable<Int32>) |
Decodificare gli ID specificati, tornare a un valore String. |
| Decode(Int32, Boolean) |
Decodifica l'ID al token mappato. |
| Encode(String) |
Codifica il testo di input nell'oggetto con l'elenco dei token, gli ID dei token, il mapping degli offset dei token. |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean) |
Codifica il testo di input in ID token. |
| EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Codifica il testo di input in ID token fino al numero massimo di token. |
| EncodeToIds(String, Boolean, Boolean) |
Codifica il testo di input in ID token. |
| EncodeToIds(String, Int32, String, Int32, Boolean, Boolean) |
Codifica il testo di input in ID token fino al numero massimo di token. <param name="text">Testo da codificare.</param> |
| EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings) |
Codifica il testo di input in ID token. |
| EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean) |
Codifica il testo di input in un elenco di EncodedToken. |
| EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Codifica il testo di input in un elenco di EncodedToken. |
| EncodeToTokens(String, String, Boolean, Boolean) |
Codifica il testo di input in un elenco di EncodedToken. |
| GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Trovare l'indice della capacità di codifica massima senza superare il limite di token. |
| GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean) |
Trovare l'indice della capacità di codifica massima senza superare il limite di token. |
| GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32) |
Trovare l'indice della capacità di codifica massima senza superare il limite di token. |
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Trovare l'indice della capacità di codifica massima senza superare il limite di token. |
| GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean) |
Trovare l'indice della capacità di codifica massima senza superare il limite di token. |
| TrainFromFiles(Trainer, ReportProgress, String[]) |
Eseguire il training del modello del tokenizer usando i file di input. |