CodeGenTokenizer.GetIndexByTokenCountFromEnd Metodo
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Overload
| Nome | Descrizione |
|---|---|
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean) |
Trovare l'indice della capacità di codifica massima dalla fine all'interno del testo senza superare il limite di token. |
| GetIndexByTokenCountFromEnd(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean) |
Trovare l'indice della capacità di codifica massima dalla fine all'interno del testo senza superare il limite di token. |
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)
- Origine:
- CodeGenTokenizer.cs
- Origine:
- CodeGenTokenizer.cs
- Origine:
- CodeGenTokenizer.cs
Trovare l'indice della capacità di codifica massima dalla fine all'interno del testo senza superare il limite di token.
public int GetIndexByTokenCountFromEnd(ReadOnlySpan<char> text, int maxTokenCount, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, out int tokenCount, bool considerPreTokenization = true, bool considerNormalization = true);override this.GetIndexByTokenCountFromEnd : ReadOnlySpan<char> * int * bool * bool * bool * string * int * bool * bool -> intPublic Function GetIndexByTokenCountFromEnd (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, ByRef tokenCount As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IntegerParametri
- text
- ReadOnlySpan<Char>
Testo da codificare.
- maxTokenCount
- Int32
Numero massimo di token per limitare la capacità di codifica.
- addPrefixSpace
- Boolean
Indicare se includere uno spazio iniziale prima di codificare il testo.
- addBeginningOfSentence
- Boolean
Indicare se includere l'inizio del token di frase nella codifica.
- addEndOfSentence
- Boolean
Indicare se includere la fine del token di frase nella codifica.
- normalizedText
- String
Se la normalizzazione del tokenizer è abilitata, il testo di input verrà rappresentato nel formato di normalizzazione; in caso contrario, sarà null.
- tokenCount
- Int32
Il numero di token può essere generato che deve essere inferiore al numero massimo di token.
- considerPreTokenization
- Boolean
Indicare se prendere in considerazione la pre-tokenizzazione prima della tokenizzazione.
- considerNormalization
- Boolean
Indicare se prendere in considerazione la normalizzazione prima della tokenizzazione.
Valori restituiti
Indice iniziale della capacità di codifica massima all'interno del testo elaborato senza superare il limite di token.
Rappresenta l'indice al primo carattere da includere. Nei casi in cui non si adatti alcun token, il risultato sarà la lunghezza di normalizedText; al contrario, se tutti i token si adattano, il risultato sarà 0.
Commenti
Se l'intero testo può essere codificato entro il limite di token, l'indice restituito sarà 0.
Si applica a
GetIndexByTokenCountFromEnd(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)
- Origine:
- CodeGenTokenizer.cs
- Origine:
- CodeGenTokenizer.cs
- Origine:
- CodeGenTokenizer.cs
Trovare l'indice della capacità di codifica massima dalla fine all'interno del testo senza superare il limite di token.
public int GetIndexByTokenCountFromEnd(string text, int maxTokenCount, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, out int tokenCount, bool considerPreTokenization = true, bool considerNormalization = true);override this.GetIndexByTokenCountFromEnd : string * int * bool * bool * bool * string * int * bool * bool -> intPublic Function GetIndexByTokenCountFromEnd (text As String, maxTokenCount As Integer, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, ByRef tokenCount As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IntegerParametri
- text
- String
Testo da codificare.
- maxTokenCount
- Int32
Numero massimo di token per limitare la capacità di codifica.
- addPrefixSpace
- Boolean
Indicare se includere uno spazio iniziale prima di codificare il testo.
- addBeginningOfSentence
- Boolean
Indicare se includere l'inizio del token di frase nella codifica.
- addEndOfSentence
- Boolean
Indicare se includere la fine del token di frase nella codifica.
- normalizedText
- String
Se la normalizzazione del tokenizer è abilitata, il testo di input verrà rappresentato nel formato di normalizzazione; in caso contrario, sarà null.
- tokenCount
- Int32
Il numero di token può essere generato che deve essere inferiore al numero massimo di token.
- considerPreTokenization
- Boolean
Indicare se prendere in considerazione la pre-tokenizzazione prima della tokenizzazione.
- considerNormalization
- Boolean
Indicare se prendere in considerazione la normalizzazione prima della tokenizzazione.
Valori restituiti
Indice iniziale della capacità di codifica massima all'interno del testo elaborato senza superare il limite di token.
Rappresenta l'indice al primo carattere da includere. Nei casi in cui non si adattano token, il risultato sarà la lunghezza del testo o l'opzione normalizedText se la normalizzazione è abilitata; al contrario, se tutti i token rientrano, il risultato sarà 0.
Commenti
Se l'intero testo può essere codificato entro il limite di token, l'indice restituito sarà 0.