CodeGenTokenizer.GetIndexByTokenCountFromEnd Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Überlädt
| Name | Beschreibung |
|---|---|
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean) |
Suchen Sie den Index der maximalen Codierungskapazität vom Ende des Texts, ohne den Tokengrenzwert zu überschreiten. |
| GetIndexByTokenCountFromEnd(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean) |
Suchen Sie den Index der maximalen Codierungskapazität vom Ende des Texts, ohne den Tokengrenzwert zu überschreiten. |
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)
- Quelle:
- CodeGenTokenizer.cs
- Quelle:
- CodeGenTokenizer.cs
- Quelle:
- CodeGenTokenizer.cs
Suchen Sie den Index der maximalen Codierungskapazität vom Ende des Texts, ohne den Tokengrenzwert zu überschreiten.
public int GetIndexByTokenCountFromEnd(ReadOnlySpan<char> text, int maxTokenCount, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, out int tokenCount, bool considerPreTokenization = true, bool considerNormalization = true);override this.GetIndexByTokenCountFromEnd : ReadOnlySpan<char> * int * bool * bool * bool * string * int * bool * bool -> intPublic Function GetIndexByTokenCountFromEnd (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, ByRef tokenCount As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IntegerParameter
- text
- ReadOnlySpan<Char>
Der zu codierenden Text.
- maxTokenCount
- Int32
Die maximale Tokenanzahl, um die Codierungskapazität zu begrenzen.
- addPrefixSpace
- Boolean
Geben Sie an, ob vor dem Codieren des Texts ein führendes Leerzeichen eingeschlossen werden soll.
- addBeginningOfSentence
- Boolean
Geben Sie an, ob der Anfang des Satztokens in die Codierung eingeschlossen werden soll.
- addEndOfSentence
- Boolean
Geben Sie an, ob das Ende des Satztokens in die Codierung eingeschlossen werden soll.
- normalizedText
- String
Wenn die Normalisierung des Tokenizers aktiviert ist, wird der Eingabetext in seiner Normalisierungsform dargestellt. andernfalls ist er NULL.
- tokenCount
- Int32
Die Tokenanzahl kann generiert werden, die kleiner als die maximale Tokenanzahl sein soll.
- considerPreTokenization
- Boolean
Geben Sie an, ob vor der Tokenisierung vor der Tokenisierung berücksichtigt werden soll.
- considerNormalization
- Boolean
Geben Sie an, ob die Normalisierung vor der Tokenisierung berücksichtigt werden soll.
Gibt zurück
Der Startindex der maximalen Codierungskapazität innerhalb des verarbeiteten Texts, ohne den Tokengrenzwert zu überschreiten.
Er stellt den Index am ersten Zeichen dar, das eingeschlossen werden soll. In Fällen, in denen keine Token passen, wird das Ergebnis die Länge des normalizedText; umgekehrt, wenn alle Token passen, das Ergebnis ist 0.
Hinweise
Wenn der gesamte Text innerhalb des Tokenlimits codiert werden kann, lautet der zurückgegebene Index 0.
Gilt für:
GetIndexByTokenCountFromEnd(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)
- Quelle:
- CodeGenTokenizer.cs
- Quelle:
- CodeGenTokenizer.cs
- Quelle:
- CodeGenTokenizer.cs
Suchen Sie den Index der maximalen Codierungskapazität vom Ende des Texts, ohne den Tokengrenzwert zu überschreiten.
public int GetIndexByTokenCountFromEnd(string text, int maxTokenCount, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, out int tokenCount, bool considerPreTokenization = true, bool considerNormalization = true);override this.GetIndexByTokenCountFromEnd : string * int * bool * bool * bool * string * int * bool * bool -> intPublic Function GetIndexByTokenCountFromEnd (text As String, maxTokenCount As Integer, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, ByRef tokenCount As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IntegerParameter
- text
- String
Der zu codierenden Text.
- maxTokenCount
- Int32
Die maximale Tokenanzahl, um die Codierungskapazität zu begrenzen.
- addPrefixSpace
- Boolean
Geben Sie an, ob vor dem Codieren des Texts ein führendes Leerzeichen eingeschlossen werden soll.
- addBeginningOfSentence
- Boolean
Geben Sie an, ob der Anfang des Satztokens in die Codierung eingeschlossen werden soll.
- addEndOfSentence
- Boolean
Geben Sie an, ob das Ende des Satztokens in die Codierung eingeschlossen werden soll.
- normalizedText
- String
Wenn die Normalisierung des Tokenizers aktiviert ist, wird der Eingabetext in seiner Normalisierungsform dargestellt. andernfalls ist er NULL.
- tokenCount
- Int32
Die Tokenanzahl kann generiert werden, die kleiner als die maximale Tokenanzahl sein soll.
- considerPreTokenization
- Boolean
Geben Sie an, ob vor der Tokenisierung vor der Tokenisierung berücksichtigt werden soll.
- considerNormalization
- Boolean
Geben Sie an, ob die Normalisierung vor der Tokenisierung berücksichtigt werden soll.
Gibt zurück
Der Startindex der maximalen Codierungskapazität innerhalb des verarbeiteten Texts, ohne den Tokengrenzwert zu überschreiten.
Er stellt den Index am ersten Zeichen dar, das eingeschlossen werden soll. In Fällen, in denen keine Token passen, wird das Ergebnis die Länge des Texts oder die normalizedText wenn Normalisierung aktiviert ist. Wenn alle Token passen, lautet das Ergebnis 0.
Hinweise
Wenn der gesamte Text innerhalb des Tokenlimits codiert werden kann, lautet der zurückgegebene Index 0.