Tokenizer.GetIndexByTokenCountFromEnd Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Überlädt
| Name | Beschreibung |
|---|---|
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Suchen Sie den Index der maximalen Codierungskapazität, ohne die Tokengrenze zu überschreiten. |
| GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean) |
Suchen Sie den Index der maximalen Codierungskapazität, ohne die Tokengrenze zu überschreiten. |
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)
- Quelle:
- Tokenizer.cs
- Quelle:
- Tokenizer.cs
- Quelle:
- Tokenizer.cs
Suchen Sie den Index der maximalen Codierungskapazität, ohne die Tokengrenze zu überschreiten.
public int GetIndexByTokenCountFromEnd(ReadOnlySpan<char> text, int maxTokenCount, out string? normalizedText, out int tokenCount, bool considerPreTokenization = true, bool considerNormalization = true);member this.GetIndexByTokenCountFromEnd : ReadOnlySpan<char> * int * string * int * bool * bool -> intPublic Function GetIndexByTokenCountFromEnd (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, ByRef normalizedText As String, ByRef tokenCount As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IntegerParameter
- text
- ReadOnlySpan<Char>
Der zu codierenden Text.
- maxTokenCount
- Int32
Die maximale Anzahl zu codierenden Token.
- normalizedText
- String
Wenn die Normalisierung des Tokenizers aktiviert ist oder <paramRef name="considerPreTokenization"></paramRef> ist false, wird dies auf <paramRef name="text"></paramRef> in normalisierter Form festgelegt. Andernfalls wird dieser Wert auf " null.
- tokenCount
- Int32
Die Tokenanzahl kann generiert werden, die kleiner als die maximale Tokenanzahl sein soll.
- considerPreTokenization
- Boolean
Geben Sie an, ob vor der Tokenisierung vor der Tokenisierung berücksichtigt werden soll.
- considerNormalization
- Boolean
Geben Sie an, ob die Normalisierung vor der Tokenisierung berücksichtigt werden soll.
Gibt zurück
Der Index der maximalen Codierungskapazität innerhalb des verarbeiteten Texts, ohne den Tokengrenzwert zu überschreiten. Er stellt den Index des ersten Zeichens dar, das eingeschlossen werden soll. In Fällen, in denen keine Token passen, ist das Ergebnis die Textlänge; Umgekehrt, wenn alle Token passen, ist das Ergebnis null.
Gilt für:
GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)
- Quelle:
- Tokenizer.cs
- Quelle:
- Tokenizer.cs
- Quelle:
- Tokenizer.cs
Suchen Sie den Index der maximalen Codierungskapazität, ohne die Tokengrenze zu überschreiten.
public int GetIndexByTokenCountFromEnd(string text, int maxTokenCount, out string? normalizedText, out int tokenCount, bool considerPreTokenization = true, bool considerNormalization = true);member this.GetIndexByTokenCountFromEnd : string * int * string * int * bool * bool -> intPublic Function GetIndexByTokenCountFromEnd (text As String, maxTokenCount As Integer, ByRef normalizedText As String, ByRef tokenCount As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IntegerParameter
- text
- String
Der zu codierenden Text.
- maxTokenCount
- Int32
Die maximale Anzahl zu codierenden Token.
- normalizedText
- String
Wenn die Normalisierung des Tokenizers aktiviert ist oder <paramRef name="considerPreTokenization"></paramRef> ist false, wird dies auf <paramRef name="text"></paramRef> in normalisierter Form festgelegt. Andernfalls wird dieser Wert auf " null.
- tokenCount
- Int32
Die Tokenanzahl kann generiert werden, die kleiner als die maximale Tokenanzahl sein soll.
- considerPreTokenization
- Boolean
Geben Sie an, ob vor der Tokenisierung vor der Tokenisierung berücksichtigt werden soll.
- considerNormalization
- Boolean
Geben Sie an, ob die Normalisierung vor der Tokenisierung berücksichtigt werden soll.
Gibt zurück
Der Index der maximalen Codierungskapazität innerhalb des verarbeiteten Texts, ohne den Tokengrenzwert zu überschreiten. Er stellt den Index des ersten Zeichens dar, das eingeschlossen werden soll. In Fällen, in denen keine Token passen, ist das Ergebnis die Textlänge; Umgekehrt, wenn alle Token passen, ist das Ergebnis null.