Tokenizer.EncodeToIds Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Überlädt
| Name | Beschreibung |
|---|---|
| EncodeToIds(String, Int32, String, Int32, Boolean, Boolean) |
Codiert Eingabetext in Token-IDs bis zur maximalen Anzahl von Token. <param name="text">Der zu codierenden Text.</param> |
| EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Codiert Eingabetext in Token-IDs bis zur maximalen Anzahl von Token. |
| EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings) |
Codiert Eingabetext in Token-IDs. |
| EncodeToIds(String, Boolean, Boolean) |
Codiert Eingabetext in Token-IDs. |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean) |
Codiert Eingabetext in Token-IDs. |
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)
- Quelle:
- Tokenizer.cs
- Quelle:
- Tokenizer.cs
- Quelle:
- Tokenizer.cs
Codiert Eingabetext in Token-IDs bis zur maximalen Anzahl von Token.
<param name="text">Der zu codierenden Text.</param>public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToIds : string * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>Public Function EncodeToIds (text As String, maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)Parameter
- text
- String
- maxTokenCount
- Int32
Die maximale Anzahl zu codierenden Token.
- normalizedText
- String
Wenn die Normalisierung des Tokenizers aktiviert ist oder <paramRef name="considerNormalization"></paramRef> ist false, wird dies auf <paramRef name="text"></paramRef> in normalisierter Form festgelegt. Andernfalls wird dieser Wert auf " null.
- charsConsumed
- Int32
Die Anzahl der Zeichen des Texts, der die maximal codierten Token umfasst.
- considerPreTokenization
- Boolean
Geben Sie an, ob vor der Tokenisierung vor der Tokenisierung berücksichtigt werden soll.
- considerNormalization
- Boolean
Geben Sie an, ob die Normalisierung vor der Tokenisierung berücksichtigt werden soll.
Gibt zurück
Die Liste der codierten IDs.
Gilt für:
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)
- Quelle:
- Tokenizer.cs
- Quelle:
- Tokenizer.cs
- Quelle:
- Tokenizer.cs
Codiert Eingabetext in Token-IDs bis zur maximalen Anzahl von Token.
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToIds : ReadOnlySpan<char> * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)Parameter
- text
- ReadOnlySpan<Char>
Der zu codierenden Text.
- maxTokenCount
- Int32
Die maximale Anzahl zu codierenden Token.
- normalizedText
- String
Wenn die Normalisierung des Tokenizers aktiviert ist oder <paramRef name="considerNormalization"></paramRef> ist false, wird dies auf <paramRef name="text"></paramRef> in normalisierter Form festgelegt. Andernfalls wird dieser Wert auf " null.
- charsConsumed
- Int32
Die Anzahl der Zeichen des Texts, der die maximal codierten Token umfasst.
- considerPreTokenization
- Boolean
Geben Sie an, ob vor der Tokenisierung vor der Tokenisierung berücksichtigt werden soll.
- considerNormalization
- Boolean
Geben Sie an, ob die Normalisierung vor der Tokenisierung berücksichtigt werden soll.
Gibt zurück
Die Liste der codierten IDs.
Gilt für:
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)
- Quelle:
- Tokenizer.cs
- Quelle:
- Tokenizer.cs
- Quelle:
- Tokenizer.cs
Codiert Eingabetext in Token-IDs.
protected virtual Microsoft.ML.Tokenizers.EncodeResults<int> EncodeToIds(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);abstract member EncodeToIds : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<int>
override this.EncodeToIds : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<int>Protected Overridable Function EncodeToIds (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As EncodeResults(Of Integer)Parameter
- text
- String
Der zu codierenden Text.
- textSpan
- ReadOnlySpan<Char>
Der Bereich des zu codierenden Texts, der verwendet wird, wenn dies der text Grund ist null.
- settings
- EncodeSettings
Die Einstellungen, die zum Codieren des Texts verwendet werden.
Gibt zurück
Die codierten Ergebnisse, die die Liste der codierten IDs enthalten.
Hinweise
Von dieser Implementierung abgeleitete Tokenizer Typen können außer Kraft setzen, um eine effizientere Implementierung bereitzustellen. Standardmäßig wird verwendet EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings).
Gilt für:
EncodeToIds(String, Boolean, Boolean)
- Quelle:
- Tokenizer.cs
- Quelle:
- Tokenizer.cs
- Quelle:
- Tokenizer.cs
Codiert Eingabetext in Token-IDs.
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToIds : string * bool * bool -> System.Collections.Generic.IReadOnlyList<int>Public Function EncodeToIds (text As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)Parameter
- text
- String
Der zu codierenden Text.
- considerPreTokenization
- Boolean
Geben Sie an, ob vor der Tokenisierung vor der Tokenisierung berücksichtigt werden soll.
- considerNormalization
- Boolean
Geben Sie an, ob die Normalisierung vor der Tokenisierung berücksichtigt werden soll.
Gibt zurück
Die Liste der codierten IDs.
Gilt für:
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)
- Quelle:
- Tokenizer.cs
- Quelle:
- Tokenizer.cs
- Quelle:
- Tokenizer.cs
Codiert Eingabetext in Token-IDs.
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToIds : ReadOnlySpan<char> * bool * bool -> System.Collections.Generic.IReadOnlyList<int>Public Function EncodeToIds (text As ReadOnlySpan(Of Char), Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)Parameter
- text
- ReadOnlySpan<Char>
Der zu codierenden Text.
- considerPreTokenization
- Boolean
Geben Sie an, ob vor der Tokenisierung vor der Tokenisierung berücksichtigt werden soll.
- considerNormalization
- Boolean
Geben Sie an, ob die Normalisierung vor der Tokenisierung berücksichtigt werden soll.
Gibt zurück
Die Liste der codierten IDs.