BertOptions Klasse
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Optionen für den Bert-Tokenizer.
public sealed class BertOptions : Microsoft.ML.Tokenizers.WordPieceOptionstype BertOptions = class
inherit WordPieceOptionsPublic NotInheritable Class BertOptions
Inherits WordPieceOptions- Vererbung
Konstruktoren
| Name | Beschreibung |
|---|---|
| BertOptions() |
Optionen für den Bert-Tokenizer. |
Eigenschaften
| Name | Beschreibung |
|---|---|
| ApplyBasicTokenization |
Dient zum Abrufen oder Festlegen eines Werts, der angibt, ob die grundlegende Tokenisierung angewendet werden soll. |
| ClassificationToken |
Ruft das zu verwendende Klassifizierungstoken ab oder legt es fest. |
| ContinuingSubwordPrefix |
Ruft das Präfix ab, das für Unterwörter verwendet werden soll, die nicht der erste Teil eines Worts sind, oder legt es fest. (Geerbt von WordPieceOptions) |
| IndividuallyTokenizeCjk |
Dient zum Abrufen oder Festlegen eines Werts, der angibt, ob die CJK-Zeichen in separaten Token tokenisiert werden sollen. |
| LowerCaseBeforeTokenization |
Dient zum Abrufen oder Festlegen eines Werts, der angibt, ob die Eingabe vor der Tokenisierung kleingeschrieben werden soll. |
| MaskingToken |
Ruft ab oder legt das zu verwendende Maskierungstoken fest. |
| MaxInputCharsPerWord |
Ruft die maximale Anzahl von Zeichen ab, die für ein einzelnes Wort berücksichtigt werden sollen, oder legt diese fest. (Geerbt von WordPieceOptions) |
| Normalizer |
Dient zum Abrufen oder Festlegen des Normalizer Außerkraftsetzens des Standardnormalizers, falls gewünscht. (Geerbt von WordPieceOptions) |
| PaddingToken |
Ruft ab oder legt das zu verwendende Abstandstoken fest. |
| PreTokenizer |
Dient zum Abrufen oder Festlegen des PreTokenizer Außerkraftsetzens des Standardnormalizers, falls gewünscht. (Geerbt von WordPieceOptions) |
| RemoveNonSpacingMarks |
Dient zum Abrufen oder Festlegen eines Werts, der angibt, ob nicht abstandsfreie Markierungen entfernt werden sollen. |
| SeparatorToken |
Ruft das zu verwendende Trennzeichen ab oder legt es fest. |
| SpecialTokens |
Ruft die zu verwendenden speziellen Token ab oder legt sie fest. (Geerbt von WordPieceOptions) |
| SplitOnSpecialTokens |
Dient zum Abrufen oder Festlegen eines Werts, der angibt, ob für spezielle Token geteilt werden soll. |
| UnknownToken |
Ruft das zu verwendende unbekannte Token ab oder legt es fest. (Geerbt von WordPieceOptions) |