BertOptions Classe
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Opzioni per il tokenizer Bert.
public sealed class BertOptions : Microsoft.ML.Tokenizers.WordPieceOptionstype BertOptions = class
inherit WordPieceOptionsPublic NotInheritable Class BertOptions
Inherits WordPieceOptions- Ereditarietà
Costruttori
| Nome | Descrizione |
|---|---|
| BertOptions() |
Opzioni per il tokenizer Bert. |
Proprietà
| Nome | Descrizione |
|---|---|
| ApplyBasicTokenization |
Ottiene o imposta un valore che indica se applicare la tokenizzazione di base. |
| ClassificationToken |
Ottiene o imposta il token di classificazione da utilizzare. |
| ContinuingSubwordPrefix |
Ottiene o imposta il prefisso da utilizzare per le parole secondarie che non sono la prima parte di una parola. (Ereditato da WordPieceOptions) |
| IndividuallyTokenizeCjk |
Ottiene o imposta un valore che indica se tokenizzare i caratteri CJK in token separati. |
| LowerCaseBeforeTokenization |
Ottiene o imposta un valore che indica se ridurre l'input prima della tokenizzazione. |
| MaskingToken |
Ottiene o imposta il token di maschera da utilizzare. |
| MaxInputCharsPerWord |
Ottiene o imposta il numero massimo di caratteri da considerare per una singola parola. (Ereditato da WordPieceOptions) |
| Normalizer |
Ottiene o imposta l'oggetto per eseguire l'override Normalizer del normalizzatore predefinito, se necessario. (Ereditato da WordPieceOptions) |
| PaddingToken |
Ottiene o imposta il token di riempimento da utilizzare. |
| PreTokenizer |
Ottiene o imposta l'oggetto per eseguire l'override PreTokenizer del normalizzatore predefinito, se necessario. (Ereditato da WordPieceOptions) |
| RemoveNonSpacingMarks |
Ottiene o imposta un valore che indica se rimuovere i segni di non spaziatura. |
| SeparatorToken |
Ottiene o imposta il token separatore da utilizzare. |
| SpecialTokens |
Ottiene o imposta i token speciali da utilizzare. (Ereditato da WordPieceOptions) |
| SplitOnSpecialTokens |
Ottiene o imposta un valore che indica se suddividere in token speciali. |
| UnknownToken |
Ottiene o imposta il token sconosciuto da usare. (Ereditato da WordPieceOptions) |