Tokenizer Konstruktoren
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Überlädt
| Name | Beschreibung |
|---|---|
| Tokenizer() |
Initialisiert eine neue Instanz der Tokenizer-Klasse. |
| Tokenizer(Model, PreTokenizer, Normalizer) |
Erstellen Sie ein neues Tokenizer-Objekt. |
Tokenizer()
- Quelle:
- Tokenizer.cs
- Quelle:
- Tokenizer.cs
- Quelle:
- Tokenizer.cs
Initialisiert eine neue Instanz der Tokenizer-Klasse.
protected Tokenizer();Protected Sub New ()Gilt für:
Tokenizer(Model, PreTokenizer, Normalizer)
Erstellen Sie ein neues Tokenizer-Objekt.
public Tokenizer(Microsoft.ML.Tokenizers.Model model, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);new Microsoft.ML.Tokenizers.Tokenizer : Microsoft.ML.Tokenizers.Model * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TokenizerPublic Sub New (model As Model, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing)Parameter
- model
- Model
Das Modell, das vom Tokenizer verwendet wird.
- preTokenizer
- PreTokenizer
Der optionale PreTokenizer, der vom Tokenizer verwendet wird. WhiteSpace PreTokenizer wird verwendet, wenn dieser Parameter null ist.
- normalizer
- Normalizer
Der optionale Normalizer, der vom Tokenizer verwendet wird.