CodeGenTokenizer.PreTokenizer Eigenschaft
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Ruft das vom Tokenizer verwendete PreTokenizer ab.
public override Microsoft.ML.Tokenizers.PreTokenizer? PreTokenizer { get; }member this.PreTokenizer : Microsoft.ML.Tokenizers.PreTokenizerPublic Overrides ReadOnly Property PreTokenizer As PreTokenizer