CodeGenTokenizer.Create(Stream, Stream, Boolean, Boolean, Boolean) Metodo

Definizione

Spazio dei nomi:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Pacchetto:: Microsoft.ML.Tokenizers v1.0.1

Pacchetto:: Microsoft.ML.Tokenizers v0.22.0

Pacchetto:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Origine:: CodeGenTokenizer.cs

Origine:: CodeGenTokenizer.cs

Origine:: CodeGenTokenizer.cs

Importante

Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.

Creare un tokenizer CodeGen dal vocab specificato e unisce i flussi.

public static Microsoft.ML.Tokenizers.CodeGenTokenizer Create(System.IO.Stream vocabStream, System.IO.Stream mergesStream, bool addPrefixSpace = false, bool addBeginOfSentence = false, bool addEndOfSentence = false);

static member Create : System.IO.Stream * System.IO.Stream * bool * bool * bool -> Microsoft.ML.Tokenizers.CodeGenTokenizer

Public Shared Function Create (vocabStream As Stream, mergesStream As Stream, Optional addPrefixSpace As Boolean = false, Optional addBeginOfSentence As Boolean = false, Optional addEndOfSentence As Boolean = false) As CodeGenTokenizer

Parametri

vocabStream: Stream

Flusso contenente il file vocab.

mergesStream: Stream

Flusso contenente il file di merge.

addPrefixSpace: Boolean

Indicare se aggiungere uno spazio prima del token.

addBeginOfSentence: Boolean

Indicare l'emissione dell'inizio del token di frase durante la codifica.

addEndOfSentence: Boolean

Indicare l'emissione del token di fine frase durante la codifica.

Valori restituiti

CodeGenTokenizer

Oggetto tokenizer CodeGen.

Commenti

Il tokenizer verrà creato in base alla configurazione specificata in https://huggingface.co/Salesforce/codegen-350M-mono/raw/main/tokenizer.json. È importante fornire i file vocab simili e unisce i file usati nel training del modello. I file vocab e merge possono essere scaricati dai collegamenti seguenti: https://huggingface.co/Salesforce/codegen-350M-mono/resolve/main/vocab.json?download=truehttps://huggingface.co/Salesforce/codegen-350M-mono/resolve/main/merges.txt?download=true quando si crea il tokenizer, assicurarsi che il flusso del vocabolario venga originato da un provider attendibile.

Si applica a