Microsoft.ML.Tokenizers Spazio dei nomi

Opzioni per il tokenizer Bert.

Tokenizer per il modello Bert.

Rappresentare il modello di codifica della coppia di byte.

Consente di decodificare il BPE originale unendo tutti i token e quindi sostituendo il suffisso usato per identificare la fine delle parole da spazi vuoti

Rappresentare il modello di codifica della coppia di byte.

Il trainer Bpe responsabile del training del modello Bpe.

Rappresentare il modello di codifica della coppia di byte. Implementare il tokenizer CodeGen descritto in https://huggingface.co/docs/transformers/main/en/model_doc/codegen#overview

Rappresentare il modello di codifica della coppia di byte.

Rappresentare il modello di codifica della coppia di byte.

LlamaTokenizer è SentencePieceTokenizer implementato in base a https://github.com/google/sentencepiece.

Normalizzare la stringa in formato minuscolo prima di elaborarla con il tokenizer.

Rappresenta un modello usato durante la tokenizzazione, ad esempio BPE o Word Piece o Unigram.

Normalizzare la stringa prima di elaborarla con il tokenizer.

Rappresentare il modello di codifica della coppia di byte. Implementare il tokenizer Phi2 descritto in https://huggingface.co/microsoft/phi-2

Classe di base per tutte le classi di pre-tokenizer. Il preTokenizer è responsabile dell'esecuzione del passaggio di pre-segmentazione.

Pre-tokenizer per il tokenizer Tiktoken.

Tokenizer di pre-tokenizzatore per Roberta English tokenizer.

Normalizzare la stringa in base alla normalizzazione SentencePiece.

SentencePieceBpe è un tokenizer che suddivide l'input in token usando il modello SentencePiece Bpe.

Questa divisione contiene il token di divisione sottostante e i relativi offset nella stringa originale. Questi offset si trovano nell'oggetto original referenziale. Contiene anche qualsiasi Token elemento associato alla divisione corrente.

Rappresenta il tokenizer di codifica rapida della coppia di byte.

Rappresenta il token generato dal processo di tokenizzazione contenente la sottostringa del token, l'ID associato alla sottostringa del token e il mapping dell'offset alla stringa originale.

Fornisce un'astrazione per i tokenizer, abilitando la codifica del testo in token e la decodifica degli ID token nel testo.

Un decodificatore ha la responsabilità di unire l'elenco specificato di token in una stringa.

La codifica rappresenta l'output di un tokenizer.

Un Trainer oggetto ha la responsabilità di eseguire il training di un modello. Lo si alimenta con righe/frasi e quindi può eseguire il training dell'oggetto specificato Model.

Normalizzare la stringa in formato maiuscolo prima di elaborarla con il tokenizer.

Pre-tokenizzatore che divide il testo in corrispondenza del limite della parola. La parola è un set di caratteri alfabetici, numerici e di sottolineatura.

Opzioni per il tokenizer WordPiece.

Rappresenta il tokenizer WordPiece.

Rappresentare un token aggiunto dall'utente sopra il vocabolario del modello esistente. AddedToken può essere configurato per specificare il comportamento che deve avere in diverse situazioni, ad esempio:

• Indica se devono corrispondere solo a singole parole
• Indica se includere uno spazio vuoto a sinistra o a destra

Rappresenta il token generato dal processo di tokenizzazione contenente la sottostringa del token, l'ID associato alla sottostringa del token e il mapping dell'offset alla stringa originale.

Risultato della codifica di un testo.

Impostazioni utilizzate per codificare un testo.

Contiene la stringa normalizzata e il mapping alla stringa originale.

Rappresenta lo stato dell'avanzamento segnalato.