BertTokenizer Klasse

Ruft einen Wert ab, der angibt, ob der Tokenizer grundlegende Tokenisierung ausführen soll. Wie sauberer Text, normalisieren Sie ihn, untere Klammern usw.

Ruft das Klassifizierertoken ab, das bei der Sequenzklassifizierung verwendet wird (Klassifizierung der gesamten Sequenz anstelle der Klassifizierung pro Token). Es ist das erste Token der Sequenz, wenn sie mit speziellen Token erstellt wird.

Ruft die Klassifizierungstoken-ID ab.

Ruft das Präfix ab, das für Unterwörter verwendet werden soll, die nicht der erste Teil eines Worts sind.

Ruft einen Wert ab, der angibt, ob der Tokenizer die CJK-Zeichen in Token aufteilen soll.

Ruft einen Wert ab, der angibt, ob der Tokenizer den Eingabetext kleingeschrieben werden soll.

Ruft das Maskentoken ab, das zum Maskieren von Werten verwendet wird. Dies ist das Token, das beim Trainieren dieses Modells mit maskierten Sprachmodellierung verwendet wird. Dies ist das Token, das vom Modell vorhergesagt werden soll.

Ruft die Maskentoken-ID ab.

Ruft die maximale Anzahl von Zeichen ab, die in einem einzelnen Wort autorisiert werden sollen.

Ruft den vom Tokenizer verwendeten Normalizer ab.

Ruft das token ab, das für den Abstand verwendet wird, z. B. wenn Batchverarbeitungssequenzen unterschiedlicher Längen

Ruft die Abstandstoken-ID ab.

Ruft das vom Tokenizer verwendete PreTokenizer ab.

Ruft einen Wert ab, der angibt, ob nicht abstandsfreie Markierungen entfernt werden sollen.

Ruft das Trennzeichen ab, das beim Erstellen einer Sequenz aus mehreren Sequenzen verwendet wird, z. B. zwei Sequenzen für die Sequenzklassifizierung oder für einen Text und eine Frage zur Beantwortung von Fragen. Sie wird auch als letztes Token einer Sequenz verwendet, die mit speziellen Token erstellt wurde.

Ruft die Trenntoken-ID ab.

Ruft die speziellen Token und die entsprechenden IDs ab.

Ruft einen Wert ab, der angibt, ob der Tokenizer auf die speziellen Token aufgeteilt oder spezielle Token als normaler Text behandelt.

Ruft das unbekannte Token ab. Ein Token, das nicht im Vokabular enthalten ist, kann nicht in eine ID konvertiert werden und ist stattdessen auf dieses Token festgelegt.

Ruft die unbekannte Token-ID ab. Ein Token, das nicht im Vokabular enthalten ist, kann nicht in eine ID konvertiert werden und ist stattdessen auf dieses Token festgelegt.

Erstellen Sie Modelleingaben aus einer Sequenz oder einem Sequenzpaar für Sequenzklassifizierungsaufgaben, indem Sie spezielle Token verketten und hinzufügen. Eine BERT-Sequenz weist das folgende Format auf: - einzelne Sequenz: [CLS] tokenIds [SEP] - Sequenzpaar: [CLS] tokenIds [SEP] additionalTokenIds [SEP]

Erstellen Sie Modelleingaben aus einer Sequenz oder einem Sequenzpaar für Sequenzklassifizierungsaufgaben, indem Sie spezielle Token verketten und hinzufügen. Eine BERT-Sequenz weist das folgende Format auf: - einzelne Sequenz: [CLS] tokenIds [SEP] - Sequenzpaar: [CLS] tokenIds [SEP] additionalTokenIds [SEP]

Rufen Sie die Anzahl der Token ab, für die der Eingabetext codiert wird.

Rufen Sie die Anzahl der Token ab, für die der Eingabetext codiert wird.

Rufen Sie die Anzahl der Token ab, für die der Eingabetext codiert wird.

Erstellen Sie eine neue instance der BertTokenizer -Klasse.

Erstellen Sie eine neue instance der BertTokenizer -Klasse.

Erstellen Sie asynchron eine neue Instanz der BertTokenizer Klasse.

Erstellen Sie asynchron eine neue Instanz der BertTokenizer Klasse.

Erstellen Sie eine Maske aus den beiden Sequenzen, die in einer Sequenzpaarklassifizierungsaufgabe verwendet werden sollen. Eine BERT-Sequenzpaarmaske hat das folgende Format: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 | erste Sequenz | zweite Sequenz | Wenn additionalTokenIds null ist, gibt diese Methode nur den ersten Teil der Typ-IDs (0s) zurück.

Tokenizer für Bert-Modell.

Decodieren Sie die angegebenen IDs zurück zu einer Zeichenfolge.

Decodieren Sie die angegebenen IDs wieder in Text, und speichern Sie das Ergebnis in der destination Spanne.

Decodieren Sie die angegebenen IDs wieder in Text, und speichern Sie das Ergebnis in der destination Spanne.

Decodieren Sie die angegebenen IDs zurück zu einer Zeichenfolge.

Codiert Eingabetext in Token-IDs.

Codiert Eingabetext in Token-IDs.

Codiert Eingabetext in Token-IDs.

Codiert Eingabetext in Token-IDs.

Codiert Eingabetext in Token-IDs.

Codiert Eingabetext in Token-IDs.

Codiert Eingabetext in Token-IDs.

Codiert Eingabetext in Token-IDs.

Codiert Eingabetext in Token-IDs.

Codiert Eingabetext in eine Liste von EncodedTokens.

Codiert Eingabetext in eine Liste von EncodedTokens.

Codiert Eingabetext in eine Liste von EncodedTokens.

Suchen Sie den Index der maximalen Codierungskapazität, ohne die Tokengrenze zu überschreiten.

Suchen Sie den Index der maximalen Codierungskapazität, ohne die Tokengrenze zu überschreiten.

Suchen Sie den Index der maximalen Codierungskapazität, ohne die Tokengrenze zu überschreiten.

Suchen Sie den Index der maximalen Codierungskapazität, ohne die Tokengrenze zu überschreiten.

Suchen Sie den Index der maximalen Codierungskapazität, ohne die Tokengrenze zu überschreiten.

Abrufen der Sequenztokenmaske aus einer IDs-Liste.

Abrufen der Sequenztokenmaske aus einer IDs-Liste.