TokenizerType Enumeration
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
public enum TokenizerTypetype TokenizerType = - Vererbung
-
TokenizerType
Felder
| Name | Wert | Beschreibung |
|---|---|---|
| None | 0 | Dieser Wert gibt an, dass keine Token aus dieser Eigenschaft extrahiert werden sollen. Es ist nur gültig, wenn "NONE" tokenizer_type ist, wenn getIndexingType() INDEXING_TYPE_NONE ist.
Android-Referenz für Teile dieser Seite sind Änderungen auf der Grundlage von Arbeiten, die von der Android Open Source Project erstellt und gemeinsam verwendet und gemäß den in der 2.5 Attribution License beschriebenen Begriffen verwendet werden. |
| Plain | 1 | Tokenisierung für Nur-Text. Dieser Wert gibt an, dass Token basierend auf Wortumbrüchen aus dieser Eigenschaft extrahiert werden sollen. Segmente von Leerzeichen und Interpunktion werden nicht als Token betrachtet. Beispiel: eine Eigenschaft mit "foo bar". baz." erzeugt Token für "foo", "bar" und "baz". Die Segmente " und "." werden nicht als Token betrachtet. Es ist nur gültig, wenn "PLAIN" tokenizer_type, wenn getIndexingType() INDEXING_TYPE_EXACT_TERMS oder INDEXING_TYPE_PREFIXES ist. Teile dieser Seite sind Änderungen auf der Grundlage von Arbeiten, die von der Android Open Source Project erstellt und gemeinsam verwendet und gemäß den in der 2.5 Attribution License beschriebenen Begriffen verwendet werden. |
| Verbatim | 2 | Dieser Wert gibt an, dass keine Normalisierung oder Segmentierung auf Zeichenfolgenwerte angewendet werden soll, die mit diesem Typ tokenisiert werden. Daher entspricht das Ausgabetoken dem Unformatierten Zeichenfolgenwert. Beispiel: eine Eigenschaft mit "Hello, world!" wird das Token "Hello, world!" erzeugen, Interpunktion und Großschreibung beibehalten und keine separaten Token zwischen dem Raum erstellen. Es ist nur gültig, tokenizer_type "VERBATIM" sein, wenn getIndexingType() INDEXING_TYPE_EXACT_TERMS oder INDEXING_TYPE_PREFIXES ist. Teile dieser Seite sind Änderungen auf der Grundlage von Arbeiten, die von der Android Open Source Project erstellt und gemeinsam verwendet und gemäß den in der 2.5 Attribution License beschriebenen Begriffen verwendet werden. |
| Rfc822 | 3 | Tokenisierung für E-Mails. Dieser Wert gibt an, dass Token basierend auf der E-Mail-Struktur aus dieser Eigenschaft extrahiert werden sollen. Beispielsweise erzeugt eine Eigenschaft mit "alex.sav@google.com" Token für "alex", "sav", "alex.sav", "google", "com" und "alexsav@google.com" Es ist nur gültig tokenizer_type, wenn "RFC822" auf "RFC822" festgelegt ist, wenn getIndexingType() INDEXING_TYPE_EXACT_TERMS oder INDEXING_TYPE_PREFIXES ist. Teile dieser Seite sind Änderungen auf der Grundlage von Arbeiten, die von der Android Open Source Project erstellt und gemeinsam verwendet und gemäß den in der 2.5 Attribution License beschriebenen Begriffen verwendet werden. |