PreTokenizer.PreTokenize Metodo

Definizione

Spazio dei nomi:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Pacchetto:: Microsoft.ML.Tokenizers v1.0.1

Pacchetto:: Microsoft.ML.Tokenizers v0.22.0

Pacchetto:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Pacchetto:: Microsoft.ML.Tokenizers v0.20.1

Importante

Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.

Overload

Nome	Descrizione
PreTokenize(ReadOnlySpan<Char>)	Ottenere gli offset e le lunghezze dei token rispetto alla stringa originale.
PreTokenize(String)	Ottenere gli offset e le lunghezze dei token rispetto all'oggetto `text`.

PreTokenize(ReadOnlySpan<Char>)

Origine:: PreTokenizer.cs

Origine:: PreTokenizer.cs

Origine:: PreTokenizer.cs

Ottenere gli offset e le lunghezze dei token rispetto alla stringa originale.

public abstract System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(ReadOnlySpan<char> text);

abstract member PreTokenize : ReadOnlySpan<char> -> seq<ValueTuple<int, int>>

Public MustOverride Function PreTokenize (text As ReadOnlySpan(Of Char)) As IEnumerable(Of ValueTuple(Of Integer, Integer))

Parametri

text: ReadOnlySpan<Char>

Intervallo di caratteri da suddividere in token.

Valori restituiti

IEnumerable<ValueTuple<Int32,Int32>>

Gli offset e le lunghezze dei token, espressi come coppie, sono relativi alla stringa originale.

Si applica a

PreTokenize(String)

Origine:: PreTokenizer.cs

Origine:: PreTokenizer.cs

Origine:: PreTokenizer.cs

Ottenere gli offset e le lunghezze dei token rispetto all'oggetto text.

public abstract System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(string text);

public abstract System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize(string sentence);

abstract member PreTokenize : string -> seq<ValueTuple<int, int>>

abstract member PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>

Public MustOverride Function PreTokenize (text As String) As IEnumerable(Of ValueTuple(Of Integer, Integer))

Public MustOverride Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)

Parametri

textsentence: String

Stringa da dividere in token.

Valori restituiti

IEnumerable<ValueTuple<Int32,Int32>>

IReadOnlyList<Split>

Gli offset e le lunghezze dei token, espressi come coppie, sono relativi alla stringa originale.

Si applica a