AddedToken Struct

Definizione

Rappresentare un token aggiunto dall'utente sopra il vocabolario del modello esistente. AddedToken può essere configurato per specificare il comportamento che deve avere in diverse situazioni, ad esempio:

  • Indica se devono corrispondere solo a singole parole
  • Indica se includere uno spazio vuoto a sinistra o a destra
public struct AddedToken : IEquatable<Microsoft.ML.Tokenizers.AddedToken>
type AddedToken = struct
Public Structure AddedToken
Implements IEquatable(Of AddedToken)
Ereditarietà
AddedToken
Implementazioni

Costruttori

Nome Descrizione
AddedToken()

Creare un nuovo oggetto AddedToken.

AddedToken(String, Boolean)

Creare un nuovo oggetto AddedToken dal contenuto specificato, specificando se deve essere un token speciale. I token speciali non vengono normalizzati per impostazione predefinita.

Proprietà

Nome Descrizione
Content

Ottiene o imposta il contenuto del token aggiunto

Metodi

Nome Descrizione
Equals(AddedToken)

Determina se due istanze del token sono uguali.

GetHashCode()

Restituisce il codice hash per il token corrente.

Operatori

Nome Descrizione
Implicit(String to AddedToken)

Definisce una conversione implicita di un oggetto stringa in AddedToken.

Si applica a