LbfgsMaximumEntropyMulticlassTrainer Classe

Definição

public sealed class LbfgsMaximumEntropyMulticlassTrainer : Microsoft.ML.Trainers.LbfgsTrainerBase<Microsoft.ML.Trainers.LbfgsMaximumEntropyMulticlassTrainer.Options,Microsoft.ML.Data.MulticlassPredictionTransformer<Microsoft.ML.Trainers.MaximumEntropyModelParameters>,Microsoft.ML.Trainers.MaximumEntropyModelParameters>

type LbfgsMaximumEntropyMulticlassTrainer = class
    inherit LbfgsTrainerBase<LbfgsMaximumEntropyMulticlassTrainer.Options, MulticlassPredictionTransformer<MaximumEntropyModelParameters>, MaximumEntropyModelParameters>

Public NotInheritable Class LbfgsMaximumEntropyMulticlassTrainer
Inherits LbfgsTrainerBase(Of LbfgsMaximumEntropyMulticlassTrainer.Options, MulticlassPredictionTransformer(Of MaximumEntropyModelParameters), MaximumEntropyModelParameters)

Herança

Object

TrainerEstimatorBase<TTransformer,TModel>

LbfgsTrainerBase<LbfgsMaximumEntropyMulticlassTrainer.Options,MulticlassPredictionTransformer<MaximumEntropyModelParameters>,MaximumEntropyModelParameters>

LbfgsMaximumEntropyMulticlassTrainer

Comentários

Para criar esse treinador, use LbfgsMaximumEntropy ou LbfgsMaximumEntropy(Options).

Colunas de entrada e saída

Os dados da coluna do rótulo de entrada devem ser de tipo de chave e a coluna de recurso deve ser um vetor de tamanho conhecido.Single

Este treinador gera as seguintes colunas:

Características do Treinador

Função de pontuação

O modelo máximo de entropia é uma generalização da regressão logística linear. A principal diferença entre o modelo máximo de entropia e a regressão logística é o número de classes com suporte no problema de classificação considerado. A regressão logística é apenas para classificação binária, enquanto o modelo máximo de entropia manipula várias classes. Consulte a Seção 1 neste artigo para obter uma introdução detalhada.

Suponha que o número de classes seja $m$ e o número de recursos seja $n$. O modelo de entropia máxima atribui à classe $c$-th um vetor coeficiente $\textbf{w}_c \in {\mathbb R}^n$ e um viés $b_c \in {\mathbb R}$, por $c=1,\dots,m$. Dado um vetor de recurso $\textbf{x} \in {\mathbb R}^n$, a pontuação da classe $c$-th é $\hat{y}^c = \textbf{w}_c^T \textbf{x} + b_c$. A probabilidade de $\textbf{x}$ pertencer à classe $c$ é definida por $\tilde{P}(c | \textbf{x}) = \frac{ e^{\\hat{y}^c} }{ \sum_{c' = 1}^m e^{\hat{y}^{c'}} }$. Let $P(c, \textbf{ x})$ denote a probabilidade conjunta de ver $c$ e $\textbf{x}$. A função de perda minimizada por este treinador é $-\sum_{c = 1}^m P(c, \textbf{ x}) \log \tilde{P}(c | \textbf{x}) $, que é a função de probabilidade de log negativa.

Detalhes do algoritmo de treinamento

A técnica de otimização implementada baseia-se no método de memória limitada Broyden-Fletcher-Goldfarb-Shanno (L-BFGS). L-BFGS é um método quase newtoniano, que substitui a computação cara da matriz hessiana por uma aproximação, mas ainda desfruta de uma taxa de convergência rápida como o método de Newton onde a matriz hessiana completa é computada. Como a aproximação L-BFGS usa apenas uma quantidade limitada de estados históricos para calcular a direção da próxima etapa, ela é especialmente adequada para problemas com um vetor de recursos de alta dimensão. O número de estados históricos é um parâmetro especificado pelo usuário, usando um número maior pode levar a uma melhor aproximação da matriz hessiana, mas também a um custo de computação mais alto por etapa.

Essa classe usa minimização de risco empírico (ou seja, ERM) para formular o problema de otimização criado com base nos dados coletados. Observe que o risco empírico geralmente é medido aplicando uma função de perda nas previsões do modelo em pontos de dados coletados. Se os dados de treinamento não contiverem pontos de dados suficientes (por exemplo, para treinar um modelo linear em $n espaço$-dimensional, precisamos de pelo menos $n$ pontos de dados), a sobreajuste pode acontecer para que o modelo produzido pelo ERM seja bom em descrever dados de treinamento, mas pode não prever os resultados corretos em eventos não vistos. A regularização é uma técnica comum para aliviar esse fenômeno, penalizando a magnitude (geralmente medida pela função norma) dos parâmetros de modelo. Este treinador dá suporte à regularização de rede elástica, que penaliza uma combinação linear de LASSO (L1-norm), $|| \textbf{w}_c ||_1$, e L2-norm (ridge), $|| \textbf{w}_c ||_2^2$ regularizações para $c=1,\dots,m$. As regularizações L1-norm e L2-norm têm efeitos e usos diferentes que são complementares em determinados aspectos.

Junto com o algoritmo de otimização implementado, a regularização de norma L1 pode aumentar a moderação dos pesos do modelo, $\textbf{w}_1,\dots,\textbf{w}_m$. Para conjuntos de dados altamente dimensionais e esparsos, se os usuários selecionarem cuidadosamente o coeficiente da norma L1, é possível obter uma boa qualidade de previsão com um modelo que tenha apenas alguns pesos não zero (por exemplo, 1% do total de pesos do modelo) sem afetar seu poder de previsão. Por outro lado, a norma L2 não pode aumentar a moderação do modelo treinado, mas ainda pode impedir a sobreajuste evitando valores de parâmetro grandes. Às vezes, o uso da norma L2 leva a uma melhor qualidade de previsão, portanto, os usuários ainda podem querer experimentá-la e ajustar os coeficientes de L1-norm e L2-norm. Observe que, conceitualmente, o uso da norma L1 implica que a distribuição de todos os parâmetros de modelo é uma distribuição Laplace , enquanto l2-norm implica uma distribuição gaussiana para eles.

Uma regularização agressiva (ou seja, atribuir grandes coeficientes a termos de regularização de norma L1 ou L2) pode prejudicar a capacidade preditiva excluindo variáveis importantes do modelo. Por exemplo, um coeficiente L1-norm muito grande pode forçar todos os parâmetros a serem zeros e levar a um modelo trivial. Portanto, escolher os coeficientes de regularização corretos é importante na prática.

Verifique a seção Consulte Também para obter links para exemplos de uso.

Confira também

• LbfgsMaximumEntropyMulticlassTrainer.Options
• LbfgsMaximumEntropy(MulticlassClassificationCatalog+MulticlassClassificationTrainers, String, String, String, Single, Single, Single, Int32, Boolean)
• LbfgsMaximumEntropy(MulticlassClassificationCatalog+MulticlassClassificationTrainers, LbfgsMaximumEntropyMulticlassTrainer+Options)