Em estatística e aprendizado de máquina, lasso (do inglês least absolute shrinkage and selection operator; também Lasso, LASSO ou regularização L1) é um método de análise de regressão que realiza tanto seleção de variáveis quanto regularização para aumentar a precisão preditiva e a interpretabilidade do modelo estatístico resultante. O método lasso pressupõe que os coeficientes do modelo linear sejam esparsos, isto é, que poucos deles sejam diferentes de zero. Uma formulação relacionada baseada em penalização foi usada na geofísica em 1986, e Robert Tibshirani apresentou posteriormente o método sob o nome lasso, cunhando o termo.

O lasso foi formulado originalmente para modelos de regressão linear. Esse caso simples revela muito sobre o estimador, incluindo sua relação com a regressão ridge e a seleção do melhor subconjunto, bem como as conexões entre as estimativas dos coeficientes do lasso e o chamado limiar suave. Também mostra que, assim como na regressão linear padrão, as estimativas dos coeficientes não precisam ser únicas se as covariáveis forem colineares.

Embora definido originalmente para regressão linear, a regularização lasso pode ser facilmente estendida a outros modelos estatísticos, incluindo modelos lineares generalizados, equações de estimação generalizadas, modelos de riscos proporcionais e estimadores M. A capacidade do lasso de realizar seleção de subconjuntos depende da forma da restrição e admite diversas interpretações, inclusive em termos de geometria, estatística bayesiana e análise convexa.

O LASSO é estreitamente relacionado ao método basis pursuit denoising.

História O lasso foi introduzido para melhorar a precisão preditiva e a interpretabilidade de modelos de regressão. Ele seleciona um conjunto reduzido das covariáveis conhecidas para uso em um modelo.

Antecedentes matematicamente relacionados ao lasso apareceram na literatura de geofísica em 1986, com o uso de uma penalidade em problemas de inversão. Em 1996, o estatístico Robert Tibshirani apresentou o método sob o nome lasso, inspirado em parte pelo nonnegative garrote de Breiman.

Antes da disseminação do lasso, a seleção por etapas era uma abordagem tradicional para escolher covariáveis. Essa abordagem melhora a precisão da previsão somente em determinados casos, como quando apenas algumas covariáveis apresentam forte relação com o desfecho. Em outros casos, porém, pode aumentar o erro de previsão.

A regressão ridge já era uma técnica estabelecida para reduzir o erro de previsão por meio do encolhimento dos coeficientes. A regressão ridge reduz o erro de previsão ao reduzir a soma dos quadrados dos coeficientes de regressão para que fique abaixo de um valor fixo, com o objetivo de reduzir o sobreajuste, mas não realiza seleção de covariáveis e, portanto, não ajuda a tornar o modelo mais interpretável.

O lasso atinge ambos os objetivos ao impor que a soma dos valores absolutos dos coeficientes de regressão seja menor que um valor fixo, o que força determinados coeficientes a zero e os exclui da influência sobre a previsão. A ideia é semelhante à regressão ridge, que também reduz a magnitude dos coeficientes; contudo, a regressão ridge não zera coeficientes e, portanto, não realiza seleção de variáveis.

Forma básica

Mínimos quadrados Considere uma amostra composta por N casos, cada um com p covariáveis e um único desfecho. Seja o desfecho e o vetor de covariáveis do i-ésimo caso. O objetivo do lasso é resolver:

sujeito a

Aqui, é o coeficiente constante, é o vetor de coeficientes e é um parâmetro livre predefinido que determina o grau de regularização.

Seja a matriz de covariáveis, de modo que e seja a i-ésima linha de . A expressão pode ser escrita de forma mais compacta como

em que é a norma padrão.

Denotando a média escalar dos pontos de dados por e a média das variáveis de resposta por , a estimativa resultante de é , de modo que

e, portanto, é usual trabalhar com variáveis que tenham média zero. Além disso, as covariáveis são normalmente padronizadas para que a solução não dependa da escala de medição.

Pode ser útil reescrever

na chamada forma lagrangiana

em que a relação exata entre e depende dos dados.

Covariáveis ortonormais

Podem-se agora considerar algumas propriedades básicas do estimador lasso.

Supondo inicialmente que as covariáveis sejam ortonormais, de modo que , em que é o delta de Kronecker, ou, de forma equivalente, , então, utilizando métodos de subgradiente, pode-se mostrar que

em que

é denominado operador de limiar suave, pois desloca os valores em direção a zero — tornando-os exatamente zero no limite à medida que eles próprios se aproximam de zero — em vez de definir os valores menores como zero e manter os maiores inalterados, como faria o operador de limiar rígido, frequentemente denotado por .

Na regressão ridge, o objetivo é minimizar

Usando e a fórmula da regressão ridge, obtém-se:

A regressão ridge reduz todos os coeficientes por um fator uniforme de e não zera nenhum coeficiente.

Também se pode compará-lo à regressão com seleção do melhor subconjunto, cujo objetivo é minimizar

em que é a “norma ”, definida como quando exatamente componentes de são diferentes de zero. Novamente supondo covariáveis ortonormais, pode-se mostrar que, nesse caso especial,

em que é novamente o operador de limiar rígido e é uma função indicadora (vale se seu argumento for verdadeiro e caso contrário).

Portanto, as estimativas lasso compartilham características tanto da regressão ridge quanto da seleção do melhor subconjunto: reduzem a magnitude de todos os coeficientes, como a regressão ridge, e zeram alguns deles, como no caso da seleção do melhor subconjunto. Além disso, enquanto a regressão ridge escala todos os coeficientes por um fator constante, o lasso desloca os coeficientes em direção a zero por um valor constante e os zera quando atingem esse valor.

Covariáveis correlacionadas

Em um caso especial, duas covariáveis, digamos j e k, são idênticas em cada observação, de modo que , com . Nesse caso, os valores de e que minimizam a função objetivo do lasso não são determinados de forma única. De fato, se existir algum para o qual , então, se , substituir por e por , mantendo todos os outros fixos, produz uma nova solução. Assim, a função objetivo do lasso possui um contínuo de minimizadores válidos. Diversas variantes do lasso, incluindo a regularização elastic net, foram desenvolvidas para contornar essa limitação.

Forma geral

A regularização lasso pode ser estendida a outras funções objetivo, como as usadas em modelos lineares generalizados, equações de estimação generalizadas, modelos de riscos proporcionais e estimadores M. Dada a função objetivo

a versão regularizada por lasso do estimador é a solução de

em que apenas é penalizado, enquanto pode assumir qualquer valor permitido, assim como não era penalizado no caso básico.

Interpretações

Interpretação geométrica 300px|thumb|Formas das regiões de restrição para o lasso e a regressão ridge

O lasso pode zerar coeficientes, enquanto a regressão ridge, superficialmente semelhante, não pode. Isso se deve à diferença na forma das fronteiras de suas restrições. Tanto o lasso quanto a regressão ridge podem ser interpretados como a minimização da mesma função objetivo

mas sob restrições diferentes: para o lasso e para a regressão ridge. A figura mostra que a região de restrição definida pela norma é um quadrado rotacionado de modo que seus vértices fiquem sobre os eixos — em geral, um politopo cruzado —, enquanto a região definida pela norma é um círculo — em geral, uma n-esfera —, que é rotacionalmente invariante e, portanto, não possui vértices. Como mostrado na figura, um objeto convexo tangente à fronteira, como a linha apresentada, provavelmente encontrará um vértice — ou o equivalente em dimensão superior — de um hipercubo, para o qual alguns componentes de são exatamente zero; no caso de uma n-esfera, os pontos da fronteira nos quais alguns componentes de sejam zero não se distinguem dos demais, e o objeto convexo não tem maior probabilidade de tocar um ponto em que alguns componentes de sejam zero do que um ponto em que nenhum deles seja.

Interpretação bayesiana

thumb|As distribuições de Laplace apresentam um pico acentuado em torno da média, com maior densidade de probabilidade concentrada nessa região do que uma distribuição normal.

Assim como a regressão ridge pode ser interpretada como uma regressão linear na qual foram atribuídas aos coeficientes distribuições a priori normais, o lasso pode ser interpretado como uma regressão linear em que os coeficientes possuem distribuições a priori de Laplace. A distribuição de Laplace apresenta um pico acentuado em zero — sua primeira derivada é descontínua em zero — e concentra sua massa de probabilidade mais próximo de zero do que a distribuição normal. Isso fornece uma explicação alternativa para a tendência do lasso de zerar alguns coeficientes, enquanto a regressão ridge não o faz.

Interpretação como relaxação convexa

O lasso também pode ser visto como uma relaxação convexa do problema de regressão com seleção do melhor subconjunto, cujo objetivo é encontrar o subconjunto de covariáveis que produz o menor valor da função objetivo para algum fixo, em que n é o número total de covariáveis. A “norma ”, — o número de entradas não nulas de um vetor —, é o caso limite das “normas ”, da forma — as aspas indicam que essas expressões não são realmente normas para , pois não é convexa para e, portanto, a desigualdade triangular não é satisfeita. Assim, como p = 1 é o menor valor para o qual a “norma ” é convexa — e, portanto, de fato uma norma —, o lasso é, em certo sentido, a melhor aproximação convexa do problema de seleção do melhor subconjunto, uma vez que a região definida por é a Envoltória convexa da região definida por para .

Generalizações

Variantes do lasso foram criadas para corrigir limitações da técnica original e tornar o método mais útil em problemas específicos. Quase todas se concentram em respeitar ou explorar dependências entre as covariáveis.

A regularização elastic net acrescenta uma penalidade adicional semelhante à da regressão ridge, o que melhora o desempenho quando o número de preditores é maior que o tamanho da amostra, permite que o método selecione conjuntamente variáveis fortemente correlacionadas e melhora a precisão global da previsão.

O group lasso permite que grupos de covariáveis relacionadas sejam selecionados como uma única unidade, o que pode ser útil em situações nas quais não faz sentido incluir algumas covariáveis sem as demais. Extensões adicionais do group lasso realizam seleção de variáveis dentro de grupos individuais — o sparse group lasso — e permitem sobreposição entre grupos — o overlap group lasso.

O fused lasso pode levar em consideração as características espaciais ou temporais de um problema, produzindo estimativas que correspondem melhor à estrutura do sistema. Modelos regularizados por lasso podem ser ajustados usando técnicas que incluem métodos de subgradiente, regressão de menor ângulo (LARS) e métodos de gradiente proximal. Determinar o valor ótimo do parâmetro de regularização é uma parte importante para assegurar um bom desempenho do modelo; normalmente, esse valor é escolhido por validação cruzada. Elastic net

Em 2005, Zou e Hastie introduziram a elastic net. Quando p > n — isto é, quando o número de covariáveis é maior que o tamanho da amostra —, o lasso pode selecionar apenas n covariáveis, mesmo que mais delas estejam associadas ao desfecho, e tende a selecionar apenas uma covariável de cada conjunto de covariáveis altamente correlacionadas. Além disso, mesmo quando n > p, a regressão ridge tende a apresentar melhor desempenho na presença de covariáveis fortemente correlacionadas.

A elastic net estende o lasso acrescentando um termo adicional de penalidade , resultando em

o que é equivalente a resolver