LASSO ilişkisi

LASSO regresyonu konusundaki anlayışım, minimizasyon problemini çözmek için regresyon katsayılarının seçildiğidir:

min_{β} ‖ y - X β ‖_{2}^{2} s . t . ‖ β ‖_{1} \leq t

$\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t$

Uygulamada bu, bir Lagrange çarpanı kullanılarak yapılır ve sorunu çözme

min_{β} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1$

$\lambda$ ve arasındaki ilişki nedir $t$ ? Vikipedi yararsız bir şekilde "verilere bağlı" olduğunu belirtir.

Neden umursayayım? İlk olarak entelektüel merak için. Ama aynı zamanda çapraz onaylama ile seçmenin sonuçları hakkında endişeliyim $\lambda$ .

Özellikle, n-kat çapraz doğrulaması yapıyorsam, eğitim verilerimin n farklı bölümüne n farklı model uyuyorum. Daha sonra belirli bir için kullanılmayan verilerdeki modellerin her birinin doğruluğunu karşılaştırırım $\lambda$ . Ancak aynı , verilerin farklı alt kümeleri için farklı $\lambda$ bir kısıtlama ( $t$ ) anlamına gelir (yani, $t=f(\lambda)$ "verilere bağımlıdır").

En iyi önyargı doğruluğu değişimini sağlayan bulmak için gerçekten çözmek istediğim çapraz doğrulama sorunu değil $t$ mi?

Ben hesaplayarak pratikte bu etkinin boyutunun kaba bir fikir edinebilirsiniz her çapraz doğrulama bölünme ve için ve elde edilen dağılım bakarak. Bazı durumlarda, zımni kısıtlama ( ) çapraz doğrulama alt kümelerimde büyük ölçüde değişebilir. Burada esasen cinsinden varyasyon katsayısını kastediyorum . $\|\beta\|_1$ $\lambda$ $t$ $t>>0$

— ConstantAmateur
kaynak

Açıklanamayan aşağı oyu iptal etmek için yukarı oy. Soru uzmanlığımın çok dışında ancak makul bir şekilde formüle edilmiş gibi görünüyor.

— mkt - Monica'yı

Sırt regresyonu için standart çözüm budur :

β = {(X^{'} X + λ I)}^{- 1} X^{'} y

$\beta = \left( X'X + \lambda I \right) ^{-1} X'y$

Ayrıca biliyoruz , bu yüzden doğru olmalı $\| \beta \| = t$

‖ {(X^{'} X + λ I)}^{- 1} X^{'} y ‖ = t

$\| \left( X'X + \lambda I \right) ^{-1} X'y \| = t$ .

ki için çözmek kolay değil . $\lambda$

En iyi seçeneğiniz, yaptığınız şeyi yapmaya devam etmektir: Birden çok değerindeki verilerin aynı alt örneğinde hesaplayın . $t$ $\lambda$

— shadowtalker
kaynak