Cezalanmış lineer regresyonun geometrik yorumu

Doğrusal regresyonun "tüm noktalara dikey olarak en yakın olan çizgi" olarak düşünülebileceğini biliyorum :

görüntü tanımını buraya girin

Ancak, sütun alanını “katsayı matrisinin sütunlarının kapsadığı alana yansıtma” olarak görerek, onu görmenin başka bir yolu var :

görüntü tanımını buraya girin

Sorum şu: Bu iki yorumda, regüle edilmiş regresyon ve LASSO gibi, penaltılaşmış lineer regresyon kullandığımız zaman ne olur ? İlk yorumu yapan satırda ne olur? Ve ikinci yorumdaki izdüşüm ile ne olur?

GÜNCELLEME: @JohnSmith yorumlarda ceza katsayıları uzayda meydana geldiği gerçeğini gündeme getirdi. Bu alanda da bir yorum var mı?

regression intuition geometry

— Lucas Reis
kaynak

Böyle bir yorumla gelmenin mümkün olduğundan emin değilim. Bunun sebebi, sağladığınız şey, özelliklerin ve yanıtların orijinal alanındaki görüntüler. Ve cezalandırılmış regresyon, çok farklı olan katsayıların alanını içerir.

— Dmitry Laptev

"Tüm noktalara dikey olarak en yakın çizgi"? Biri genellikle karelerin toplamını alır - Wikipedia Coefficient_of_determination üzerindeki güzel resmi görün . Dikey mesafelerin toplamı, aykırı değerlere karşı daha az hassas ancak çok daha az yaygın olan L1 normudur.

— denis

Yanıtlar:

Resim becerilerim için üzgünüm, size aşağıdaki sezgiyi vermeye çalışacağım.

$f(\beta)$ $\beta$ $\beta_1$ $\beta_2$

Kırmızı dairelerin ortasında bu fonksiyonun asgari bir miktarı vardır. Ve bu minimum bize cezai olmayan çözümü verir.

$g(\beta)$ $g(\beta) = \lambda (|\beta_1| + |\beta_2|)$ $g(\beta) = \lambda (\beta_1^2 + \beta_2^2)$ $\lambda$ $\lambda$ $g(x)$

$f(\beta) + g(\beta)$

LASSO ve Ridge regresyonu

Daha büyük ceza, "daha dar" mavi hatlara sahip oluruz, ve arsalar birbirleriyle sıfıra yakın bir noktada toplanırlar. Tam tersi: ceza ne kadar küçükse, kontürler genişler ve mavi ve kırmızı çizgilerin kesişmesi kırmızı dairenin merkezine (cezalandırılmamış çözüm) yaklaşır.

$\beta_1 = 0$ $\beta_2 = 0$

$0$

Bu, cezalandırılmış regresyonun, parametreler alanında nasıl çalıştığı hakkında bazı sezgileri açıklayacağını umuyor.

— Dmitry Laptev
kaynak

Klasik bir resimle başlamanın, yaptığınız gibi, iyi bir başlangıç olduğunu düşünüyorum. Bunu gerçekten anlamak için, konturların problemle nasıl ilişkili olduğunu açıklamanın faydalı olacağını düşünüyorum. Özellikle, her iki durumda da, cezalarımızı ne kadar küçük hale getirdiğimizi, OLS çözümüne ne kadar yaklaştığımızı ve ne kadar büyürse saf bir müdahale modeline o kadar yaklaşacağımızı biliyoruz. Sorulması gereken bir soru şudur: Bu, sizin figürünüzde nasıl kendini gösterir?

— kardinal

Bu arada, resim yeteneklerin gayet iyi görünüyor.

— kardinal

Yorumun için teşekkürler! Burada her şey sezgisel olarak basittir: daha büyük ceza, elde ettiğimiz "daha dar" mavi kontürler (ve sonra iki grafiğin buluştuğu nokta sıfıra yaklaşır). Tam tersi: ceza ne kadar küçükse: alanların bir araya geleceği kırmızı dairenin merkezine o kadar yakın (OLS).

— Dmitry Laptev

g (x)

$g(x)$

λ

$\lambda$

Net örnek için teşekkürler. Başka yerlerde, hedeflerin minimum toplamının birbirlerine teğet oldukları yerlerde gerçekleştiğini okudum. F (\ beta) '= -g (\ beta)' ise, toplamın türevinin sıfır olduğu ve bunun bir ekstremum için bir gereklilik olduğu anlamına geldiğini anlıyorum. Burada "iki kontur çizgisi birbiriyle buluştuğunda" ile kastedilen bu mu?

— 30'da odedbd

Sahip olduğum sezgi şudur: En küçük kareler durumunda, şapka matrisi dikey olmayan bir çıkıntıdır, yani idepsizdir. Cezalandırılmış durumda, şapka matrisi artık geçerli değildir. Aslında, onu defalarca defa uygulamak, katsayıları orijine daraltır. Öte yandan, katsayıların tahmin edicilerin aralığında kalması gerekir, bu yüzden dik olmasına rağmen hala bir izdüşümdür. Cezalandırma faktörünün büyüklüğü ve norm türü, büzülmenin kökene olan mesafesini ve yönünü kontrol eder.

— JohnRos
kaynak

Neden önemsiz olmadığını anlayamıyorum: vektörü uzaya yansıtıyorsam (dikey yansıtma olmasa bile) ve katsayılara bir sınır koyarsam, bu yansıtılan vektörün yeni bir yansıması öncekinden farklı olsun. bir?

— Lucas Reis

Sezgisel: Diyelim ki ceza karelerinin toplamını ikinci kez küçültüyorsunuz. İkinci küçültme sırasındaki karelerin toplamı, ilk küçültme karelerinin toplamından daha küçüktür. Cezalandırılmış katsayıların normunun nispi önemi artacaktır, yani katsayıları daraltmak suretiyle kazanılacak daha çok şey vardır. Ridge regression, şapka matrisi için güzel bir kapalı formun olduğu ve düzensiz olup olmadığını doğrudan kontrol edebileceğiniz iyi bir örnektir.

— JohnRos