Negatif sırt regresyonunu anlama


12

Negatif sırt regresyonu ile ilgili literatür arıyorum .

Kısacası, tahminci formülünde negatif kullanılarak doğrusal sırt regresyonunun genelleştirilmesidir :Olumlu durum güzel bir teoriye sahiptir: bir kayıp fonksiyonu olarak, bir kısıtlama olarak, daha önce bir Bayes olarak ... ama sadece yukarıdaki formüle sahip negatif versiyonda kaybolmuş hissediyorum. Yaptığım şey için yararlı olur, ancak açıkça yorumlayamıyorum.p = ( X x + λ I ) - 1 x y .λ

β^=(XX+λI)1Xy.

Negatif sırt hakkında ciddi bir giriş metni biliyor musunuz? Nasıl yorumlanabilir?


1
Bununla ilgili herhangi bir tanıtım metni bilmiyorum, ancak bu kaynak aydınlatıcı olabilir, özellikle sayfa 18'in altındaki tartışma: jstor.org/stable/4616538?seq=1#page_scan_tab_contents
Ryan Simmons

1
Bağlantının gelecekte ölmesi durumunda, tam alıntı şöyledir: Björkström, A. & Sundberg, R. "Süreklilik gerilemesi hakkında genel bir görüş". İskandinav İstatistik Dergisi, 26: 1 (1999): s.17-30
Ryan Simmons

2
Çok teşekkürler. Bu, . (Kovaryans matrisinin en büyük öz değeri) olduğunda sırtın CR yoluyla net bir yorumunu verir . Hala ile bir yorum ...λ<λ1λ>λ1
Benoit Sanchez

Tikhonov düzenlemesinden bu sırt regresyonunun geliştirilmesinde , Tikhonov düzenlemesinin sırt regresyonu için haline geldiğine dikkat edin . Daha sonra, genellikle değiştirilir . Bu negatifi yapmanın tek yolu hayali olması, yani katlarıdır . Tamam, şimdi ne olacak? Onunla nereye gitmek istersin? α 2 I α 2 λ α i = ΓTΓα2Iα2λαi=1
Carl

Burada bahsedilen negatif sırt: stats.stackexchange.com/questions/328630/… bazı bağlantılar ile
kjetil b halvorsen

Yanıtlar:


12

İşte negatif sırt ile neler olup bittiğini gösteren geometrik bir örnek.

biçiminin tahmincilerini ele Kayıp fonksiyonundan kaynaklananBurada, ile iki boyutlu bir durumda ne olduğunu gösteren oldukça standart bir örnek . Sıfır lambda OLS çözeltisine karşılık gelir, sonsuz lambda tahmini beta değerini sıfıra indirir:

β^λ=(XX+λI)1Xy
Lλ=yXβ2+λβ2.
λ[0,)

resim açıklamasını buraya girin

Şimdi olduğunda ne olacağını düşünün ; burada , en büyük tekil değeridir . Çok büyük negatif lambdalar için elbette sıfıra yakındır. Lambda yaklaştığında terimi , ters eksi sonsuz olacak bir tek değeri vardır, yani sıfıra yaklaşan bir tek değeri alır. Bu tekil değer ilk temel bileşenine karşılık gelir , bu nedenle bir sınırda PC1 yönünü gösterir, ancak mutlak değer sonsuza doğru büyür.λ(,smax2)smaxXβ^λsmax2(XX+λI)Xβ^λ

Gerçekten güzel olan, kişinin aynı şekilde aynı şekilde çizebilmesidir: betalar, dairelerin elipslere içeriden temas ettiği noktalarla verilir :

resim açıklamasını buraya girin

Tüm , benzer bir mantık en küçük kareler tahmincisi diğer tarafında çıkıntı yoluna devam sağlayan geçerlidir. Şimdi çevreler dışarıdan üç nokta dokunun. Gelen sınır, betalar PC2 yönüne yaklaşır (ancak bu çizimin çok dışında olur):λ(smin2,0]

resim açıklamasını buraya girin

aralığı, bir şeydir enerji aralığı : tahmin aynı eğri üzerinde değil canlı orada yapmak.(smax2,smin2)

GÜNCELLEME: @MartinL, yorumlarda için kayıp minimum olmadığını ancak maksimum olduğunu açıklar . Ve bu maksimum değer . Bu yüzden daire / elips dokunuşuyla aynı geometrik yapı çalışmaya devam ediyor: hala sıfır gradyan noktaları arıyoruz. Tüm , kayıp az var ve bu verilir tam dikey olarak, kasa.λ<smax2Lλβ^λsmin2<λ0Lλβ^λλ>0

Ancak olduğunda, kayıp maksimum veya minimum değeri yoktur; bir eyer noktasına karşılık gelir. Bu "enerji açığını" açıklar.smax2<λ<smin2Lλβ^λ


doğal olarak, belirli bir kısıtlı sırt regresyon doğar, bkz "birim varyans" sırt regresyon tahmin sınırını . Bu, kemometri literatüründe "sürekli ortam regresyonu" olarak bilinen şeyle ilgilidir, bağlantılı konudaki cevabımı görün.λ(,smax2)λ

ile tam olarak aynı şekilde muamele edilebilir kayıp fonksiyonu kalır aynı ve sırt tahmincisi az içerir.λ(smin2,0]λ>0


1
İlginç grafikler için teşekkürler. Ne zaman , österilmiş gelmiş çözümdür küresel maksimum maliyet fonksiyonunun değil global az. Benzer şekilde, olduğunda, nokta maliyet fonksiyonunun bir eyer noktası olmalıdır . λ<smax2smax2<λ<0
Martin L

1
Maliyet fonksiyonunda yalnızca ikinci dereceden terimleri göz önünde bulundurun. olarak yazılabilirler Let , daha sonra parantez içinde matris sadece negatif öz sahiptir. Let ve matris pozitif ve negatif öz hem de sahiptir. Bu özdeğerler, noktanın maliyet fonksiyonunun eyer noktası, minimum veya maksimum olup olmadığını etkiler.
βT(XTX+λI)β.
λ<smax2smax2<λ<0
Martin L

1
Bu çok yardımcı oldu, çok teşekkürler. Cevabımda bir güncelleme yaptım.
amip

1
Teşekkür ederim. Özellikle eyer noktasının yalnızca olduğunda geçerli olduğunu . Tüm , çözelti daha sonra halen bulunan gerçekten de küresel bir minimum, kesin pozitiftir. Önceki yorumum bu nedenle kısmen yanlıştı. smax2<λ<smin2λ>smin2XTX+λI
Martin L
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.