İşte negatif sırt ile neler olup bittiğini gösteren geometrik bir örnek.
biçiminin tahmincilerini ele Kayıp fonksiyonundan kaynaklananBurada, ile iki boyutlu bir durumda ne olduğunu gösteren oldukça standart bir örnek . Sıfır lambda OLS çözeltisine karşılık gelir, sonsuz lambda tahmini beta değerini sıfıra indirir:
β^λ=(X⊤X+λI)−1X⊤y
Lλ=∥y−Xβ∥2+λ∥β∥2.
λ∈[0,∞)
Şimdi olduğunda ne olacağını düşünün ; burada , en büyük tekil değeridir . Çok büyük negatif lambdalar için elbette sıfıra yakındır. Lambda yaklaştığında terimi , ters eksi sonsuz olacak bir tek değeri vardır, yani sıfıra yaklaşan bir tek değeri alır. Bu tekil değer ilk temel bileşenine karşılık gelir , bu nedenle bir sınırda PC1 yönünü gösterir, ancak mutlak değer sonsuza doğru büyür.λ∈(−∞,−s2max)smaxXβ^λ−s2max(X⊤X+λI)Xβ^λ
Gerçekten güzel olan, kişinin aynı şekilde aynı şekilde çizebilmesidir: betalar, dairelerin elipslere içeriden temas ettiği noktalarla verilir :
Tüm , benzer bir mantık en küçük kareler tahmincisi diğer tarafında çıkıntı yoluna devam sağlayan geçerlidir. Şimdi çevreler dışarıdan üç nokta dokunun. Gelen sınır, betalar PC2 yönüne yaklaşır (ancak bu çizimin çok dışında olur):λ∈(−s2min,0]
aralığı, bir şeydir enerji aralığı : tahmin aynı eğri üzerinde değil canlı orada yapmak.(−s2max,−s2min)
GÜNCELLEME: @MartinL, yorumlarda için kayıp minimum olmadığını ancak maksimum olduğunu açıklar . Ve bu maksimum değer . Bu yüzden daire / elips dokunuşuyla aynı geometrik yapı çalışmaya devam ediyor: hala sıfır gradyan noktaları arıyoruz. Tüm , kayıp az var ve bu verilir tam dikey olarak, kasa.λ<−s2maxLλβ^λ−s2min<λ≤0Lλβ^λλ>0
Ancak olduğunda, kayıp maksimum veya minimum değeri yoktur; bir eyer noktasına karşılık gelir. Bu "enerji açığını" açıklar.−s2max<λ<−s2minLλβ^λ
doğal olarak, belirli bir kısıtlı sırt regresyon doğar, bkz "birim varyans" sırt regresyon tahmin sınırını . Bu, kemometri literatüründe "sürekli ortam regresyonu" olarak bilinen şeyle ilgilidir, bağlantılı konudaki cevabımı görün.λ∈(−∞,−s2max)λ→∞
ile tam olarak aynı şekilde muamele edilebilir kayıp fonksiyonu kalır aynı ve sırt tahmincisi az içerir.λ∈(−s2min,0]λ>0