Belirsiz bir denklem sistemi için sırt regresyonu uygulanıyor mu?


9

Zaman , küresel bir kısıtlama empoze en küçük kareler problemi değerine olarak yazılabilir . \ | \ cdot \ | _2 bir vektörün Öklid normudur.y=Xβ+eδβ

min yXβ22s.t.  β22δ2
2

Tekabül eden çözelti β ile verilir

β^=(XTX+λI)1XTy ,
Lagrange çarpanları yönteminden türetilebilir ( λ çarpandır):
L(β,λ)=yXβ22+λ(β22δ2)

\ {{Denklem} \ sol (X ^ TX + \ lambda I \ sağ) ^ {- 1} X ^ T = X ^ T \ sol (XX ^ T + \ lambda I \ sağ bir özellik olduğunu anlıyorum ) ^ {- 1} \. \ end {equation}

(XTX+λI)1XT=XT(XXT+λI)1 .
Sağ taraf , belirlenmemiş durumda regresör matrisi X'in yalancı tersine benzemektedir X(eklenen normalleştirme parametresi λ ). Bu, aynı ifadenin , yetersiz tespit edilen vaka için β beta'ya yaklaşık olarak kullanılabileceği anlamına mı geliyor ? Küresel kısıtlama kısıtı objektif işlevle (minimum β ) norm olarak gereksiz olduğundan, az tespit edilen durumda karşılık gelen ifade için ayrı bir türev var mı :

min. β2s.t. Xβ=y .

Yanıtlar:


12

Sırt regresyon probleminin formülasyonundan başlayarak,

minXβy22+λx22

sorunu şu şekilde yazabilirsiniz:

minAβb22

nerede

A=[XλI]

ve

b=[y0].

matrisi , bölümü nedeniyle tam sütun sıralamasına sahiptir . Böylece eşsiz bir çözüm olarak en küçük kareler problemiAλI

β^=(ATA)1ATb

Bunu ve cinsinden ve çok sayıda 0'ı basitleştirerek,Xy

β^=(XTX+λI)1XTy

Bu derivasyondaki hiçbir şey, daha fazla satır veya sütuna veya tam derecesine sahip olmasına bağlı değildir . Dolayısıyla bu formül belirsiz vakaya uygulanabilir. XX

için cebirsel bir gerçektir ,λ>0

(XTX+λI)1XT=XT(XXT+λI)1

Böylece,

β^=XT(XXT+λI)1y .

Özel sorularınızı cevaplamak için:

  1. Evet, her iki formül de belirsiz vaka için olduğu kadar belirsiz vaka için de çalışır. Onlar da iş eğer daha az satır ve sütun sayısının minimum tutardan . İkinci sürüm, bu durumda küçük olduğu için belirlenmemiş sorunlar için daha verimli olabilir . rank(X)XXXTXTX

  2. Diğer sönümlü en küçük kareler problemi ile başlayan ve normal denklemleri kullanan formülün alternatif versiyonunun herhangi bir türevinin farkında değilim. Her durumda, biraz cebir kullanarak düz bir şekilde türetebilirsiniz.

Sırt regresyon problemini formda düşünüyor olabilirsiniz.

minβ22

tabi

Xβy22ϵ.

Ancak, sırt regresyon sorununun bu sürümü sadece aynı sönümlü en küçük kareler sorun .minXβy22+λβ22


2
tam satır sıralaması veya tam sütun sıralaması varsa , 0'a giderken sınırda ne olduğunu belirtmek gerekir . Eğer tam sütun sırası vardır, o zaman sınırı içinde, sen pseudoinverse olsun . Benzer şekilde, tam satır sırası varsa, o zaman sınırda yalancı elde edersiniz . Yani, beklediğimiz gibi çalışıyor. λXX(XTX)1XTXXT(XXT)1
Brian Borchers

Bu olağanüstü kapsamlı bir cevaptır ve artırılmış dizilerden (artı kaçırdığım cebirden) türetmek çok tatmin edicidir. Sırt regresyon problemini sonunda sunduğunuz formda düşünmüyordum, ama aynı objektif fonksiyona yol açtığını görmek ilginç. Çok teşekkürler!
hatmatrix

1
Teşekkürler. Buraya utanmaz bir fiş takacağım- Bunu (ve ilgili birçok materyali) ders kitabında parametre tahmini ve Rick Aster ve Cliff Thurber ile birlikte koyduğum ters problemler hakkında bulabilirsiniz.
Brian Borchers

1
Bu matrisin tersini hesaplamanın tipik olarak bu formülü kullanmanın en iyi yolu olmadığını da ekleyeyim. büyüklüğüne ve olası genişliğine bağlı olarak, yinelemeli bir şema kullanarak veya sadece matrisinin Cholesky çarpanlarına ayırma işleminden daha iyi olabilirsiniz . XXTX+λI
Brian Borchers

Önerileriniz için teşekkürler! Bu materyalle ilgili bir ders kitabı bulmakta sorun yaşadığım için kitabınıza yapılan referansı takdir ediyorum. Veri boyutumuz aslında çok büyük değil (sadece bunu veri kümelerini ayırmak için birçok kez uygulamak zorunda kalacağımız), bu nedenle doğrudan tersine uygun olabilir, ancak ek işaretçiler için teşekkürler!
hatmatrix
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.