Sırt regresyonunun varsayımları nelerdir ve nasıl test edilir?

Çoklu regresyon için standart modeli düşünün burada , böylece normallik, homoscedasticity ve hataların ilişkisizliği geçerlidir.

Y = X β + ε

$Y=X\beta+\varepsilon$

ε \sim N (0, σ^{2} I_{n})

$\varepsilon \sim \mathcal N(0, \sigma^2I_n)$

köşegeninin tüm elemanlarına aynı küçük miktarda ekleyerek bir sırt regresyonu gerçekleştirdiğimizi varsayalım : $X$

β_{r i d g e} = [X^{'} X + k I]^{- 1} X^{'} Y

$\beta_\mathrm{ridge}=[X'X+kI]^{-1}X'Y$

Bazı değerler vardır , ancak sırt katsayısı OLS tarafından elde edilen daha az ortalama karesel hata sahip olduğu, bir yanlı kestiricisi olduğu . Uygulamada, çapraz-doğrulama ile elde edilmektedir. $k$ $\beta_\mathrm{ridge}$ $\beta$ $k$

Benim sorum: sırt modelinin altında yatan varsayımlar nelerdir? Daha somut olmak için,

Sıradan en küçük karenin (OLS) tüm varsayımları sırt regresyonu için geçerli midir?
Soru 1'e evet ise, önyargılı bir tahmin ediciyle homoscedasticity ve otokorelasyon eksikliğini nasıl test edebiliriz ? $\beta$
Sırt regresyonu altında diğer OLS varsayımlarını (homossedastisite ve otokorelasyon eksikliği) test etmek için herhangi bir çalışma var mı?

regression assumptions ridge-regression

— akyves
kaynak

OLS'un öngörücülerin bağımsız olduğunu varsaymadığını lütfen unutmayın. Bu varsayımları yapan sadece belirli çözüm yöntemleri veya formülleridir. Ne öneme sahiptir Eğer sırt regresyon çarpanı seçmek nasıl, tahmini değil

önyargılı olabilir. Bu çarpan, bir sırt izi izleyerek seçildiyse, doğrusal regresyon teorisindeki resmi tanı testlerinin çoğunu sorgulayan belirsizlikleri ölçmek için gerçekten bir yolunuz yoktur. Bu bana "sırt regresyonu" ile ne demek istediğinizi sormamı sağlıyor: parametresini tam olarak nasıl tahmin ediyorsunuz?

β

$\beta$

— whuber

Belki de yanlış, ama standart çoklu regresyon modeli dikkate

. Ve

tam dereceli değilse, bu tersine çevrilemez bir

matrisine yol açar , özellikle

yüksek boyutu durumunda. Sorumu düzenledim. Teşekkürler.

β_{O L S} = (X^{'} X)^{- 1} X^{'} Y

$\beta_{OLS}=(X'X)^{-1}X'Y$

X

$X$

X^{'} X

$X'X$

— akyves

Doğrusal regresyon, "çok büyük" olmadığı sürece, eş-doğrulukla mükemmel bir şekilde başa çıkabilir.

— jona

Bu çoklu regresyon modeli değildir: en küçük kareler tahminini ifade etmenin sadece bir yolu. Zaman

tersine çevrilemez, normal bir denklemler halen çözüm ve (genellikle) modeli hala benzersiz olan bir uyum benzersiz tahminler yapar anlamına gelir.

X^{'} X

$X^\prime X$

— whuber

İlgili: Kısmi en küçük kareler (PLS) regresyonunun model varsayımları .

— amip: Reinstate Monica

Yanıtlar:

İstatistiksel bir prosedür varsayımı nedir ?

Ben bir istatistikçi değilim ve bu yüzden bu yanlış olabilir, ama bence "varsayım" kelimesi gayri resmi olarak kullanılır ve çeşitli şeyleri ifade edebilir. Bana göre, bir "varsayım", kesinlikle teorik bir sonucun (teorem) sahip olabileceği bir şeydir.

İnsanlar doğrusal regresyon varsayımları hakkında konuştuğunda ( derinlemesine bir tartışma için buraya bakın ), genellikle Gauss-Markov teoremine atıfta bulunurlar; bu da ilişkisiz, eşit varyans, sıfır ortalama hataların varsayımları altında OLS tahmininin MAVİ olduğunu söyler. yani tarafsızdır ve minimum varyansa sahiptir. Gauss-Markov teoremi bağlamının dışında, bir "regresyon varsayımı" nın ne anlama gelebileceği net değil.

$t$ $t$ $n$ $t$ $t$ $n-1$

Cezalandırılmış regresyon tekniklerinin varsayımları

Bu yöntemlerin bütün noktası yapmaktır vb sırt regresyon, kement, elastik net, ana bileşenler regresyon, kısmi en az kareler regresyon vb: Şu anda herhangi bir regularized regresyon yöntemi göz önünde yanlı regresyon parametreleri tahmin ve beklenen azaltmak için umut önyargı-varyans değişiminden yararlanarak kayıp.

$\hat \beta$

Peki sırt regresyonunun her zaman OLS'yi yendiği matematiksel sonuç ne olacak?

$\lambda$ $\beta$ $\lambda$

Bu sonuç aslında herhangi bir varsayım gerektirmez ve her zaman doğrudur, ancak sırt regresyonunun herhangi bir varsayımı olmadığını iddia etmek garip olacaktır.

Tamam, ama sırt regresyonunu uygulayıp uygulayamayacağımı nasıl anlayabilirim?

Varsayımlardan söz edemesek bile , başparmak kuralları hakkında konuşabileceğimizi söyleyebilirim . Sırt regresyonunun, ilişkili öngörücülerle çoklu regresyon durumunda en yararlı olma eğiliminde olduğu iyi bilinmektedir. OLS'den, genellikle büyük bir farkla daha iyi performans gösterdiği bilinmektedir. Heterosedadastisite, ilişkili hatalar veya başka herhangi bir şeyde bile daha iyi performans gösterecektir. Bu yüzden basit kural, çok doğrusal verileriniz varsa, sırt regresyonu ve çapraz validasyonun iyi bir fikir olduğunu söylüyor.

Muhtemelen başka faydalı kurallar ve ticaret hileleri vardır (örneğin, brüt aykırı değerlerle ne yapılması gerektiği gibi). Ancak bunlar varsayım değildir.

$p$ $p$

— amo diyor Reinstate Monica
kaynak

Kişinin bazı prosedüre göre çıkarım özellikleri elde ettiği durumda, bir regresyon eğiminin hipotez testinin özellikleri mi yoksa bir güven aralığının veya bir tahmin aralığının özellikleri mi olduğu, örneğin, testlerin kendileri bazı varsayımlar kümesi. Birçok konu alanında, regresyonu kullanmanın en yaygın amacı bir tür çıkarım yapmak olduğundan (aslında, bazı uygulama alanlarında nadiren başka bir nedenden dolayı yapılır), çıkarımsal prosedür için yapılacak varsayımlar doğal olarak ilişkilidir. with ...

— ctd

ctd ... kullanıldıkları şey. Dolayısıyla, bir regresyon katsayısını test etmek veya kısmi bir F testi için veya ortalama veya tahmin aralığı için bir CI için bir t-testi türetmek için bazı varsayımlara ihtiyacınız varsa ... ve olağan çıkarım biçimlerinin hepsi aynı veya neredeyse aynı varsayımların aynı toplanması durumunda, bunlar makul bir şekilde bu şeyi kullanarak sonuç çıkarma ile ilişkili varsayımlar olarak kabul edilir. Tek mahya regresyon ile herhangi çıkarım yapmak ise (bir tahmin aralığı demek) ve bunu yapmak için varsayımlarda bulunur, bu eşit varsayımlar ... ctd olduğu söylenebilir olabilir

— Glen_b -Reinstate Monica

sırt regresyonunda bu tür bir çıkarım türetebilmeleri (ve muhtemelen kullanmaları için) gerekiyordu.

— Glen_b -Manica Monica

R^{2}

$R^2$

Çok geç değil umarım teşekkürler @amoeba. Mükemmel cevap!

— akyves

İstatistik açısından bazı girdiler sağlamak istiyorum. Y ~ N (Xb, sigma2 * In) ise, b ^ 'nin ortalama kare hatası

MSE(b^)=E(b^-b).T*(b^-b)=E(|b^-b|^2)=sigma2*trace(inv(X.T*X))

D(|b^-b|^2)=2*sigma4*trace((X.T*X)^(-2))

b^=inv(X.T*X)*X.T*Y

XT X yaklaşık sıfırsa, inv (XT X) çok büyük olacaktır. Bu nedenle, b'nin parametre tahmini sabit değildir ve aşağıdaki soruna sahip olabilir.

parametre tahmininin mutlak değeri çok büyük
b beklenenden farklı pozitif veya negatif işarete sahip.
değişkenlerin veya gözlemlerin eklenmesi veya kaldırılması, parametre tahminlerindeki değişiklikleri önemli ölçüde yapar.

B'nin sıralı en küçük kare tahminini kararlı hale getirmek için, tahmin ederek sırt regresyonunu b^(k)=inv(X.T*X+kI)*X.T*Y.tanıtırız ve ortalama kare hatasını yapan her zaman ak olduğunu kanıtlayabiliriz.

MSE(b^(k)) < MSE(b^).

Makine öğreniminde, sırt regresyonuna L2 düzenlenmesi denir ve birçok özelliğin neden olduğu aşırı uydurma problemlerle mücadele etmektir.

— Emma
kaynak