Yalnızca bilmek Doğrusal regresyon , değil doğrudan

Varsayalım . $X\beta =Y$

Bilmiyoruz , tam olarak her etkenin, sadece onun korelasyon . $Y$ $X^\mathrm{t}Y$

Sıradan en küçük kareler (OLS) çözümü ve bir sorun yoktur. $\beta=(X^\mathrm{t} X)^{-1} X^\mathrm{t}Y$

Ancak tekil (çok doğrusal doğrusallık) yakınında olduğunu ve optimal sırt parametresini tahmin etmeniz gerektiğini varsayalım . Tüm yöntemlerin kesin değerlerine ihtiyacı olduğu görülmektedir . $X^\mathrm{t}X$ $Y$

Yalnızca bilindiğinde alternatif bir yöntem var mı ? $X^\mathrm{t}Y$

regression multicollinearity

— çentik
kaynak

ilginç soru. Belki bir çeşit EM algoritması işe yarayacaktır ...

— olasılık

Anlamıyorum, optimal ridge parametresini tahmin etmek için çapraz doğrulamayı kullanamaz mısınız?

— Pardis

@Pardis: Soruda kayıp fonksiyonu verilmiyor, bu yüzden optimalin ne anlama geldiğini bilmiyoruz . Kayıp fonksiyonu MSE ise karşılaştığımız sorunu görebiliyor musunuz?

— kardinal

@JohnSmith: Sürüş yaptığım noktayı ima ediyorsun. "Optimallik" in nasıl ölçüleceğine dair bir gösterge yok. Etkili bir şekilde yaptığınız, tahmin veya uyumun "kalitesini" ölçmek için farklı bir metrik (uzaklık fonksiyonu) eklemektir. Çok uzaklaşmak için OP'den daha fazla ayrıntıya ihtiyacımız var, sanırım.

— kardinal

@Pardis: Tahmin ettiğiniz gibi tahminleri bulmak sorun değil. :) Bununla birlikte, çapraz validasyon yapmaya karar verirseniz, örnek dışı MSE'yi, yani her bir yineleme için soldaki katlamayı nasıl tahmin edersiniz? :)

— kardinal

Yanıtlar:

Bu ilginç bir soru. Şaşırtıcı bir şekilde, bazı varsayımlar altında bir şey yapmak mümkündür, ancak kalan varyans hakkında potansiyel bir bilgi kaybı vardır. Ne kadar kayıp olduğuna bağlıdır . $X$

Diyelim aşağıdaki tekil değer ayrışımı dikkate arasında ile bir dik sütunlu matris, , bir köşegen matris pozitif tekil değerler ile ve a dikey matris. Daha sonra sütunları ve sütun boşlukları için ortonormal bir temel oluşturur " , genişlemede bu sütun boşluğuna izdüşümü için katsayıların vektörüdür. $\newcommand{\t}{^\mathrm{t}}X = UDV\t$ $X$ $U$ $n \times p$ $D$ $d_1 \geq d_2 \geq ... \geq d_p > 0$ $V$ $p \times p$ $U$ $X$

Z = U^{t} Y = D^{- 1} V^{t} V D U^{t} Y = D^{- 1} V^{t} X^{t} Y

$Z = U\t Y = D^{-1} V\t V D U\t Y = D^{-1} V\t X\t Y$

Y

$Y$

U

$U$ sütun. Formülden sadece ve bilgisinden hesaplandığını görüyoruz .

Z

$Z$

X

$X$

X^{t} Y

$X\t Y$

Belirli için sırt regresyon belirleyici yana olarak hesaplanabilir , sütunu bazında sırt regresyon tahmincisi için katsayıların olduğunu görüyoruz Şimdi bu dağılım varsayımını sahiptir boyutlu ortalama ve kovaryans matrisi . Daha sonra sahiptir boyutlu ortalama ve kovaryans matrisi . Bağımsız bir hayal edersek $\lambda$

\hat{Y} = X (X^{t} X + λ I)^{- 1} X^{t} Y = U D (D^{2} + λ I)^{- 1} D U^{t} Y = U D (D^{2} + λ I)^{- 1} D Z

$\hat{Y} = X(X\t X + \lambda I)^{-1} X\t Y = U D(D^2 + \lambda I)^{-1} D U\t Y = U D(D^2 + \lambda I)^{-1} D Z$

U

$U$

\hat{Z} = D (D^{2} + λ I)^{- 1} D Z .

$\hat{Z} = D (D^2 + \lambda I)^{-1} D Z.$

Y

$Y$

n

$n$

ξ

$\xi$

σ^{2} I_{n}

$\sigma^2 I_n$

Z

$Z$

p

$p$

U^{t} ξ

$U\t \xi$

σ^{2} I_{p}

$\sigma^2 I_p$

Y^{New}

$Y^{\text{New}}$ ile aynı dağılımına sahip (koşullu her şeyi Buradan itibaren), karşılık gelen aynı sahip olarak dağıtılır ve bağımsızdır ve Burada üçüncü eşitlik ve ve dördüncüsü,

Y

$Y$

X

$X$

Z^{New} = U^{t} Y^{New}

$Z^{\text{New}} = U\t Y^{\text{New}}$

Z

$Z$

\begin{array}{rcl} E | | Y^{New} - \hat{Y} | |^{2} & = & E | | Y^{New} - U Z^{New} + U Z^{New} - U \hat{Z} | |^{2} \\ = & E | | Y^{New} - U Z^{New} | |^{2} + E | | U Z^{New} - U \hat{Z} | |^{2} \\ = & {Err}_{0} + E | | Z^{New} - \hat{Z} | |^{2} . \end{array}

$\begin{eqnarray*} E ||Y^{\text{New}} - \hat{Y}||^2 &= & E || Y^{\text{New}} - U Z^{\text{New}} + U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & E || Y^{\text{New}} - U Z^{\text{New}}||^2 + E||U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & \text{Err}_0 + E||Z^{\text{New}} - \hat{Z} ||^2. \end{eqnarray*}$

Y^{New} - U Z^{New}

$Y^{\text{New}} - U Z^{\text{New}}$

U Z^{New} - U \hat{Z}

$U Z^{\text{New}} - U \hat{Z}$

U

$U$ birimdik sütunları vardır. miktarı , hakkında hiçbir bilgi alamadığımız bir hatadır, ancak da bağlı değildir . Sol taraftaki tahmin hatasını en aza indirmek için sağ taraftaki ikinci terimi en aza indirmeliyiz.

{Err}_{0}

$\text{Err}_0$

λ

$\lambda$

Standart bir hesaplama ile Burada , parametresiyle sırt regresyonu için etkili serbestlik derecesi olarak bilinir . Tarafsız bir tahmin olduğu

\begin{array}{rcl} E | | Z^{New} - \hat{Z} | |^{2} & = & E | | Z - \hat{Z} | |^{2} + 2 \sum_{i = 1}^{p} cov (Z_{i}, {\hat{Z}}_{i}) \\ = & E | | Z - \hat{Z} | |^{2} + 2 σ^{2} \underset{df (λ)}{\underset{⏟}{\sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ}}} . \end{array}

$\begin{eqnarray*} E||Z^{\text{New}} - \hat{Z} ||^2 &= & E||Z - \hat{Z}||^2 + 2 \sum_{i=1}^p \text{cov}(Z_i, \hat{Z}_i) \\ & = & E||Z - \hat{Z}||^2 + 2 \sigma^2 \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}}_{\text{df}(\lambda)}. \end{eqnarray*}$

df (λ)

$\text{df}(\lambda)$

λ

$\lambda$

E | | Z - \hat{Z} | |^{2}

$E||Z - \hat{Z}||^2$

err (λ) = | | Z - \hat{Z} | |^{2} = \sum_{i = 1}^{p} {(1 - \frac{d_{i}^{2}}{d_{i}^{2} + λ})}^{2} Z_{i}^{2} .

$\text{err}(\lambda) = ||Z - \hat{Z}||^2 = \sum_{i=1}^p \left(1 - \frac{d_i^2}{d_i^2 + \lambda}\right)^2 Z_i^2.$

Bunu , ın (tarafsız) tahmincisi . , daha sonra küçültmemiz gereken bildiğimiz göz önüne alındığında . Bildiğimiz eğer Açıkçası, bu sadece yapılabilir veya makul bir at tahmin veya tahmin edicisi olan .

err (λ) + 2 σ^{2} df (λ)

$\text{err}(\lambda) + 2 \sigma^2 \text{df}(\lambda)$

E | | Z^{New} - \hat{Z} | |^{2}

$E||Z^{\text{New}} - \hat{Z} ||^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

tahmini daha sorunlu olabilir. Göstermek mümkün olduğunu Bu nedenle, , kare yanlılık göz ardı edilebilecek kadar küçük seçmek mümkünse, olarak tahmin etmeye çalışabiliriz. Bu işe yarayacaksa çok bağlıdır . $\sigma^2$

E | | Z - \hat{Z} | |^{2} = σ^{2} (p - \underset{d (λ)}{\underset{⏟}{\sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ} (2 - \frac{d_{i}^{2}}{d_{i}^{2} + λ})}}) + bias (λ)^{2} .

$E||Z - \hat{Z}||^2 = \sigma^2\left(p - \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}\left(2 - \frac{d_i^2}{d_i^2 + \lambda}\right)}_{\text{d}(\lambda)}\right) + \text{bias}(\lambda)^2.$

λ

$\lambda$

σ^{2}

$\sigma^2$

{\hat{σ}}^{2} = \frac{1}{p - d (λ)} | | Z - \hat{Z} | |^{2} .

$\hat{\sigma}^2 = \frac{1}{p-\text{d}(\lambda)} ||Z - \hat{Z}||^2.$

X

$X$

Bazı ayrıntılar Bölüm 3.4.1 ve Bölüm 7 için bkz ESL belki ya da daha da iyi Bölüm 2 GAM .

— NRH
kaynak

Tanımlama soru olarak çeşitli parametreler için ve kümeler örnek etiket. Sonra hesaplanabilir çünkü bilinmeyen her ikisi de genişletilirken düşer normlar. $β$ $β(λ,K)=[(X^TX)_{KK}+λI]^{−1}(X^TY)_K$ $\lambda$ $K$ $e(λ,K):=\|Xβ(λ,K)-Y\|^2-\|Xβ-Y\|^2$ $\|Y\|^2$

Bu, aşağıdaki algoritmaya yol açar:

Compute eğitim seti bazı seçimler için . $e(λ,K)$ $K$
Sonuçları bir işlevi olarak çizin . $\lambda$
Grafiğin en düz olduğu yerde değerini kabul edin. $\lambda$
Kullanım son tahmin olarak. $β^*=[X^TX+λI]^{−1}X^TY$

— Arnold Neumaier
kaynak

Tahmin ediyorum "arsa en düz nerede" kabaca 0 gibi çok küçük olacak :)

λ

$\lambda$

— jbowman

@jbowman: Bu sadece sorun iyi şartlandırılmışsa ve düzenli hale getirilmesi gerekmiyorsa gerçekleşir, o zaman gerçekten yeterlidir. Koşulsuz durumda, takma dışındaki maddelerin tahmini fazla takma nedeniyle zayıf olacaktır ve bu nedenle büyük olacaktır.

λ = 0

$\lambda=0$

K

$K$

e (λ, K)

$e(\lambda,K)$

— Arnold Neumaier

@ArnoldNeumaier: hesaplanamaz. Sadece her bir yordayıcı ile korelasyonu biliyoruz. , "Y alanında" değil, "öngörücü alanında" (N, örnek boyutu ve p öngörücülerin sayısı ise, yalnızca her bir öngörücü için bir tane olan p değerlerine sahibiz).

(X^{T} Y)_{K}

$(X^TY)_K$

(X^{T} Y)

$(X^TY)$

— Jag

@Jag: O zaman lambda'yı seçmek için yeterli bilgi yok . Ancak şekilde toplanmış olmalıdır. Toplanması sırasında numuneyi partilerine ayırırsanız ve her parti için ayrı ayrı monte ederseniz, biri çapraz doğrulama için her biri için bir parti ayırabilir.

λ

$\lambda$

X^{T} Y

$X^TY$

k

$k$

X^{T} Y

$X^TY$

— Arnold Neumaier

@ArnoldNeumaier: harici olarak verilir, toplanmaz.

X^{T} Y

$X^TY$

— Jag