Linear Regresyonda kapalı formda arkasında sezgi

10

Doğrusal regresyondaki kapalı w formu şöyle yazılabilir:

$\hat{w}=(X^TX)^{-1}X^Ty$

Bu denklemdeki ' nin rolünü sezgisel olarak nasıl açıklayabiliriz ? $(X^TX)^{-1}$

— Darshak
kaynak

2

Ne demek istediğinizi "sezgisel" olarak açıklayabilir misiniz? Örneğin, Christensen'in Karmaşık Sorulara Düzlem Cevaplarında sunulan iç çarpım uzayları açısından harika sezgisel bir açıklama var , ancak herkes bu yaklaşımı takdir etmeyecek. Başka bir örnek olarak, cevabımda stats.stackexchange.com/a/62147/919 adresinde geometrik bir açıklama var , ancak herkes geometrik ilişkileri "sezgisel" olarak görmüyor.

— whuber

Sezgisel olarak $ (X ^ TX) ^ {- 1} ne anlama geliyor? Bir tür mesafe hesaplaması mı yoksa bir şey mi, anlamıyorum.

— Darshak

1

Bağlantı verdiğim cevapta bu tamamen açıklandı.

— whuber

Bu soru, muhtemelen tatmin edici bir cevapla olmasa da burada zaten var. Math.stackexchange.com/questions/2624986/…

— Sextus Empiricus

5

Bu yayınları özellikle yararlı buldum:

Çoklu doğrusal regresyon için en küçük kare tahmincisi nasıl elde edilir?

SVD ve PCA arasındaki ilişki. PCA gerçekleştirmek için SVD nasıl kullanılır?

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

Eğer bir bir sonra matris matris bir tanımlayan çıkıntı sütun alan üzerine . Sezgisel, sen denklem bir üstbelirlenmiş sistemi var, ama yine de lineer bir harita tanımlamak için kullanmak istiyorum satırları eşler arasında değerlerine şey sona , . Bu nedenle, en yakın olana göndermek için, özelliklerinizin doğrusal bir kombinasyonu ( sütunları ) olarak ifade edilebilir . $X$ $n \times p$ $X(X^TX)^{-1}X^T$ $X$ $\mathbb{R}^p \rightarrow \mathbb{R}$ $x_i$ $X$ $y_i$ $i\in \{1,\dots,n\}$ $X$ $y$ $X$

yorumuna gelince , henüz şaşırtıcı bir cevabım yok. i temelde veri kümesinin kovaryans matrisi olarak düşünebileceğinizi biliyorum . $(X^TX)^{-1}$ $(X^TX)$

— James McKeown
kaynak

(X^{T} X)

$(X^T X)$ bazen "saçılma matrisi" olarak adlandırılır ve kovaryans matrisinin ölçeklendirilmiş bir sürümüdür

— JacKeown

4

Geometrik bakış açısı

Geometrik bir bakış açısı, n boyutlu vektörler ve n boyutlu uzay . Burada alt-alanında da vektörler tarafından kapsanan . $y$ $X\beta$ $V$ $X\hat\beta$ $W$ $x_1, x_2, \cdots, x_m$

İki tür koordinat

Bu alt uzay iki farklı tipte koordinat hayal edebiliriz : $W$

$\boldsymbol{\beta}$ bir koordinat normal alan için koordinatları gibi. Vektör alanı içinde vektörlerinin lineer birleşimi olan $z$ $W$ $\mathbf{x_i}$ $z = β_{1} x_{1} + β_{2} x_{1} + . . . . β_{m} x_{m}$ $z = \boldsymbol{\beta_1} \mathbf{x_1} + \boldsymbol{\beta_2} \mathbf{x_1} + .... \boldsymbol{\beta_m} \mathbf{x_m}$
$\boldsymbol{\alpha}$ normal anlamda koordinatları değildir, ancak alt-alanında bir noktayı tanımlar yapmak . Her vektörleri üzerindeki dikey çıkıntılarla ilgilidir . Biz birim vektörleri kullanmak durumunda sonra (basitlik açısından) "koordinatları" bir vektör için şu şekilde ifade edilebilir: $W$ $\alpha_i$ $x_i$ $x_i$ $\alpha_i$ $z$

$α_{i} = x_{i}^{T} z$ $\alpha_i = \mathbf{x_i^T} \mathbf{z}$
ve tüm koordinatların kümesi:

α = X^{T} z

$\boldsymbol{\alpha} = \mathbf{X^T} \mathbf{z}$

ve koordinatları arasında eşleme $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$

için "koordinat" ifadesi koordinatın bir dönüşüm haline "koordinatları" için $\mathbf{z} = \mathbf{X}\boldsymbol{\beta}$ $\alpha$ $\beta$ $\alpha$

α = X^{T} X β

$\boldsymbol{\alpha} = \mathbf{X^T} \mathbf{X}\boldsymbol{\beta}$

Sen görebiliyordu ne kadar her ifade olarak diğer üzerine projeler $(\mathbf{X^T} \mathbf{X})_{ij}$ $x_i$ $x_j$

Daha sonra in geometrik yorumu, vektör projeksiyon "koordinatları" dan lineer koordinatlara olarak görülebilir. . $(\mathbf{X^T} \mathbf{X})^{-1}$ $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$

β = (X^{T} X)^{- 1} α

$\boldsymbol{\beta} = (\mathbf{X^T} \mathbf{X})^{-1}\boldsymbol{\alpha}$

İfade izdüşümü "koordinatları" veren ve dönüştürür . $\mathbf{X^Ty}$ $\mathbf{y}$ $(\mathbf{X^T} \mathbf{X})^{-1}$ $\boldsymbol{\beta}$

Not : projeksiyon "koordinatları", projeksiyon "koordinatları" ile aynıdır , çünkü . $\mathbf{y}$ $\mathbf{\hat{y}}$ $(\mathbf{y-\hat{y}}) \perp \mathbf{X}$

— Sextus Empiricus
kaynak

İstatistikler.stackexchange.com/a/124892/3277 ile ilgili çok benzer bir hesap .

— ttnphns

Gerçekten çok benzer. Bana göre bu görüş çok yeni ve düşünmek için bir gece ayırmak zorunda kaldım. Her zaman bir projeksiyon açısından en küçük kareler regresyonunu izledim, ancak bu bakış açısıyla , parça için sezgisel bir anlam gerçekleştirmeye çalışmadım veya her zaman daha dolaylı ifade de gördüm .

(X^{T} X)^{- 1}

$(X^TX)^{-1}$

X^{T} y = X^{T} X β

$X^T y = X^TX\beta$

— Sextus Empiricus

3

Basit doğrusal regresyona aşina olduğunuzu varsayarsak: ve çözümü :

y_{i} = α + β x_{i} + ε_{i}

$y_i=\alpha+\beta x_i+\varepsilon_i$

β = \frac{c o v [x_{i}, y_{i}]}{v a r [x_{i}]}

$\beta=\frac{\mathrm{cov}[x_i,y_i]}{\mathrm{var}[x_i]}$

yukarıdaki nasıl karşılık geldiğini ve nasıl görmek kolaydır . Matrislerle uğraştığımız için düzen önemlidir. , KxK matrisidir ve , Kx1 vektörüdür. Dolayısıyla, sıra: $X'y$ $X'X$ $X'X$ $X'y$ $(X'X)^{-1}X'y$

— Aksakal
kaynak

Ancak bu benzetmenin kendisi, tersi ile öncesi veya sonrası olduğunu size söylemez.

— kjetil b halvorsen

@kjetilbhalvorsen, operasyon sırasını koydum

— Aksakal

Linear Regresyonda kapalı formda arkasında sezgi

Geometrik bakış açısı

İki tür koordinat

ve koordinatları arasında eşlemeαα\boldsymbol{\alpha}ββ\boldsymbol{\beta}

ve koordinatları arasında eşleme $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$