Doğrusal regresyon durumunda MLE ve en küçük kareler arasındaki ilişki

Hastie ve Tibshirani, kitaplarının bölüm 4.3.2'sinde doğrusal regresyon ortamında, en küçük kareler yaklaşımının aslında maksimum olasılıkla özel bir durum olduğunu belirtmişlerdir. Bu sonucu nasıl kanıtlayabiliriz?

Not: Yedek matematiksel bilgi yok.

regression maximum-likelihood least-squares

— Pradnyesh Joshi
kaynak

Bu özel bir durum değildir: sadece hata dağılımı normal olduğunda aynıdır.

— Zhanxiong

Doğrusal regresyon modeli

$Y = X\beta + \epsilon$ , burada $\epsilon \sim N(0,I\sigma^2)$

$Y \in \mathbb{R}^{n}$ , ve $X \in \mathbb{R}^{n \times p}$ $\beta \in \mathbb{R}^{p}$

Model hatasının (artık) . Amacımız , bu hatanın alan normunu en aza indiren bir s vektörü . ${\bf \epsilon = Y - X\beta}$ $\beta$ $L_2$

En Küçük Kareler

Verilen veriler her yerde olan boyutlu, biz bulmak için aramak: $(x_1,y_1),...,(x_n,y_n)$ $x_{i}$ $p$

{\hat{β}}_{L S} = \underset{β}{argmin} | | ϵ | |^{2} = \underset{β}{argmin} | | Y - X β | |^{2} = \underset{β}{argmin} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\widehat{\beta}_{LS} = {\underset \beta {\text{argmin}}} ||{\bf \epsilon}||^2 = {\underset \beta {\text{argmin}}} ||{\bf Y - X\beta}||^2 = {\underset \beta {\text{argmin}}} \sum_{i=1}^{n} ( y_i - x_{i}\beta)^2$

Maksimum Olabilirlik

Yukarıdaki modeli kullanarak parametreleri verilen verilerin olasılığını şu şekilde ayarlayabiliriz : $\beta$

L (Y | X, β) = \prod_{i = 1}^{n} f (y_{i} | x_{i}, β)

$L(Y|X,\beta) = \prod_{i=1}^{n} f(y_i|x_i,\beta)$

burada , ortalama 0 ve varyans olan normal dağılımın . Takılıyor: $f(y_i|x_i,\beta)$ $\sigma^2$

L (Y | X, β) = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{(y_{i} - x_{i} β)^{2}}{2 σ^{2}}}

$L(Y|X,\beta) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(y_i - x_i\beta)^2}{2\sigma^2}}$

Şimdi genellikle olasılıklarla uğraşırken, devam etmeden önce günlüğü almak matematiksel olarak daha kolaydır (ürünler toplamlar olur, üsler kaybolur), bunu yapalım.

\log L (Y | X, β) = \sum_{i = 1}^{n} \log (\frac{1}{\sqrt{2 π σ^{2}}}) - \frac{(y_{i} - x_{i} β)^{2}}{2 σ^{2}}

$\log L(Y|X,\beta) = \sum_{i=1}^{n} \log(\frac{1}{\sqrt{2\pi\sigma^2}}) -\frac{(y_i - x_i\beta)^2}{2\sigma^2}$

Maksimum olabilirlik tahmini istediğimizden, ile ilgili olarak yukarıdaki denklemin maksimumunu bulmak istiyoruz . İlk terim tahminimizi etkilemez , bu nedenle yok sayabiliriz: $\beta$ $\beta$

{\hat{β}}_{M L E} = \underset{β}{argmax} \sum_{i = 1}^{n} - \frac{(y_{i} - x_{i} β)^{2}}{2 σ^{2}}

$\widehat{\beta}_{MLE} = {\underset \beta {\text{argmax}}} \sum_{i=1}^{n} -\frac{(y_i - x_i\beta)^2}{2\sigma^2}$

Paydanın açısından bir sabit olduğunu unutmayın . Son olarak, toplamın önünde olumsuz bir işaret olduğunu unutmayın. Negatif bir sayının maksimumu bulmak, negatif olmayan minimumu bulmak gibidir. Başka bir deyişle: $\beta$

{\hat{β}}_{M L E} = \underset{β}{argmin} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2} = {\hat{β}}_{L S}

$\widehat{\beta}_{MLE} = {\underset \beta {\text{argmin}}} \sum_{i=1}^{n} (y_i - x_i\beta)^2 = \widehat{\beta}_{LS}$

Bunun işe yaraması için bazı model varsayımları yapmak zorunda olduğumuzu hatırlayın (hata terimlerinin normalliği, 0 ortalama, sabit varyans). Bu, belirli koşullar altında MLE'ye eşit en küçük kareler yapar. Daha fazla tartışma için buraya ve buraya bakın .

Tamlık için, çözümün şu şekilde yazılabileceğini unutmayın:

β = (X^{T} X)^{- 1} X^{T} y

${\bf \beta = (X^TX)^{-1}X^Ty}$

— ilanman
kaynak