Hatalar normal olarak dağıtılmadığında, En Küçük Kareler ve Maksimum Olabilirlik regresyon yöntemleri neden eşdeğer değildir?

Başlık her şeyi söylüyor. Modelin hataları normal olarak dağıtılırsa, En Küçük Kareler ve Maksimum Olabilirlik oranının regresyon katsayıları için aynı sonucu vereceğini anlıyorum. Ancak, hatalar normal olarak dağıtılmazsa ne olur? Neden iki yöntem artık eşdeğer değil?

Kısa cevap

Çok değişkenli bir Gauss olasılık yoğunluk dağıtımı değişkeni $x=(x_1, x_2,...,x_n)$ , ortalama ile, $\mu=(\mu_1,\mu_2,...,\mu_n)$ karesi ile ilgilidir ortalama ve değişken arasındaki öklid mesafesi ( $\vert \mu-x \vert_2^2$ ) veya başka bir deyişle karelerin toplamı.

---

Uzun cevap

Eşit sapmalar olduğunu düşündüğünüz $n$ hatalarınız için birden fazla Gauss dağılımını çarparsanız , toplam kareler elde edersiniz.

$$\begin{array} \mathcal{L(\mu_j,x_{ij})} = P(x_{ij} \vert \mu_j) & =\prod_{i=1}^n \frac{1}{\sqrt{2 \pi \sigma^2}} exp\left[-\frac{(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \\ &= \left(\frac{1}{\sqrt{2 \pi \sigma^2}} \right)^n exp \left[ -\frac{\sum_{i=1}^n(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \end{array}$$

veya uygun logaritmik formda:

$$\log\left(\mathcal{L(\mu_j,x_{ij})} \right) = n \log \left( \frac{1}{\sqrt{2 \pi \sigma^2}} \right) -\frac{1}{2\sigma^2} \sum_{i=1}^n(x_{ij}-\mu_j)^2$$

$\mu$

$(\mu-x)$$exp\left[ (x_i-\mu)^2 \right]$

---

Örneğin Poisson dağılımları için durumla karşılaştırın

$$\log(\mathcal{L}) = \log \left( \prod\frac{\mu_j^{x_{ij}}}{x_{ij}!} exp \left[ -\mu_j \right] \right) = -\sum \mu_j -\sum log(x_{ij}!) + \sum log(\mu_j) x_{ij}$$

aşağıdakiler en aza indirildiğinde maksimum olan:

$$\sum \mu_j -log(\mu_j) x_{ij}$$

bu farklı bir canavar.

---

Ayrıca (tarih)

Normal dağılımın geçmişi (deMoivre'nin bu dağılıma binom dağılımı için bir yaklaşım olarak görmezden gelmesi) aslında MLE'yi en küçük kareler yöntemine (en az kareler yöntemi bir yöntem olmak yerine) karşılık veren dağıtımın keşfi gibidir. Normal dağılımın MLE'sini ifade edebilen, önce en küçük kareler yöntemi, ikincisi Gauss dağılımı geldi)

$e^{-x^2}$

Charles Henry Davis'in çevirisinden (Konik bölümlerde güneşe doğru hareket eden göksel cisimlerin hareket teorisi. Gauss'un "Theoria motus" unun eki ile çevrilmesi) ...

Gauss şunları tanımlar:

$\Delta$$\Delta$$\psi \Delta$

^{(Italizasyon benim tarafımdan yapıldı)}

Ve devam ediyor ( bölüm 177 s. 258'de ):

$\frac{\psi^\prime\Delta}{\Delta}$$k$

$$\text{log } \psi \Delta = \frac{1}{2} k \Delta \Delta + \text{Constant}$$ $$\psi \Delta = x e^{\frac{1}{2}k \Delta \Delta}$$ $e$ $$\text{Constant} = \log x$$

$k<0$

$$\psi \Delta = \frac{h}{\sqrt{\pi}} e^{-hh\Delta \Delta}$$

---

Yazan: StackExchangeStrike

Çünkü MLE normal olarak dağılmış olan artık varsayımından türetilmiştir.

Bunu not et

$$\text{min}_\beta~~ \|X \beta - y \|^2$$

Has hiçbir olasılık anlamı : Sadece bulmak kare kaybı fonksiyonunu minimize söyledi. Her şey deterministiktir ve orada rastgele bileşenler yoktur.$\beta$

Olasılık ve olasılık kavramının geldiği yerde,

$$y=X\beta + \epsilon$$

Nerede düşünen rastgele değişken olarak, ve normal olarak dağıtılır.$y$$\epsilon$

En küçük kareler ve maksimum (gaussian) olabilirlik uyumu her zaman eşdeğerdir. Yani, aynı katsayılar kümesi tarafından en aza indirilirler.

Hatalar üzerindeki varsayımı değiştirmek, olasılık fonksiyonunuzu değiştirir (bir modelin olasılığını en üst düzeye çıkarmak, hata teriminin olasılığını en üst düzeye çıkarmaya eşdeğerdir) ve dolayısıyla işlev artık aynı katsayılar kümesi tarafından en aza indirilmez.

Yani pratikte ikisi aynıdır, ancak teorik olarak, farklı bir olasılığı en üst düzeye çıkardığınızda, En Küçük karelerden farklı bir cevap alacaksınız

Somut bir örnek: Diyelim ki basit bir hata fonksiyonu p (1) =. 9, p (-9) = .10. İki puan alırsak, LS sadece çizgiyi onlardan geçirir. Öte yandan ML, her iki noktanın da bir birim çok yüksek olduğunu ve böylece çizgiyi birim üzerinde aşağı kaydırılan noktalardan alacağını varsayacaktır.