En düşük olabilirlik yöntemi ve en küçük kareler yöntemi

Maksimum olabilirlik tahmini (MLE) ile en küçük kareler tahmini (LSE) arasındaki temel fark nedir?

Neden lineer regresyonda değerlerini tahmin etmek için MLE'yi kullanamıyoruz ? $y$

Bu konuda herhangi bir yardım çok takdir edilecektir.

— evros
kaynak

İsterseniz lineer regresyonda MLE kullanabilirsiniz. Hata dağılımı normal değilse ve amacınız karelerin toplamını en aza indirgemek yerine "en muhtemel" tahminde bulunmaksa bile mantıklı gelebilir.

— Richard Hardy,

Normal hata varsayımı altında, tipik olarak doğrusal regresyonda varsayıldığı gibi, MLE ve LSE aynıdır!

— TrynnaDoStat

Gauss-Markov teoremi için sitemizi arayın .

— whuber

tüm cevaplar için teşekkürler. Şimdi bu mantıklı. İnternette bu konuyu ararken, bu yazıyla karşılaştım. Belki bu da yardımcı olur: radfordneal.wordpress.com/2008/08/09/…

— evros

Stats.stackexchange.com/questions/12562/… adresinde de bir cevap verilmiştir .

— whuber

Yanıtlar:

Basit bir cevap vermek istiyorum.

Maksimum olabilirlik tahmini (MLE) ile en küçük kareler tahmini (LSE) arasındaki temel fark nedir?

@TrynnaDoStat'ın yorumladığı gibi, kare hatayı en aza indirmek, bu durumda olabilirliği en üst düzeye çıkarmakla eşdeğerdir. As söyledi Vikipedi ,

Doğrusal bir modelde, eğer hatalar normal bir dağılıma aitse, en küçük kareler tahmin edicileri aynı zamanda maksimum olabilirlik tahmin edicileridir.

senin durumunda aynı görülebilirler,

Bana biraz detay vereyim. Cevap değişkeninin ( olduğunu biliyoruz. $y$

Y_{i} = λ_{1} X_{i} + λ_{2} + ϵ_{i} where ϵ \sim N (0, σ^{2})

$Y_i=\lambda_1X_i+\lambda_2+\epsilon_i \quad\text{ where }\epsilon\thicksim N(0,\sigma^2)$

L (Y_{1}, \dots, Y_{n}; λ_{1}, λ_{2}, σ^{2}) = \frac{1}{(2 π)^{\frac{n}{2} σ^{n}}} e x p (\frac{- 1}{2 σ^{2}} (\sum_{i = 1}^{n} (Y_{i} - λ_{1} X_{i} - λ_{2})^{2}))

$L(Y_1,\dots,Y_n;\lambda_1,\lambda_2,\sigma^2)=\frac{1}{(2\pi)^{\frac{n}{2}\sigma^n}}exp(\frac{-1}{2\sigma^2}(\sum_{i=1}^n(Y_i-\lambda_1X_i-\lambda_2)^2))$

\sum_{i = 1}^{n} (Y_{i} - λ_{1} X_{i} - λ_{2})^{2}

$\sum_{i=1}^n(Y_i-\lambda_1X_i-\lambda_2)^2$

$y$

$y$

— Lerner Zhang
kaynak

Genelde, maksimum olasılık ve en küçük kareler aynı olmadığı için, "bu durumu" biraz daha açık bir şekilde tanımlamak isteyebilirsiniz.

— Matthew Gunn

@MatthewGunn Evet, "aynı" dışında "eşdeğer" kullandım.

— Lerner Zhang,

Doğrusal modelin normal olmayan hata dağılımını izlediği ve en iyi katsayıları tahmin etmek için böyle bir durumda MLE'yi nasıl kullandığınıza dair bir örnek verirseniz harika olurdu. Bu mümkün değilse, en azından sen Poisson regresyon gibi bu kullanarak doğrusal modeller gösteren doğru kaynakla, bizi işaret edebilir

— VM_AI

$L_1$ $L_2$

$L_2$ $L_2$

veri taraması
stokastik parametreler
zayıf kısıtlamalar

Profesyonel uygulamalar yalnızca verilere uymaz, şunları kontrol eder:

eğer parametre önemliyse
Veri kümenizde aykırı değerler varsa
hangi outlier tolere edilebildiğinden performansı kısaltmaz
özgürlüklerin derecesine katkıda bulunmadığından hangi ölçümün kaldırılması gerektiği

Ayrıca hipotezler için çok sayıda özel istatistik testi vardır. Bu, tüm ML tahmin ediciler için geçerli değildir veya en azından bir kanıtla belirtilmelidir.

$L_2$

$\mathbf{X\beta}=\mathbf{L}+\mathbf{r}$ $(\mathbf{X}^{T}\mathbf{X})^{-1}$ $L_2$

Detaylar için sormaya çekinmeyin.

— nali
kaynak