Gauss modelinde en küçük kareler ve MLE arasındaki denklik

Makine Öğrenimi konusunda yeniyim ve kendi başıma öğrenmeye çalışıyorum. Son zamanlarda bazı ders notlarını okuyordum ve temel bir sorum vardı.

13 no'lu slaytta “En Küçük Kare Tahmini Gauss modelinde Maksimum Olabilirlik Tahmini” ile aynıdır. Basit bir şey gibi görünüyor, ama bunu göremiyorum. Biri lütfen burada neler olduğunu açıklayabilir mi? Matematiği görmekle ilgileniyorum.

Daha sonra Ridge ve Lasso regresyonunun olası bakış açısını da görmeye çalışacağım, bu yüzden bana yardımcı olacak herhangi bir öneriniz varsa, bu da çok takdir edilecektir.

regression bayesian least-squares

— Andy
kaynak

P altındaki amaç işlevi. Şekil 13, p'nin altındaki amaç fonksiyonunun sadece bir sabiti (

) 'dir. 10. MLE bir öncekini en aza indirir, en küçük kareler ikincisini de azaltır, QED.

n

$n$

— whuber

@whuber: Cevabınız için teşekkür ederim. Benim bilmek istediğim şey, MLE'nin minimizasyonu nasıl yapması gerektiği.

— Andy

Mekaniği mi yoksa kavramsal olarak mı demek istiyorsun?

— whuber

@whuber: Her ikisi de! O Math'ı görebilseydim, bu da yardımcı olacak.

— Andy

Bağlantı koptu; Tam referansın ve teklif için daha fazla bağlamın bulunmaması, referansın kaldırılmasını veya bunun için alternatif bir kaynak bulmayı zorlaştırır. Bu linkten 13. slayt yeterli mi? --- cs.cmu.edu/~epxing/Class/10701-10s/recitation/recitation3.pdf

— Glen_b -Reinstate Monica 2:17

Modelinde

$Y = X \beta + \epsilon$

burada , bir log benzeri deneklerin bir örneği için (bir katkı sabiti kadar) $\epsilon \sim N(0,\sigma^{2})$ $Y|X$ $n$

\frac{- n}{2} \log (σ^{2}) - \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\frac{-n}{2} \log(\sigma^{2}) - \frac{1}{2 \sigma^{2}} \sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

sadece bir fonksiyonu olarak bakıldığında , maksimize edici tam olarak en aza indiren $\beta$

\sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

bu denkliği açıklığa kavuşturuyor mu?

— Makro
kaynak

Bu tam da OP

— whuber

Evet, bunu görüyorum ama aslında sayfa 13'teki Gauss günlükleri yazma olasılığını yazmıyorlar, bunu yaptıktan sonra argmax değerinin OLS kriterlerinin argminiyle aynı olduğu açıkça ortaya çıkıyor, bu yüzden bunun değerli bir katkı olduğunu düşündüm.

— Makro,

iyi nokta: slayt detayları ile biraz kabataslak.

— whuber

β

$\beta$

L_{2}

$L_{2}$

Katkı sabitin/2 log(2 *pi)

— SmallChess