Hangisi daha iyi maksimum olasılık veya marjinal olabilirlik ve neden?

Regresyon yaparken şu tanımdan geçersek: Kısmi olasılık, profil olasılığı ve marjinal olasılık arasındaki fark nedir?

O, Maksimum Olabilirlik
L'yi maksimuma çıkaran β ve θ'yı bulun (β, θ | data).

Öte yandan, Marjinal Olasılık
θ koşullu β'nun olasılık dağılımını belirleyebileceğimiz gerçeğinden yararlanarak θ olasılık denkleminden bütünleştiriyoruz.

Hangisini en üst düzeye çıkarmak için daha iyi bir yöntemdir ve neden?

regression maximum-likelihood

— Ankit Chiplunkar
kaynak

Yanıtlar:

Bunların her biri farklı bir yorumla farklı sonuçlar verecektir. Birincisi en muhtemel olan , çiftini , ikincisi (marjinal olarak) en muhtemel olan bulur . Dağıtımınızın şöyle göründüğünü düşünün: $\beta$ $\theta$ $\beta$

$\beta=1$ $\beta=2$
$\theta=1$ 0.0 0.2
$\theta=2$ 0.1 0.2
$\theta=3$ 0.3 0.2

O zaman maksimum olabilirlik yanıtı ( ), maksimum marjinal olabilirlik yanıtı (çünkü üzerinde marjinalleştirme , ). $\beta=1$ $\theta=3$ $\beta=2$ $\theta$ $P(\beta=2)=0.6$

Genel olarak, marjinal olasılığın genellikle istediğiniz şey olduğunu söyleyebilirim - eğer parametrelerinin değerlerini gerçekten , o zaman bunların üzerine çökmelisiniz. Ancak muhtemelen pratikte bu yöntemler çok farklı sonuçlar vermeyecektir - eğer yaparlarsa, çözümünüzde altta yatan bazı kararsızlıklara işaret edebilir, örneğin , benzer tahminler veren farklı , kombinasyonlarına sahip çoklu modlar . $\theta$ $\beta$ $\theta$

— Chris
kaynak

Maksimum / marjinal olabilirlik yöntemleri ve dolayısıyla soru için farklı sonuçlar buldum. Benim durumumdaki iki sonucun farklı yorumlar ancak olası sonuçlar verdiğini söyleyebilirim.

— Ankit Chiplunkar

Şu anda bu soruyla kendimi boğuşuyorum. İşte size yardımcı olabilecek bir sonuç. Doğrusal modeli düşünün

y = X β + ϵ, ϵ \sim N (0, σ^{2})

$y = X\beta + \epsilon, \quad \epsilon \sim N(0,\sigma^2)$

$y \in \mathbb{R}^n, \beta \in \mathbb{R}^p,$ $\beta$ $\sigma^2$

L (β, σ^{2}) = (2 π σ^{2})^{- n / 2} e x p (- \frac{| | y - X β | |^{2}}{2 σ^{2}})

$L(\beta,\sigma^2) = (2 \pi \sigma^2)^{-n/2} exp\left(-\frac{||y-X\beta||^2}{2\sigma^2}\right)$

Ortak olasılık getirilerinin optimize edilmesi

\hat{β} = X^{+} y

$\hat{\beta} = X^+ y$

{\hat{σ}}^{2} = \frac{1}{n} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n}||r||^2$

$X^+$ $X$ $r=y-X\hat{\beta}$ $\hat{\sigma}^2$ $1/n$ $1/(n-p)$

$\beta$ $\sigma^2$ $\beta$ $\sigma^2$

{\hat{σ}}^{2} = {max}_{σ^{2}} \int_{R^{p}} L (β, σ^{2}) d β

$\hat{\sigma}^2 = \text{max}_{\sigma^2} \int_{\mathbb{R}^p} L(\beta,\sigma^2) d\beta$

Temel lineer cebir ve Gauss integral formülünü kullanarak şunu gösterebilirsiniz:

{\hat{σ}}^{2} = \frac{1}{n - p} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n-p} ||r||^2$

Bu, onu ortak ML tahmini üzerinde tarafsız ve genel olarak tercih edilen özgürlük derecesi düzeltmesine sahiptir.

Bu sonuçtan, bütünleşik olasılık hakkında doğası gereği avantajlı bir şey olup olmadığını sorabiliriz, ancak bu soruyu cevaplayan herhangi bir genel sonuç bilmiyorum. Konsensüs, entegre ML'nin çoğu tahmin problemindeki belirsizliği hesaba katmada daha iyi olduğu görülmektedir. Özellikle, diğer parametre tahminlerine (dolaylı olarak bile) bağlı bir miktar tahmin ediyorsanız, diğer parametreler üzerinde entegrasyon belirsizlikleri daha iyi açıklar.

— Paul
kaynak

β

$\beta$

β

$\beta$

β

$\beta$

Aslında, bu gönderi ve yorumlara dayanarak, marjinal ML değil, entegre ML'nin burada yaptığımız şey için doğru terim olduğunu düşünüyorum. Buna göre düzenlendi.

— Paul

+1 Bu partiye oldukça geç kaldığımı biliyorum, ancak tam olarak REML'nin yaptığı şeyden önce uygunsuz bir üniforma koyarak sabit etkileri entegre etmiyor, bu yüzden aslında REML tahminini elde ettiniz ve bu df düzeltmesi tam olarak burada REML küçük örnekler için daha iyi?

— jld

@Chaconne evet, bu yazı REML'i anlamaya çalışarak motive oldu! (Neredeyse) hiçbir resmi istatistik eğitimim yok, bu yüzden bunu türetmek benim için yeni bir şeydi.

— Paul

$\beta$ $\beta$ $\theta$ $\theta$ $\theta$ $\theta$ $\theta_i$ $p(\theta_i)$ $\theta$ $data$ $\beta$

— Seeda
kaynak