Kısmi olabilirlik, profil olabilirliği ve marjinal olabilirlik arasındaki fark nedir?

56

Bu terimlerin kullanıldığını görüyorum ve bunları karıştırmaya devam ediyorum. Aralarındaki farkların basit bir açıklaması var mı?

estimation maximum-likelihood

— Rob Hyndman
kaynak

57

Olabilirlik işlevi genellikle birçok parametreye bağlıdır. Uygulamaya bağlı olarak, genellikle bu parametrelerin yalnızca bir alt grubuyla ilgileniyoruz. Örneğin, doğrusal regresyonda, ilgi tipik olarak hata varyansına değil eğim katsayılarına dayanır.

İlgilendiğimiz parametreleri $\beta$ ve birincil ilgi olmayan parametreleri $\theta$ olarak belirtin . Tahmin sorunu yaklaşım standart yol biz tahminlerini elde böylece olabilirlik fonksiyonunu maksimize etmektir $\beta$ ve $\theta$ . Birincil ilgi yatar Ancak, $\beta$ kısmi profil ve marjinal olabilirlik tahmin etmek için alternatif yollar sunmak $\beta$ tahmin olmaksızın $\theta$ .

Farkı görebilmek için standart olasılığı $L(\beta, \theta|\mathrm{data})$ .

Maksimum Olabilirlik

maksimize eden $\beta$ ve $\theta$ bulun . $L(\beta, \theta|\mathrm{data})$

Kısmi Olabilirlik

Olabilirlik işlevini şu şekilde yazabilirsek:

L (β, θ | d bir t bir) = L_{1} (β | d bir t bir) L_{2} (θ | d bir t bir)

$L(\beta, \theta|\mathrm{data}) = L_1(\beta|\mathrm{data}) L_2(\theta|\mathrm{data})$

Sonra basitçe $L_1(\beta|\mathrm{data})$ maksimize ederiz .

Profil Olabilirliği

Eğer $\theta$ işlevini $\beta$ olarak ifade edebilirsek , o zaman function işlevini yerine $\theta$ .

Söyleyin, $\theta = g(\beta)$ . Ardından, maksimize ediyoruz:

L (β, g (β) | d bir t bir)

$L(\beta, g(\beta)|\mathrm{data})$

Marjinal Olabilirlik

$\theta$ olasılık denkleminden $\theta$ koşullu açık $\beta$ olasılık dağılımını tanımlayabildiğimiz gerçeğinden yararlanarak bütünleşiriz .

— febstar
kaynak

2

Buradaki son tanımın Marjinal Olabilirlik değil, Bütünleşik (veya Bayesian) Olabilirlik olduğunu unutmayın.

— ars

Bu kısmi olasılık için RHS'de doğru mu: "L2 (θ | theta)"?

— jpalecek

@ars, lütfen cevabı düzenler ve Marjinal Olabilirlik tanımını verir misiniz?

— Waldir Leoncio

13

Üçü de, tamamen belirtilen olabilirlik fonksiyonunda rahatsızlık parametreleriyle çalışırken kullanılır.

Marjinal ihtimal, teorik olarak rahatsızlık parametrelerinin ortadan kaldırılmasında birincil yöntemdir. Bu gerçek bir olabilirlik işlevidir (yani, gözlemlenen verilerin (marjinal) olasılığı ile orantılıdır).

Kısmi olabilirlik, genel olarak gerçek bir olasılık değildir. Bununla birlikte, bazı durumlarda asimptotik çıkarım için bir olasılık olarak değerlendirilebilir. Örneğin, ortaya çıktığı yerlerde Cox orantılı tehlikeler modellerinde, temel tehlikeyi belirtmeden verilerdeki gözlemlenen sıralamalar (T1> T2> ..) ile ilgileniyoruz. Efron, kısmi olasılığın, çeşitli tehlike fonksiyonları için hiçbir bilgiyi kaybetmediğini veya çok az kaybettiğini gösterdi.

Profil olasılığı, çok boyutlu bir olabilirlik fonksiyonuna ve tek bir ilgi parametresine sahip olduğumuzda uygundur. Her bir sabit T'de (ilgilenilen parametre), yani L (T) = L (T, S (T)) S sıkıntısını değiştirerek belirtilir. Bu şekilde pratikte işe yarar, ancak bu şekilde elde edilen MLE'de potansiyel bir önyargı olsa da; marjinal ihtimal bu önyargıyı düzeltir.

— ars
kaynak