Tek bir örneğin olasılığı 0 olduğunda MLE neden mantıklı geliyor?

Bu, bazı eski istatistikleri incelerken sahip olduğum garip bir düşünce ve bir nedenden dolayı cevabı düşünemiyorum.

Sürekli bir PDF bize herhangi bir aralıktaki değerleri gözlemleme yoğunluğunu söyler. Yani, eğer , örneğin, daha sonra olasılık bir gerçekleşme arasında düşer ve basitçe burada olduğu standardın yoğunluğu.$X \sim N(\mu,\sigma^2)$$a$$b$$\int_a^{b}\phi(x)dx$$\phi$

Ait dediğimizde bir parametrenin bir MLE tahmin yapmayı düşündün , biz ortak yoğunluğunu yazmak, söylemek , rastgele değişkenler ve log-olabilirlik wrt ayırt , set 0'a eşit ve çözmek için . Sıklıkla verilen yorum, "bu yoğunluk fonksiyonunu en mantıklı kılan parametre göz önüne alındığında" şeklindedir.$\mu$$N$$X_1 .. X_N$$\mu$$\mu$

Beni rahatsız eden kısım şudur: rv yoğunluğuna sahibiz ve belirli bir gerçekleşme elde etme olasılığımız, örneğin örneğimiz, tam olarak 0'dır. Verilerimize göre eklem yoğunluğunu en üst düzeye çıkarmak neden mantıklıdır ( çünkü gerçek örneğimizi gözlemleme olasılığı tam olarak 0).$N$

Ortaya koyabildiğim tek rasyonelleşme, PDF'yi gözlemlenen örneğimiz etrafında mümkün olduğunca zirveye çıkarmak istiyoruz, böylece bölgedeki integral (ve bu nedenle bu bölgedeki şeyleri gözlemleme olasılığı) en yüksek seviyededir.

Herhangi bir örneğin olasılığı sıfıra eşittir ve yine de bir olasılık dağılımından çekilerek bir örnek gerçekleştirilir. Bu nedenle olasılık, bir örneği ve meydana gelme olasılığını değerlendirmek için yanlış araçtır. Fisher (1912) tarafından tarif edildiği gibi istatistiksel ihtimali, örnek gözlem olasılık sınırlayıcı argüman dayanan uzunluğunda bir zaman aralığı içinde zaman (alıntı sıfıra gider Aldrich, 1997) :$\mathbb{P}_\theta(X=x)$$x$$\delta$$\delta$

$\qquad\qquad\qquad$

Bu olasılığı . Olabilirlik işlevi terimi yalnızca Fisher (1921) 'de ve maksimum olasılık Fisher (1922)' de verilmektedir.$\delta$

Her ne kadar "en olası değer" mezhepine girmiş ve düz bir öncekiyle ters olasılık (Bayesci çıkarım) ilkesini kullanmış olsa da, Carl Friedrich Gauß zaten bir Normal dağılımın varyans parametresi için maksimum olasılık tahmincisi 1809'da türetmişti. Hald (1999) , Fisher'in 1912 tarihli genel ilkeyi belirleyen makalesinden önce, maksimum olabilirlik tahmincilerinden başka birkaç kez daha bahseder.

Maksimum olabilirlik yaklaşımının daha sonraki bir gerekçesi, bir örneğin , [Büyük Sayılar Kanunu] (burada iid numunenin gerçek yoğunluğunun temsil etmektedir), [bir fonksiyonu olarak olasılığını en üst düzeye ] [olarak en aza indirmek için asimptotik eşdeğerdir Kullback-Leibler uzaklaştırma] $(x_1,\ldots,x_n)$