Parametre kestirimi için binom dağılımı için olasılık fonksiyonu nasıl türetilir?

22

Göre 8ED Mühendisleri için Miller ve Freund Olasılık ve İstatistik (pp.217-218), olabilirlik fonksiyonu binom dağılımı (Bernoulli denemelerinin) için maksimize edilebilir olarak verilmiştir

$L(p) = \prod_{i=1}^np^{x_i}(1-p)^{1-x_i}$

Bu denkleme nasıl ulaşılır? Poisson ve Gaussian'ın diğer dağıtımları ile ilgili bana oldukça açık görünüyor;

$L(\theta) = \prod_{i=1}^n \text{PDF or PMF of dist.}$

Ancak binom için bir tane sadece biraz farklı. Dürüst olmak gerekirse, nasıl oldu

$nC_x~p^x(1-p)^{n-x}$

olmak

$p^{x_i}(1-p)^{1-x_i}$

Yukarıdaki olasılık fonksiyonunda?

— Ben Isaac
kaynak

25

En yüksek olabilirlik tahmininde, ; bununla birlikte, bunu maksimize etmek , sabit bir için değerini maksimize . $nC_x~p^x(1-p)^{n-x}$ $p^x(1-p)^{n-x}$ $x$

Aslında, Gauss ve Poisson olasılıkları, onların önde gelen sabitlerini de içermiyor, bu yüzden bu durum sadece

OP'lerin Yorumlanması

İşte biraz daha detay:

İlk olarak, bir toplam ise başarı sayısı tek deneme (0 ya da 1) 'dir. Bu nedenle: $x$ $x_i$

Π_{ben = 1}^{n} p^{x_{ben}} (1 - p)^{1 - x_{ben}} = p^{Σ_{1}^{n} x_{ben}} (1 - p)^{Σ_{1}^{n} 1 - x_{ben}} = p^{x} (1 - p)^{n - x}

$\prod_{i=1}^np^{x_i}(1-p)^{1-x_i} = p^{\sum_1^n x_i}(1-p)^{\sum_1^n1-x_i} = p^{x}(1-p)^{n-x}$

Bu, olasılıktaki faktörleri nasıl elde ettiğinizi gösterir (yukarıdaki adımları geriye doğru iterek).

Sabit neden uzaklaşıyor? Gayrı resmi olarak ve çoğu insanın (ben dahil) yaptığı şey, sadece öncü sabitin olasılığını maksimize eden değerini etkilemediğinin farkına varmaktır, bu yüzden bunu görmezden geliyoruz (etkili bir şekilde 1'e ayarlıyoruz). $p$

Bunu, olabilirlik fonksiyonunun günlüğünü alarak ve türevinin sıfır olduğunu bularak türetebiliriz:

\ln (n C_{x} p^{x} (1 - p)^{n - x}) = \ln (n C_{x}) + x \ln (p) + (n - x) \ln (1 - p)

$\ln\left(nC_x~p^x(1-p)^{n-x}\right) = \ln(nC_x)+x\ln(p)+(n-x)\ln(1-p)$

Türev wrt al ve seti : $p$ $0$

\frac{d}{d p} \ln (n C_{x}) + x \ln (p) + (n - x) \ln (1 - p) = \frac{x}{p} - \frac{n - x}{1 - p} = 0

$\frac{d}{dp}\ln(nC_x)+x\ln(p)+(n-x)\ln(1-p) = \frac{x}{p}- \frac{n-x}{1-p} = 0$

⟹ \frac{n}{x} = \frac{1}{p} ⟹ p = \frac{x}{n}

$\implies \frac{n}{x} = \frac{1}{p} \implies p = \frac{x}{n}$

Ana sabitin MLE'nin hesaplamasından düştüğüne dikkat edin.

Daha felsefi olarak, bir olasılık sadece çarpma sabitine kadar çıkarım için anlamlıdır, öyle ki eğer iki olasılık fonksiyonumuz ve , olarak çıkarımsal olarak eşdeğerdirler. Buna Olabilirlik Kanunu denir . Dolayısıyla, aynı olasılık fonksiyonunu kullanarak farklı değerlerini karşılaştırırsak , baştaki terim anlamsız hale gelir. $L_1,L_2$ $L_1=kL_2$ $p$

Pratik bir düzeyde, olabilirlik fonksiyonunu kullanan çıkarım, aslında olabilirliğin mutlak değerini değil, olasılık oranını temel almaktadır. Bu, asimptotik olasılık oranları (asimptotik ki-kare - genellikle uygun olan belirli düzenlilik koşullarına tabidir) oranlarına dayanmaktadır. Olabilirlik oranı testleri, Neyman-Pearson Lemma nedeniyle tercih edilir . Bu nedenle, iki basit hipotezi sınamak istediğimizde, oranı alacağız ve ortak ana faktör iptal olacaktır.

NOT: Bu olacak değil iki farklı modeli karşılaştırarak olsaydı, ne bir binom ve poisson söylüyorlar. Bu durumda, sabitler önemlidir.

Yukarıdaki nedenlerden birincisi, (L'nin maksimize edicisini bulmaktaki alakasızlık) sorunuzu en doğrudan cevaplar.

2

Bunun fikir olduğunu görebiliriz. Ancak nasıl kaldırıldığı ve 1 ile değiştirildiği hakkında biraz daha bilgi verebilir misiniz ?

n C_{x}

$nC_x$

n

$n$

— Ebe Isaac

@ ÉbeIsaac bir kaç detay daha ekledi

2

Üründeki xi, her bir deneye karşılık gelir. Her bireysel deneme için, xi, 0 veya 1 olabilir ve n, her zaman 1'e eşittir. Bu nedenle, önemsiz olarak, binom katsayısı 1'e eşit olacaktır. Dolayısıyla, olasılık için ürün formülünde, binom katsayılarının ürünü 1 olacaktır ve dolayısıyla formülde nCx yoktur. Bunu adım adım çalışırken farkettim :) (Biçimlendirme için üzgünüm, cevaplarda matematiksel ifadelere cevap vermek için kullanılmadı ... henüz :))

— Abhishek Tiwari
kaynak