Binom'un Fisher Bilgisinin ile ters orantılı olmasının sezgisel nedeni

12

Binomial'in orantılı bir varyansı olduğu kafamı karıştırıyor / darbeler . Aynı şekilde, Fisher bilgisi ile orantılıdır . Bunun nedeni nedir? Fisher Bilgisi neden değerinde minimize ? Yani, 0.5'de çıkarım neden daha zordur ? $p(1-p)$ $\frac{1}{p(1-p)}$ $p=0.5$ $p=0.5$

Bağlam:

Ben bir örnek boyutu hesap üzerinde çalışıyorum ve için formül , gerekli örnek boyutu, , türetme bir varyans tahmini sonucu artan bir faktördür . $N$ $p(1-p)$

variance binomial interpretation

— Cam.Davidson.Pilon
kaynak

3

Bir varyans Bernoulli parametre ile rastgele değişken olan ve rasgele değişken, toplamı olan bağımsız Bernoulli rastgele değişkenlerin, varyans sahip toplamıdır, varyans . İle ilgili olarak niçin , kitleler kütle merkezinin yaklaşık eylemsizlik an olarak değişimini dikkate ve at ve sırasıyla.

p

$p$

p (1 - p)

$p(1-p)$

N

$N$

N p (1 - p)

$Np(1-p)$

N

$N$

p (1 - p)

$p(1-p)$

p

$p$

1 - p

$1-p$

1

$1$

0

$0$

— Dilip Sarwate

Evet, orantılı dedim , görmezden . İkinci bölümünüzü biraz açıklayabilir misiniz, ilginç bir bakış açısı gibi görünüyor.

p (1 - p)

$p(1-p)$

N

$N$

— Cam.Davidson.Pilon

13

Varyans maksimum bir halde bulunmasıdır ki sezgisel bir şekilde görmek için, alır, eşittir (sırasıyla. ). Daha sonra 'den bir örnek muhtemelen ' i (sırasıyla ') ve sadece birkaç ' ı (sırasıyla ') içerecektir . Orada çok fazla varyasyon yok. $p = 0.5$ $p$ $0.99$ $p = 0.01$ $X \sim \text{Bernoulli}(p)$ $1$ $0$ $0$ $1$

— ocram
kaynak

Bu doğru. Belki de sormam gereken şey, Fisher Bilgisi neden minimize edilmiştir ? $p=0.5$ , yani 0.5'de neden çıkarım en zordur ? Bunu yansıtmak için sorumu güncelleyeceğim.

p = 0.5

$p=0.5$

— Cam.Davidson.Pilon

3

Yine çok sezgisel bir şekilde: daha fazla varyasyon, daha fazla bilgiye ihtiyacınız var.

— ocram

9

Ortadaki ' için çıkarım "zor" dur, çünkü ortada olan bir örnek daha geniş bir aralığıyla tutarlıdır . Sonlara yakın, o kadar uzakta olamaz - çünkü uçlar ötesine geçemeyeceği "engeller" dir . $p$ $\hat p$ $p$ $p$

Bununla birlikte, sezginin varyans açısından bakıldığında daha kolay olduğunu düşünüyorum.

Bir binomun ortada büyük ve uçlarda küçük olması ile ilgili sezgi oldukça basittir: uç noktaların yakınında verilerin "yayılması" için yer yoktur. küçükünü düşünün - ortalama 0'a yakın olduğu için, varyasyon büyük olamaz - ortalama veriler için sadece ortalamadan çok uzak olabilir. $p$ $p$

Bir dizi Bernoulli çalışmasında örnek oranın varyansını ele alalım. Burada . Bu nedenle sabit tutarken ve değiştirirseniz , 0'a yakın için varyasyon çok daha küçüktür : $\text{Var}(\hat p) = p(1-p)/n$ $n$ $p$ $p$

Binom örneklerinde örnek oranı - burada sadece rastgele birörnektir; mavi kasa ortalama 0.03, siyah ortalama 0.5 (bazı titreme eklendi, böylece noktalar çok fazla yığılmıyor ve ayrıntıyı kaybetmiyor) $y$ resim açıklamasını buraya girin

Karşılık gelen olasılık fonksiyonları: resim açıklamasını buraya girin

Her durumda ortalamayı işaretleyen çizgilere dikkat edin. Ortalama çizgi bariyere karşı daha 'sıkışmış' hale geldikçe, ortalamanın altındaki noktalar sadece küçük bir yol alabilir.

Sonuç olarak, ortalamanın üzerindeki noktalar genellikle ortalamanın çok üzerine çıkamaz (aksi takdirde ortalama kayabilir!). Yakın bitiş noktaları gerçekten bir engel varken öyle aynı şekilde "yukarı itmek" yoktur. $p = \frac{1}{2}$

resim açıklamasını buraya girin

Aynı zamanda dağılımın neden uçlarda eğrilmesi gerektiğini görüyoruz; rasgele değişken ortalamanın üzerinde daha fazla olması için zamanın ortalamasının üzerinde olması için, ortalamanın olabildiğince aşağısında ezilmiş bir olasılık olması gerekir. 0'da görünen bu bariyer hem değişkenlik için bir sınır verir hem de çarpıklığa neden olur. $\hat p$ $p$

[Bu sezgi biçimi bize neden bu tam işlevsel formu aldığını söylemez, ancak varyansın neden uçlara yakın küçük olması gerektiğini ve gittiğiniz uçlara yaklaştıkça bunu açıklığa kavuşturur.]

— Glen_b-Monica'yı eski durumuna döndür
kaynak

Sonuç olarak, ortalamanın üzerindeki noktalar genellikle ortalamanın çok üzerine çıkamaz (aksi takdirde ortalama kayabilir!). P = 12 civarında bitiş noktaları gerçekten aynı şekilde "yukarı itmez". Çok mükemmel. Bu harika bir açıklama.

— Cam.Davidson.Pilon

7

Fisher bilgisi skor fonksiyonunun varyansıdır. Ve entropi ile ilgilidir. Bernoulli denemesi için her deneme için bir bit elde ediyoruz. Yani bu Fisher Information, beklediğimiz gibi Shannon Entropisi ile benzer özelliklere sahip. Özellikle entropinin maksimum değeri 1/2 ve bilgilerin minimum değeri 1/2'dir.

— James
kaynak

Ah, başka bir harika bakış açısı. Bunu entropik bakış açısından düşünmemiştim!

— Cam.Davidson.Pilon