Fisher Information ve Cramer-Rao sınırlarının sezgisel açıklaması

Fisher bilgisi, ne ölçtüğü ve nasıl yardımcı olduğu konusunda rahat değilim. Ayrıca Cramer-Rao ile olan ilişkisi benim için belli değil.

Birisi lütfen bu kavramların sezgisel bir açıklamasını verebilir mi?

Burada, maksimum olasılık tahmin edicisinin asimptotik varyansının neden Cramer-Rao alt sınırının olduğunu açıklıyorum . Umarım bu, Fisher bilgilerinin alaka düzeyi hakkında bir fikir verecektir.

İstatistiksel çıkarım , verilerden oluşturduğunuz bir olasılık fonksiyonunun kullanılması ile devam eder. nokta tahmini , değerini maksimize eden değerdir . Tahminci rasgele bir değişkendir, ancak olasılık fonksiyonunun işlevinin "rasgele bir eğri" olduğunu fark etmesine yardımcı olur .θ L ( θ ) θ L ( θ $\mathcal{L}(\theta)$$\hat{\theta}$$\mathcal{L}(\theta)$$\hat{\theta}$ $\mathcal{L}(\theta)$

Burada dağılımından çizilen kimliğe ait verileri varsayıyoruz ve olasılığını tanımlıyoruz L ( θ ) = $f(x|\theta)$

$$\mathcal{L}(\theta) = \frac{1}{n}\sum_{i=1}^n \log f(x_i|\theta)$$

parametresi , "gerçek" olabilirlik değerini en üst düzeye çıkarma özelliğine sahiptir, . Ancak, verilerden oluşturulan "gözlemlenen" olabilirlik fonksiyonu , gerçek olasılıktan biraz "kapalı" dır. Yine de, tahmin edebileceğiniz gibi, örneklem büyüklüğü arttıkça, “gözlenen” olabilirlik gerçek olabilirlik eğrisinin şekline yakınlaşır. Aynı parametre ile ilgili olasılığının türevi için de geçerlidir mı fonksiyonu . (Uzun lafın kısası, Fisher bilgisi , gözlemlenen skor fonksiyonunun gerçek skor fonksiyonunun şekline ne kadar çabuk yaklaştığını belirler .E L ( θ ) L ( θ ) ∂ L / ∂ $\theta$$\mathbb{E}\mathcal{L}(\theta)$$\mathcal{L}(\theta)$ $\partial \mathcal{L}/\partial \theta$

Büyük bir örneklem büyüklüğü, biz bizim maksimum olabilirlik tahmin varsayalım çok yakın . Olabilirlik işlevi "yerel olarak ikinci dereceden" olması için ve etrafındaki küçük bir mahalleyi yakınlaştırıyoruz . İçeride ISTV melerin RWMAIWi'ninİçeride ISTV melerin RWMAIWi'nin$\hat{\theta}$$\theta$$\theta$$\hat{\theta}$

Burada, , puan işlevinin nın kökenle kesiştiği noktadır. Bu küçük bölgede, biz olarak skor fonksiyonu tedavi hattı , eğim ile tek ve rastgele yolunu kesmek de . Denklemden bir çizgi için biliyoruz ki$\hat{\theta}$ $\partial \mathcal{L}/\partial \theta$$a$$b$$\theta$

$$a(\hat{\theta} - \theta) + b = 0$$

veya

$$\hat{\theta} = \theta - b/a .$$

MLE tahmincisinin tutarlılığından, bunu biliyoruz

$$\mathbb{E}(\hat{\theta}) = \theta$$

sınırında.

Bu nedenle, asimptotik olarak

$$nVar(\hat{\theta}) = nVar(b/a)$$

Eğimin, engellemeden çok daha az değiştiği ve asimptotik olarak, skor işlevini etrafındaki küçük bir mahallede sabit bir eğime sahip olarak ele alabiliriz . Böylece yazabiliriz$\theta$

$$nVar(\hat{\theta}) = \frac{1}{a^2}nVar(b)$$

Peki, ve değerleri ? Muhteşem bir matematiksel tesadüf nedeniyle, onlar aynı Fisher Fisher bilgi aynı miktarda (eksi işareti) olduğu ortaya çıktı.$a$$nVar(b)$

$$-a = \mathbb{E}\left[-\frac{\partial^2 \mathcal{L}}{\partial \theta^2}\right] = I(\theta)$$

$$nVar(b) = nVar\left[\frac{\partial \mathcal{L}}{\partial \theta}\right] = I(\theta)$$

Böylece,

$$nVar(\hat{\theta}) = \frac{1}{a^2}nVar(b) = (1/I(\theta)^2)I(\theta) = 1/I(\theta)$$ asimptotik olarak : Cramer-Rao alt sınırı. ( nın tarafsız bir tahmin edicinin varyansı üzerindeki bir alt sınır olduğunu göstermek başka bir konudur.)$1/I(\theta)$

Balıkçı bilgilerini anlamamın bir yolu, aşağıdaki tanım gereğidir:

$$I(\theta)=\int_{\cal{X}} \frac{\partial^{2}f(x|\theta)}{\partial \theta^{2}}dx-\int_{\cal{X}} f(x|\theta)\frac{\partial^{2}}{\partial \theta^{2}}\log[f(x|\theta)]dx$$

Fisher Bilgileri, bu şekilde, yoğunluğu iki kere farklılaştırılabilir olduğunda yazılabilir . örnek alanı parametresine bağlı değilse , ilk terimin sıfır olduğunu göstermek için Leibniz integral formülünü kullanabiliriz ( her iki tarafını ayırt edin) iki kez ve sıfır alırsınız) ve ikinci terim "standart" tanımdır. İlk terim sıfır olduğunda davayı alacağım. Sıfır olmadığı durumlarda, Fisher Bilgilerini anlamak için pek bir faydası yoktur.$f(x|\theta)$$\cal{X}$$\theta$$\int_{\cal{X}} f(x|\theta)dx=1$

Şimdi maksimum olasılık tahminini yaptığınızda (buraya "düzenlilik koşulları" ekleyin)

$$\frac{\partial}{\partial \theta}\log[f(x|\theta)]=0$$

Ve için çözmek . Yani ikinci türev degrade değiştirme ve bir anlamda ne kadar hızlı diyor "ne kadar" yukarıdaki denklemin sağ tarafında kayda değer bir değişiklik yapmadan MLE kalkar olabilir. Bunu düşünebileceğiniz bir başka yol da, kağıda çizilen bir "dağ" hayal etmektir - log-olabilirlik işlevi budur. Yukarıdaki MLE denklemini çözmek, bu dağın zirvesinin rastgele değişkeninin bir fonksiyonu olarak bulunduğu yeri söyler . İkinci türev size dağın ne kadar dik olduğunu - bir anlamda dağın zirvesini bulmanın ne kadar kolay olduğunu söyler. Fisher bilgisi zirvenin beklenen dikliğini almaktan geliyor ve bu nedenle bir miktar "ön veri" yorumu var.$\theta$$\theta$$x$

Hâlâ merak ettiğim bir şey, log olasılığının ne kadar dik olduğudur ve olasılığın diğer bazı monotonik fonksiyonlarının ne kadar dik olmadığı (karar teorisindeki "uygun" puanlama fonksiyonlarıyla mı? Belki de entropinin tutarlılık aksiyomlarıyla ilişkili). ?).

Fisher bilgisi ayrıca Laplace yaklaşımı olarak bilinen bir şey yüzünden birçok asimptotik analizde "ortaya çıkmaktadır". Bu, temel olarak “çok yönlü” tek bir maksimum maksimum yükselişe sahip herhangi bir işlevin daha yüksek ve daha yüksek bir güce yükselmesi nedeniyle Gauss işlevine gider (Merkezi Limit Teoremine benzer, ancak biraz daha fazla). genel). Yani büyük bir örneğiniz varsa, bu konumda etkin bir şekilde bulunuyorsunuz ve yazabilirsiniz:$\exp(-ax^{2})$

$$f(data|\theta)=\exp(\log[f(data|\theta)])$$

Ve Taylor'ı açtığınızda, MLE hakkındaki log olasılığını genişletin:

$$f(data|\theta)\approx [f(data|\theta)]_{\theta=\theta_{MLE}}\exp\left(-\frac{1}{2}\left[-\frac{\partial^{2}}{\partial \theta^{2}}\log[f(data|\theta)]\right]_{\theta=\theta_{MLE}}(\theta-\theta_{MLE})^{2}\right)$$ ve log olasılığının ikinci türevi ortaya çıkar (ancak "beklenen" form yerine "gözlemlenir"). Burada genellikle yapılan şey, daha fazla yaklaşımda bulunmaktır:

$$-\frac{\partial^{2}}{\partial \theta^{2}}\log[f(data|\theta)]=n\left(-\frac{1}{n}\sum_{i=1}^{n}\frac{\partial^{2}}{\partial \theta^{2}}\log[f(x_{i}|\theta)]\right)\approx nI(\theta)$$

Bu, toplamın bir integral ile değiştirilmesinin genellikle iyi bir şekilde tahmin edilmesi anlamına gelir, ancak bu verilerin bağımsız olmasını gerektirir. Büyük bağımsız örnekler için ( verilen ), Fisher bilgilerinin, MLE'nin, MLE'nin çeşitli değerleri için ne kadar değişken olduğunu görebilirsiniz.$\theta$

Bu, şu ana kadar gördüğüm en sezgisel makale:

Cramér-Rao Varyans Üzerindeki Alt Sınır: Adem ve Havva'nın “Belirsizlik İlkesi”, Michael R. Powers, Risk Finans Dergisi, Cilt. 7, No. 3, 2006

Sınır, meyve ile kimin yiyeceğini görmek için bir yazı tura atarak Eden Garden'daki Adem ve Havva bir analoji ile açıklanır ve daha sonra kendi tahminlerinde belirli bir doğruluk düzeyi elde etmek için ne kadar büyük bir örnek gerekli olduğunu sordular. ve sonra bu sınırı keşfettiler ...

Gerçekten gerçeklik hakkında derin bir mesaj ile güzel bir hikaye.

Her ne kadar yukarıda verilen açıklamalar çok ilginç olsa ve onlardan geçmekten zevk aldım, Cramer-Rao Alt Sınırının doğasının bana en iyi şekilde geometrik bir bakış açısıyla açıklandığını hissediyorum. Bu sezgi, Scharf'ın İstatistiksel Sinyal İşleme kitabının 6. Bölümünden elde edilen konsantrasyon kavramının bir özetidir .

tarafsız tahmincisini düşünün . Ek olarak, tahmincisinin kovaryansı ile Gauss dağılımına sahip olduğunu varsayın . Bu koşullar altında, dağılımı şu :${\boldsymbol\theta}$$\hat{\boldsymbol\theta}$${\boldsymbol\Sigma}$$\hat{\boldsymbol\theta}$

$f(\hat{\boldsymbol\theta})\propto \exp(-\frac{1}{2}(\hat{\boldsymbol\theta}-{\boldsymbol\theta})^T{\boldsymbol\Sigma}^{-1}(\hat{\boldsymbol\theta}-{\boldsymbol\theta}))$ .

Şimdi bu dağılımın kontur grafiklerini, için düşünün . (yani, ) olasılığındaki herhangi bir üst sınırlama, bir elips şeklinde sonuçlanacaktır. ile sabit yarıçaplı . Elipsoidin yarıçapı ile istenen olasılık arasında bire bir ilişki olduğunu göstermek kolaydır . Başka bir deyişle, , olasılığına sahip yarıçap ile belirlenen bir elipsoid içinde${\boldsymbol\theta}\in R^2$$\hat{\boldsymbol\theta}$$\int f(\hat{\boldsymbol\theta})d{\boldsymbol\theta} \le P_r$${\boldsymbol\theta}$$r$$r$$P_r$$\hat{\boldsymbol\theta}$${\boldsymbol\theta}$$r$$P_r$. Bu elipsoide bir konsantrasyon elipsoidi denir.

Yukarıdaki açıklama dikkate alındığında, CRLB hakkında aşağıdakileri söyleyebiliriz. Tüm tarafsız tahmin edicilerin arasında, CRLB, " kovaryansı ile ," yakınlık " (yukarıda tanımlandığı gibi) sabit bir olasılık için en küçük sahiptir. konsantrasyon elipsoidi. Aşağıdaki Şekil 2B çizim sağlar ( Scharf kitabındaki çizimden ilham almıştır ).$\hat{\boldsymbol\theta}_{crlb}$$\boldsymbol\Sigma_{crlb}$$P_r$