Fisher bilgi nasıl bir bilgidir?

29

rasgele bir değişkenimiz olduğunu varsayalım . Eğer gerçek parametre ise, olabilirlik fonksiyonu maksimize edilmeli ve türev sıfıra eşit olmalıdır. Bu, maksimum olabilirlik tahmincisinin arkasındaki temel ilkedir. $X \sim f(x|\theta)$ $\theta_0$

Anladığım kadarıyla, Fisher bilgisi olarak tanımlanır

I (θ) = E [{(\frac{\partial}{\partial θ} f (X | θ))}^{2}]

$I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ]$

Dolayısıyla, eğer gerçek parametre ise, . Fakat eğer gerçek parametre değilse, o zaman daha fazla Fisher bilgisine sahip oluruz. $\theta_0$ $I(\theta) = 0$ $\theta_0$

sorularım

Fisher bilgisi verilen bir MLE'nin "hatasını" ölçüyor mu? Başka bir deyişle, olumlu Fisher bilgilerinin varlığı MLE'm için ideal olamayacağı anlamına gelmiyor mu?
Bu "bilgi" tanımının Shannon tarafından kullanılandan ne kadar farklıdır? Neden bilgi diyoruz?

— Stan Shunpike
kaynak

Neden bunu yazıyorsunuz

E_{θ}

$E_\theta$ ? Beklenti, parameter parametresiyle dağıtımınızdan

gibi dağıtılan

değerlerinin üzerindedir .

X

$X$

θ

$\theta$

— Neil G,

3

Ayrıca,

I (θ)

$I(\theta)$ doğru parametrede sıfır değildir.

— Neil G

E (S) sıfırdır (yani: puan fonksiyonunun beklentisi), ancak Neil G'nin yazdığı gibi - balıkçı bilgileri (V (S)) sıfır değildir (genellikle).

— Tal Galili

15

Diğer cevaplara uymaya çalışmak ... Fisher bilgisi ne tür bir bilgidir? Log benzeri fonksiyonu ile Başlangıç bir fonksiyonu olarak için , parametre alanı. Burada tartışmak değil bazı düzenlilik koşullarını varsayarak, elimizdeki

ℓ (θ) = \log f (x; θ)

$\ell (\theta) = \log f(x;\theta)$

θ

$\theta$

θ \in Θ

$\theta \in \Theta$

(parametreye göre türevleri burada nokta olarak yazacağız). Varyans, Fisher bilgisi

mantıksallık işlevinin (negatif) eğriliği olduğunu gösteren son formül. Biri genellikle maksimum olasılık tahmincisini bulur (mle).

E \frac{\partial}{\partial θ} ℓ (θ) = E_{θ} \dot{ℓ} (θ) = 0

$\DeclareMathOperator{\E}{\mathbb{E}} \E \frac{\partial}{\partial \theta} \ell (\theta) = \E_\theta \dot{\ell}(\theta) = 0$

I (θ) = E_{θ} (\dot{ℓ} (θ))^{2} = - E_{θ} \ddot{ℓ} (θ)

$I(\theta) = \E_\theta ( \dot{\ell}(\theta) )^2= -\E_\theta \ddot{\ell}(\theta)$

olabilirlik denklemi çözerek

puan varyansı olarak Fisher bilgisi

büyük olması durumunda, bu denkleme çözelti, verilere çok hassas olduğu en yüksek bir umut veren olacak mle'nin hassasiyeti. Bu, en azından asimptotik olarak doğrulanır, etin asimptotik varyansı, Fisher bilgilerinin tersidir.

θ

$\theta$

\dot{ℓ} (θ) = 0

$\dot{\ell}(\theta)=0$

\dot{ℓ} (θ)

$\dot{\ell}(\theta)$

Bunu nasıl yorumlayabiliriz? örnekten parametresi ile ilgili olabilirlik . Bu gerçekten sadece göreceli olarak yorumlanabilir, örneğin iki farklı olası parametre değerinin olasılıklarını olasılık oran testi . Mantıksallıktaki değişim oranı puanlama işlevidir , olasılığın ne kadar hızlı değiştiğini ve varyansını $\ell(\theta)$ $\theta$ $\ell(\theta_0) - \ell(\theta_1)$ $\dot{\ell}(\theta)$ $I(\theta)$ Bunun örneklemden numuneye ne kadar değiştiği belli bir paramiter değerinde dır . Denklem (ki gerçekten şaşırtıcı!) , verilen parametre değeri için olasılıktaki (değişkenlik) değişkenlik arasında bir ilişki (eşitlik) olduğunu, ve Bu parametre değeri için olabilirlik fonksiyonunun eğriliği. Bu, istatistiğinin değişkenliği (varyansı) arasında şaşırtıcı bir ilişkidir. $\theta_0$

I (θ) = - E_{θ} \ddot{ℓ} (θ)

$I(\theta) = - \E_\theta \ddot{\ell}(\theta)$

θ_{0}

$\theta_0$

\dot{ℓ} (θ) ∣_{θ = θ_{0}}

$\dot{\ell}(\theta) \mid_{\theta=\theta_0}$ ve

parametresini

civarında bir aralıkta değiştirdiğimizde benzerlikteki beklenen değişim (aynı veriler için). Bu gerçekten hem garip, hem şaşırtıcı hem de güçlü!

θ

$\theta$

θ_{0}

$\theta_0$

Peki, olabilirlik işlevi nedir? Genellikle istatistiksel model düşünmek veriler için olasılık dağılımlarının bir aile olarak parametresi tarafından dizine, parametre alanı içinde bir eleman . Bazı değeri mevcut ise gerçek olarak bu modelin düşünüyorum tür veriler olduğunu aslında var olasılık dağılımı $\{ f(x;\theta), \theta \in \Theta \}$ $x$ $\theta$ $\Theta$ $\theta_0 \in \Theta$ $x$ $f(x;\theta_0)$ . Bu nedenle, olasılık verisi dağılım ailesinde gerçek veri oluşturucu olasılık dağılımını içine alarak istatistiksel bir model elde ediyoruz . Ancak, böyle bir gömme işleminin birçok farklı yoldan yapılabileceği açıktır ve bu tür yerleştirmelerin her birinin "gerçek" bir model olacağı ve farklı olasılık işlevleri vereceği açıktır. Ve böyle bir iç içe geçme olmadan, olasılık işlevi yoktur. Gerçekten de bir yardıma ihtiyacımız var gibi görünüyor, akıllıca bir göbek seçmek için bazı prensipler! $f(x;\theta_0)$

Peki, bu ne anlama geliyor? Bu, olasılık fonksiyonunun seçilmesinin, gerçek biraz değiştiyse verinin nasıl değişeceğini bekleyeceğimizi ifade eder. Ancak, veriler gerçekten doğrulanamaz, çünkü veriler yalnızca seçilen gerçek model işlevi hakkında bilgi verir, seçilen modeldeki diğer tüm öğeler hakkında hiçbir şey ifade etmez. Bu şekilde olabilirlik seçiminin seçiminin Bayesian analizindeki bir öncekinin seçimine benzer olduğunu görüyor, analize veri dışı bilgi aktarıyor. Buna basit (biraz yapay) bir örnekte bakalım ve gömme etkisine bakalım. $f(x;\theta_0)$ $f(x;\theta_0)$ farklı şekillerde bir modelde.

Bize Varsayalım ki olarak iid . Yani, bu gerçek, veri üreten dağıtımdır. Şimdi, iki farklı şekilde, model A ve model B bir modelinde bu gömmek izin $X_1, \dotsc, X_n$ $N(\mu=10, \sigma^2=1)$ kontrol ki bu aynı hizaya gelmektedir .

A : X_{1}, \dots, X_{n} iid N (μ, σ^{2} = 1), μ \in R B : X_{1}, \dots, X_{n} iid N (μ, μ / 10), μ > 0

$A \colon X_1, \dotsc, X_n ~\text{iid}~N(\mu, \sigma^2=1),\mu \in \mathbb{R} \\ B \colon X_1, \dotsc, X_n ~\text{iid}~N(\mu, \mu/10), \mu>0$

μ = 10

$\mu=10$

Mantıksallık işlevleri

ℓ_{bir} (μ) = - \frac{n}{2} günlük (2 π) - \frac{1}{2} \underset{ben}{Σ} (x_{ben} - μ)^{2} ℓ_{B} (μ) = - \frac{n}{2} günlük (2 π) - \frac{n}{2} günlük (μ / 10) - \frac{10}{2} \underset{ben}{Σ} \frac{(x_{ben} - μ)^{2}}{μ}

$\ell_A(\mu) = -\frac{n}{2} \log (2\pi) -\frac12\sum_i (x_i-\mu)^2 \\ \ell_B(\mu) = -\frac{n}{2} \log (2\pi) - \frac{n}{2}\log(\mu/10) - \frac{10}{2}\sum_i \frac{(x_i-\mu)^2}{\mu}$

Puan fonksiyonları: (loglikelihood türevleri):

{\dot{ℓ}}_{bir} (μ) = n (\bar{x} - μ) {\dot{ℓ}}_{B} (μ) = - \frac{n}{2 μ} - \frac{10}{2} \underset{ben}{Σ} (\frac{x_{ben}}{μ})^{2} - 15 n

$\dot{\ell}_A(\mu) = n (\bar{x}-\mu) \\ \dot{\ell}_B(\mu) = -\frac{n}{2\mu}- \frac{10}{2}\sum_i (\frac{x_i}{\mu})^2 - 15 n$

{\ddot{ℓ}}_{bir} (μ) = - n {\ddot{ℓ}}_{B} (μ) = \frac{n}{2 μ^{2}} + \frac{10}{2} \underset{ben}{Σ} \frac{2 x_{ben}^{2}}{μ^{3}}

$\ddot{\ell}_A(\mu) = -n \\ \ddot{\ell}_B(\mu) = \frac{n}{2\mu^2} + \frac{10}{2}\sum_i \frac{2 x_i^2}{\mu^3}$

μ = 10

$\mu=10$

{ben}_{bir} (μ = 10) = n, {ben}_{B} (μ = 10) = n \cdot (\frac{1}{200} + \frac{2020}{2000}) > n

$I_A(\mu=10) = n, \\ I_B(\mu=10) = n \cdot (\frac1{200}+\frac{2020}{2000}) > n$

$\mu$

Ayrıca, bu örnek, model aileleri nasıl inşa edeceğimiz konusunda bize yardımcı olmak için bir teoriye gerçekten ihtiyacımız olduğunu göstermektedir.

— kjetil b halvorsen
kaynak

1

\E_{θ} \dot{ℓ} (θ) = 0

$\E_\theta \dot{\ell}(\theta) =0$

θ

$\theta$

θ_{0}

$\theta_0$

1

Evet, söyledikleriniz doğru, @idadanny Gerçek parametre değerinde değerlendirildiğinde sıfırdır.

— kjetil b halvorsen

θ

$\theta$

θ_{0}

$\theta_0$

\hat{θ}

$\hat{\theta}$

θ_{0}

$\theta_0$

θ_{m l e}

$\theta_{mle}$

θ_{0}

$\theta_0$

θ_{1}

$\theta_1$

31

$\ell$ $\ell$ $\ell$

$\ell$ $\theta$ $\theta$

Milyonlarca parametreli büyük bir modeliniz olduğunu düşünün. Ve modelinizi saklayabileceğiniz küçük bir parmak izi vardı. Her bir parametrenin kaç bitinin depolanacağına nasıl öncelik vermelisiniz? Doğru cevap bitleri Fisher bilgisine göre dağıtmaktır (Rissanen bunun hakkında yazdı). Bir parametrenin Fisher bilgisi sıfırsa, bu parametre önemli değildir.

Buna "bilgi" diyoruz, çünkü Fisher bilgileri bu parametrenin bize veriler hakkında ne kadar bilgi verdiğini ölçer.

Bunu düşünmenin gizli bir yolu şudur: Parametrelerin araba kullandığını ve verilerin arka koltukta olduğunu ve sürücüyü düzelttiğini varsayalım . Verinin can sıkıntısı Fisher bilgisidir. Veriler sürücünün çalışmasına izin veriyorsa, Fisher bilgisi sıfırdır; Veri sürekli düzeltmeler yapıyorsa, bu büyük. Bu anlamda, Fisher bilgisi veriden parametrelere giden bilgi miktarıdır.

Direksiyonu daha hassas hale getirirseniz ne olacağını düşünün. Bu bir yeniden parametrelemeye eşdeğerdir. Bu durumda, veriler aracın aşırı denetlenmesi korkusuyla yüksek olmak istemez. Bu tür bir yeniden canlanma, Fisher bilgisini azaltır.

— Neil G
kaynak

20

@ NeilG'nin güzel cevabını (+1) tamamlayın ve özel sorularınızı yanıtlayın:

Bunun "hatanın" kendisinden ziyade "hassaslığı" saydığını söyleyebilirim.

$I$ $I_{j,j}$ $tr(I)$ Olumlu olmalı. Bu, iddiasına göre yalnızca "ideal olmayan" tahmin edicilere sahip olabileceğiniz anlamına gelir. Yani hayır, olumlu bir Fisher bilgisi, MLE'nizin ne kadar ideal olduğu ile ilgili değildir.

Tanım, her iki durumda da bilgi kavramını yorumlama biçimimizden farklıdır. Bunu söyledikten sonra, iki ölçüm birbiriyle yakından ilgilidir.

$–p·log_2(p)$ $p$ değeri alan değişkenin olasılığıdır. Her ikisi de bir değişkenin ne kadar “bilgilendirici” olduğunun ölçümüdür. İlk durumda, bu bilgiyi hassasiyet, ikinci durumda ise bozukluk olarak değerlendirmek; farklı taraflar, aynı para! : D

$I$

— usεr11852 diyor ki Reinstate Monic
kaynak