Aşırı parametreli bir model için Fisher bilgi matrisi belirleyicisi

parametresiyle (başarı olasılığı) bir Bernoulli rasgele değişkeni düşünün . Olabilirlik fonksiyonu ve Fisher bilgisi ( matris): $X\in\{0,1\}$ $\theta$ $1 \times 1$

\begin{aligned} L_{1} (θ; X) & = p (X | θ) = θ^{X} (1 - θ)^{1 - X} \\ I_{1} (θ) & = det I_{1} (θ) = \frac{1}{θ (1 - θ)} \end{aligned}

$\begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align}$

Şimdi iki parametreli bir "aşırı parametreli" versiyonu düşünün: başarı olasılığı $\theta_1$ ve hata olasılığı $\theta_0$ . ( $\theta_1+\theta_0=1$ ve bu kısıtlamanın parametrelerden birinin gereksiz olduğunu ima ettiğini unutmayın.) Bu durumda olabilirlik işlevi ve Fisher bilgi matrisi (FIM):

\begin{aligned} L_{2} (θ_{1}, θ_{0}; X) & = p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X} \\ I_{2} (θ_{1}, θ_{0}) & = (\begin{matrix} \frac{1}{θ_{1}} & 0 \\ 0 & \frac{1}{θ_{0}} \end{matrix}) \\ det I_{2} (θ) & = \frac{1}{θ_{1} θ_{0}} = \frac{1}{θ_{1} (1 - θ_{1})} \end{aligned}

$\begin{align} \mathcal{L}_2(\theta_1,\theta_0;X) &= p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X} \\ \mathcal{I}_2(\theta_1,\theta_0) &= \left( \begin{matrix} \frac{1}{\theta_1} & 0 \\ 0 & \frac{1}{\theta_0} \end{matrix} \right) \\ \det \mathcal{I}_2(\theta) &= \frac{1}{\theta_1 \theta_0} = \frac{1}{\theta_1 (1-\theta_1)} \end{align}$

Bu iki FIM'in belirleyicilerinin aynı olduğuna dikkat edin. Ayrıca, bu özellik kategorik modeller (yani ikiden fazla durum) için daha genel bir duruma da uzanır. Ayrıca sıfırla sınırlandırılmış çeşitli parametre alt kümeleriyle log-lineer modellere de uzanıyor gibi görünmektedir; bu durumda, fazladan "yedekli" parametresi log bölümleme fonksiyonuna karşılık gelir ve iki FIM belirleyicisinin eşdeğeri , daha büyük FIM'in Schur tamamlayıcısı temelinde gösterilebilir . (Aslında, log-lineer modeller için daha küçük FIM sadece daha büyük FIM'in Schur tamamlayıcısıdır.)

Birisi bu özelliğin daha büyük bir parametrik modele (örneğin tüm üstel ailelere) uzanıp uzanmadığını açıklayabilir ve FIM belirleyicilerini böyle bir "genişletilmiş" parametre kümesine dayanarak türetme seçeneğine izin verebilir mi? Yani , boyutlu bir uzayda gömülü boyutlu bir manifoldun üzerinde yatan parametreli herhangi bir istatistiksel modeli varsayalım . Şimdi, parametre kümesini bir boyut daha içerecek şekilde genişletirsek (diğerlerine göre tamamen kısıtlanır) ve FIM'i bu parametrelerine göre hesaplarsak, her zaman orijinaline göre aynı belirleyiciyi alırız (bağımsız) parametreler? Ayrıca, bu iki FIM nasıl ilişkilidir? $n$ $n$ $(n+1)$ $(n+1)$ $n$

Bu soruyu sormamın nedeni , ekstra parametreli FIM'in genellikle daha basit görünmesidir. İlk düşüncem bunun genel olarak işe yaramaması gerektiğidir. FIM, her bir parametre için log olasılığının kısmi türevlerinin hesaplanmasını içerir. Bu kısmi türevler, söz konusu parametrenin değişmesine rağmen, diğer tüm parametrelerin sabit kaldığını varsayar; bu, ekstra (kısıtlı) parametreyi dahil ettiğimizde doğru değildir. Bu durumda bana öyle geliyor ki, kısmi türevler artık geçerli değil çünkü diğer parametrelerin sabit olduğunu kabul edemeyiz; ancak bunun aslında bir sorun olduğuna dair kanıt bulamadım. (Bağımlı parametrelere sahip durumlarda kısmi türevler sorunluysa, toplam türevler $(n+1) \times (n+1)$ bunun yerine gerekli mi? FIM'in toplam türevlerle hesaplanmasına henüz bir örnek görmedim, ama belki de çözüm budur ...)

Böyle bir "genişletilmiş" parametre setine dayalı olarak FIM'i hesaplayan çevrimiçi olarak bulabildiğim tek örnek şudur: bu notlar , her zamanki gibi gerekli kısmi türevleri hesaplayan kategorik dağılım için bir örnek içerir (yani her parametre bağımsız gibi) , parametreler arasında bir kısıtlama olmasına rağmen).

— Tyler Streeter
kaynak

İyi soru! Bernoulli rasgele değişkenin iki parametreli spesifikasyonunun talihsiz bir örnek olduğunu düşünüyorum, çünkü kısıtlama olmadan artık yoğunluğa bağlı değildir. Örneğin kavisli üstel aile için gözleminizi yeniden üretebilir misiniz?

p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X}

$p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X}$

— Khashaa

@Khashaa kısıtlamasının iki parametreli durumda (bahsettiğinizde) geçerli olduğunu varsayıyorum , bu nedenle olasılık işlevi hala geçerli bir yoğunluk olacak. Ayrıca, evet, bu gözlemi örneğin sıfır olarak kısıtlanmış çeşitli parametre alt kümelerine sahip log-lineer modeller için çoğaltabilirim; bu durumda, "artık" parametresi, günlük bölümü işlevine karşılık gelir.

θ_{1} + θ_{2} = 1

$\theta_1 + \theta_2 = 1$

— Tyler Streeter

ne dersiniz ?

N (μ, μ^{2})

$N(\mu, \mu^2)$

— Khashaa

Yanıtlar:

Normal bilgi matrisi Eğri normalDolayısıyla, belirleyicilerin eşit olduğu konusundaki gözleminiz evrensel değildir, ama tüm hikaye bu değildir. $X\sim N(\mu,\sigma^2)$

I_{1} = (\begin{matrix} \frac{1}{σ^{2}} & 0 \\ 0 & \frac{1}{2 σ^{4}} \end{matrix})

$\mathcal{I}_1 = \left( \begin{matrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{1}{2\sigma^4} \end{matrix} \right)$

X \sim N (μ, μ^{2})

$X\sim N(\mu,\mu^2)$

I_{2} = \frac{3}{μ^{2}} .

$\mathcal{I}_2=\frac{3}{\mu^2}.$

Genel olarak, , yeniden altındaki bilgi matrisiyse , bunu görmek zor değildir. orijinal parametreler için bilgi matrisi ; burada , dönüşümünün Jacobian'ıdır . $\mathcal{I}_g$

g (θ) = (g_{1} (θ), . . ., g_{k} (θ))^{'},

$g(\theta)=(g_1(\theta),...,g_k(\theta))',$

I (θ) = G^{'} I_{g} (g (θ)) G

$I(\theta)=G'I_g(g(\theta))G$

G

$G$

g = g (θ)

$g=g(\theta)$

Bernoulli örneği için ve . Dolayısıyla, Jacobian ve böylece $(\theta_0,\theta_1)=(p,1-p)$ $g(p)=(p,1-p)$ $(1,-1)'$

I (p) = (\begin{matrix} 1 & - 1 \end{matrix}) (\begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1 - p} \end{matrix}) (\begin{matrix} 1 \\ - 1 \end{matrix}) = \frac{1}{p (1 - p)}

$\mathcal{I}(p) = \left( \begin{matrix} 1& -1 \end{matrix} \right)\left( \begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1-p} \end{matrix} \right) \left( \begin{matrix} 1 \\ -1 \end{matrix} \right)=\frac{1}{p(1-p)}$

Kavisli normal örnek için,

I_{2} = (\begin{matrix} 1 & 2 μ \end{matrix}) (\begin{matrix} \frac{1}{μ^{2}} & 0 \\ 0 & \frac{1}{2 μ^{4}} \end{matrix}) (\begin{matrix} 1 \\ 2 μ \end{matrix}) = \frac{3}{μ^{2}} .

$\mathcal{I}_2 = \left( \begin{matrix} 1& 2\mu \end{matrix} \right)\left( \begin{matrix} \frac{1}{\mu^2} & 0 \\ 0 & \frac{1}{2\mu^4} \end{matrix} \right) \left( \begin{matrix} 1 \\ 2\mu \end{matrix} \right)=\frac{3}{\mu^2}.$

Şimdi belirleyicileri kolayca ilişkilendirebilirsiniz.

Yorumdan sonraki takip

Sizi doğru anladıysam, parametreleri anlamlı bir şekilde genişlettiğiniz sürece FIM geçerlidir: yeni parametrelendirme altındaki olasılık geçerli bir yoğunluk olmalıdır. Bu yüzden Bernoulli örneğine talihsiz bir örnek verdim.

Sağladığınız bağlantının kategorik değişkenler için FIM'in türetilmesinde ciddi bir kusuru olduğunu düşünüyorum , çünkü ve . Olumsuz Hessian'ın beklentisi , fakat skor vektörlerinin kovaryansı için değildir. Kısıtlamaları ihmal ederseniz, bilgi matrisi eşitliği geçerli değildir. $E(x_i^2)=\theta_i(1-\theta_i)\neq \theta_i$ $E(x_ix_j)=\theta_i\theta_j\neq 0$ $\mathrm{diag}\{1/\theta_i\}$

— Khashaa
kaynak

Jacobian dönüşüm yaklaşımından bahsettiğiniz ve basit, açık örnekler için teşekkürler. Siz (veya herhangi biri) hala beni ilgilendiren aşağıdaki konu hakkında yorum yapabilir misiniz: parametre kümesini bir boyuta genişletirken, burada yaptığımız gibi, parametreler arasında herhangi bir kısmi türev ( FIM) geçersiz olmalıdır, çünkü şimdi, bir parametreyi değiştirdiğimizde, diğerleri artık sabit değildir. FIM, kısmi türevlerin ekstra kısıtlama nedeniyle geçersiz olduğu göz önüne alındığında, genişletilmiş parametre seti için bile geçerli mi?

— Tyler Streeter

@TylerStreeter Sorununuzu ele almak için cevabımı güncelledim.

— Khashaa

Sonucun parametreler arasında belirli bir ilişki türü olduğu anlaşılıyor.

Aşağıdaki sonuçlar için tam genelliği iddia etmeden, "bir ila iki parametre" durumuna bağlı kalıyorum. Göstermek , iki parametre arasındaki şart beklemeye bu ilişkiyi ifade eder örtülü denklemi. Daha sonra "doğru genişletilmiş", "iki parametreli" log olabilirliği (OP'nin hesapladığı şey değil - oraya ulaşacağız) $g(\theta_0,\theta_1) =0$

L^{e} = L^{*} (θ_{0}, θ_{1}) + λ g (θ_{0}, θ_{1})

$L^e=L^*(\theta_0,\theta_1) +\lambda g(\theta_0,\theta_1)$ gerçek olasılığına eşittir , çünkü , ( bir çarpan) ve farklılaştırırken iki parametreyi bağımsız olarak ele alabiliriz.

L

$L$

g (θ_{0}, θ_{1}) = 0

$g(\theta_0,\theta_1)=0$

λ

$\lambda$

Parametrelere göre türevleri belirtmek için abonelikleri kullanarak (bir abonelik birinci türev, iki abonelik ikinci türev), Hessian'ın doğru genişletilmiş log olabilirlik belirleyicisi

\begin{matrix} (1) & D_{H} (L^{e}) = [L_{00}^{*} + λ g_{00}] [L_{11}^{*} + λ g_{11}] - [L_{01}^{*} + λ g_{01}]^{2} = D_{H} (L) \end{matrix}

$D_H(L^e) = [L^*_{00}+\lambda g_{00}][L^*_{11}+\lambda g_{11}] - [L^*_{01}+\lambda g_{01}]^2 = D_H(L) \tag{1}$

OP bunun yerine ne yapıyor?

Yanlış iki parametre arasındaki ilişkiyi " " ve kısıtlamasını hesaba . Daha sonra farklılaşma ile ilerler ve $L^*(\theta_0,\theta_1)$ $g(\theta_0,\theta_1)$

\begin{matrix} (2) & D_{H} (L^{*}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} \end{matrix}

$D_H(L^*) = L^*_{00}L^*_{11} - [L^*_{01}]^2 \tag{2}$

nin genel olarak eşit olmadığı açıktır . $(2)$ $(1)$

Ancak , eğer , daha sonra $g_{00}=g_{11}=g_{00}=0$

(1) \to D_{H} (L^{e}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} = D_{H} (L^{*}) = D_{H} (L)

$(1) \rightarrow D_H(L^e) = L^*_{00}L^*_{11} - [L^*_{01}]^2 = D_H(L^*) = D_H(L)$

Dolayısıyla , gerçek parametre ile artık parametre arasındaki ilişki, onları bağlayan örtük işlevin ikinci kısmi türevlerinin hepsi sıfır olacaksa , temelde yanlış olan yaklaşım "doğru" olur.

Bernoulli davası için,

g (θ_{0}, θ_{1}) = θ_{0} + θ_{1} - 1 \Rightarrow g_{00} = g_{11} = g_{01} = 0

$g(\theta_0,\theta_1) = \theta_0 + \theta_1 -1 \Rightarrow g_{00}=g_{11}=g_{01}=0$

EK
@Khashaa sorusuna cevap vermek ve mekaniği burada göstermek için, gereksiz bir parametreyle belirtilen bir olasılığı düşünüyoruz, ancak gereksiz parametreyi gerçek olanla bağlayan bir kısıtlama altında da düşünüyoruz. Günlük olasılıkları ile yaptığımız şey onları en üst düzeye çıkarmaktır - burada kısıtlı bir maksimizasyon vakamız var. boyutunda bir örnek varsayalım : $n$

max L_{n}^{*} (θ_{0}, θ_{1}) = \ln θ_{0} \sum_{i = 1}^{n} x_{i} + (n - \sum_{i = 1}^{n} x_{i}) \ln θ_{1}, s . t . θ_{1} = 1 - θ_{0}

$\max L_n^*(\theta_0, \theta_1) = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1,\;\; s.t. \;\; \theta_1 = 1-\theta_0$

Bu sorunun bir Langrangean'ı vardır (yukarıdaki gayri resmi olarak "doğru genişletilmiş olasılık" diyorum),

L^{e} = \ln θ_{0} \sum_{i = 1}^{n} x_{i} + (n - \sum_{i = 1}^{n} x_{i}) \ln θ_{1} + λ (θ_{1} - 1 + θ_{0})

$L^e = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1 + \lambda(\theta_1 - 1+\theta_0)$

Maksimum için birinci dereceden koşullar

\frac{\sum_{i = 1}^{n} x_{i}}{θ_{0}} + λ = 0, \frac{n - \sum_{i = 1}^{n} x_{i}}{θ_{1}} + λ_{0} = 0

$\frac {\sum_{i=1}^nx_i}{\theta_0} + \lambda = 0,\;\;\; \frac {n-\sum_{i=1}^nx_i}{\theta_1} +\lambda_0 =0$

ilişkisini elde ettiğimiz

\frac{\sum_{i = 1}^{n} x_{i}}{θ_{0}} = \frac{n - \sum_{i = 1}^{n} x_{i}}{θ_{1}} \Rightarrow θ_{1} \sum_{i = 1}^{n} x_{i} = (n - \sum_{i = 1}^{n} x_{i}) θ_{0}

$\frac {\sum_{i=1}^nx_i}{\theta_0} = \frac {n-\sum_{i=1}^nx_i}{\theta_1} \Rightarrow \theta_1\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

Yukarıda geçerlidir altında kısıtlaması kullanılarak elde ederiz $\theta_1 = 1-\theta_0$

(1 - θ_{0}) \sum_{i = 1}^{n} x_{i} = (n - \sum_{i = 1}^{n} x_{i}) θ_{0}

$(1-\theta_0)\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

\Rightarrow \sum_{i = 1}^{n} x_{i} = n θ_{0} \Rightarrow {\hat{θ}}_{0} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\Rightarrow \sum_{i=1}^nx_i = n\theta_0 \Rightarrow \hat \theta_0 = \frac 1n\sum_{i=1}^nx_i$

olması gerektiği gibi.

Sınırlamadır Dahası, doğrusal olarak her parametre, ikinci türevleri sıfır olacaktır. Bu, lagünün ilk türevlerinde, çarpan "tek başına" olduğu ve lageanın ikinci türevlerini alacağımızda ortadan kalkacağı gerçeğinde yansıtılmaktadır . Bu da bizi, belirleyicisi orijinal tek parametreli log-olasılığın (tek boyutlu) ikinci türevine eşit olacak bir Hessian'a götürecektir, ayrıca kısıtlamayı da (OP'nin yaptığı şeydir). Daha sonra her iki durumda da beklenen değerin negatifini almak, bu matematiksel denkliği değiştirmez ve "tek boyutlu Fisher Bilgisi = iki boyutlu Fisher Bilgisi'nin belirleyicisi" ilişkisine ulaşırız. şimdi $\lambda$ kısıtlamanın tüm parametrelerde doğrusal olduğu göz önüne alındığında , OP, maksimize edilecek fonksiyonda bir çarpan ile sınırlama getirmeden aynı sonucu (ikinci türev seviyesinde) elde eder, çünkü ikinci türev seviyesinde, böyle bir durumda kısıtlama ortadan kalkar.

Bütün bunlar istatistiksel kavramlarla değil, kalkülüsle ilgilidir.

— Alecos Papadopoulos
kaynak

Mantıklarınızı takip edemiyorum. Lagrangean benzeri neden "doğru genişletilmiş", "iki parametreli" log olabilirliği olarak kabul edildiğini açıklayabilir misiniz ? Ayrıca, Hessian benim için tamamen gizemli. Gözlenen bilgi matrisini hesaplıyor musunuz?

L^{e}

$L^e$

— Khashaa

@Khashaa "Hessian" ın çok değişkenli bir fonksiyonun ikinci türevlerinin matrisi olduğu terminolojisine dayanmaktadır.

— Alecos Papadopoulos

Buradaki downvoter'ların bir cevap göndermesi yararlı olacaktır - çünkü OP'nin spesifik örneği var - ve bir açıklama talep ediyor.

— Alecos Papadopoulos

Üzgünüm, sorum net değilse. Sorum, Hessian'ı bilgi matrisine nasıl bağladığınızla ilgiliydi, çünkü üzerinde herhangi bir beklenti görmedim ve sonuç gözlenen bir bilgi matrisi gibi görünüyordu. Ayrıca, neden doğru loglikelihood olduğunu açıklayabilir misiniz? Sanırım kısıtlı olabilirliği değerlendirmek için bazı ilkeli yöntemler kullanıyorsunuz, ancak bunun nasıl çalıştığını anlamıyorum.

L^{e}

$L^e$

— Khashaa

@ Khashaa OP örneğini kullanarak bir sergi ekledim.

— Alecos Papadopoulos