Model tanımlanabilirliği nedir?

Tanımlanamayan bir modelle verilerin model parametrelerine birden fazla atama ile üretilebileceğini söyleyebileceğimi biliyorum. Cassella ve Berger 2. baskı, bölüm 11.2'deki örnekte olduğu gibi, bazen parametrelerin sınırlandırılmasının mümkün olduğunu biliyorum.

Belirli bir model verildiğinde, tanımlanabilir olup olmadığını nasıl değerlendirebilirim?

identifiability

— Jack Tanner
kaynak

Yanıtlar:

İçin , tanımlanabilir bahsediyoruz bir parametre bir parametre alanı üzerinde durulurken, (bir vektör olabilir) ve dağılımları bir aile (basitlik için, PDF düşünün) tarafından dizine biz genellikle yazma gibi bir şey hangi . Örneğin, olabilir ve olabilir $\theta$ $\Theta$ $\theta$ $\{ f_{\theta}|\, \theta \in \Theta\}$ $\theta$ $\theta = \beta$ $f$

f_{θ} (x) = \frac{1}{β} e^{- x / β}, x > 0, β > 0,

$f_{\theta}(x) = \frac{1}{\beta}\mathrm{e}^{-x/\beta}, \ x>0,\ \beta >0,$ anlamına geleceğini . Amacıyla bir model harita transformasyonu, anlaşılır olması için için olmalıdır bire-bir . Kucağınızda bir model göz önüne alındığında, bunu kontrol etmenin en basit yolu denklemiyle başlamaktır , (bu eşitlik (neredeyse) in destek ) ve bu böyle bir denklem göstermek için kullanımı cebir (veya başka bir bağımsız değişken) denemek için aslında, anlamına gelir, .

Θ = (0, \infty)

$\Theta = (0,\infty)$

θ

$\theta$

f_{θ}

$f_{\theta}$

f_{θ_{1}} = f_{θ_{2}}

$f_{\theta_{1}} = f_{\theta_{2}}$

x

$x$

θ_{1} = θ_{2}

$\theta_{1} = \theta_{2}$

Bu planla başarılı olursanız, modeliniz tanımlanabilir; işine devam et. Bunu yapmazsanız, modeliniz tanımlanamaz veya başka bir argüman bulmanız gerekir. Sezgi ne olursa olsun aynıdır: tanımlanabilir bir modelde, iki farklı parametrenin (vektörler olabilir) aynı olasılık fonksiyonuna yol açması imkansızdır.

Bu mantıklıdır, çünkü sabit veriler için iki benzersiz parametre aynı olasılığa yol açarsa, iki aday parametre arasında yalnızca verilere dayanarak ayırt etmek imkansız olacaktır. İmkansız olurdu tanımlamak bu durumda, gerçek parametre.

Örneğin denklemi yukarıda olan (neredeyse) tümü . İki tarafın günlüklerini alırsak, , için doğrusal işlevi ifade eder (neredeyse) aynıdır. Böyle bir şeyi yapan tek çizgi, eğimi 0 olan ve y-kesişen sıfıra sahip olandır. Umarım gerisini görebilirsiniz. $f_{\theta_{1}} = f_{\theta_{2}}$

\frac{1}{β_{1}} e^{- x / β_{1}} = \frac{1}{β_{2}} e^{- x / β_{2}},

$\frac{1}{\beta_{1}}\mathrm{e}^{-x/\beta_{1}} = \frac{1}{\beta_{2}}\mathrm{e}^{-x/\beta_{2}},$

x > 0

$x > 0$

- \ln β_{1} - \frac{x}{β_{1}} = - \ln β_{2} - \frac{x}{β_{2}}

$-\ln\,\beta_{1} - \frac{x}{\beta_{1}} = -\ln\,\beta_{2} - \frac{x}{\beta_{2}}$

x > 0

$x > 0$

- (\frac{1}{β_{1}} - \frac{1}{β_{2}}) x - (\ln β_{1} - \ln β_{2})

$-\left(\frac{1}{\beta_{1}} - \frac{1}{\beta_{2}}\right)x - (\ln\,\beta_{1} - \ln\,\beta_{2})$

Bu arada, modelinize bakarak tanımlanabilir olmadığını söyleyebilirseniz (bazen yapabilirsiniz), tanımlanmasını sağlamak için ek kısıtlamalar getirilmesi sıkça yaygındır (belirttiğiniz gibi). Bu fonksiyon olduğunu kabul benzer olan bire-bir için değil içinde , ancak bir bire-bir biz kısıtlama ise yalan içinde . Daha karmaşık modellerde denklemler daha serttir, ancak fikir aynıdır. $f(y) = y^{2}$ $y$ $[-1,1]$ $y$ $[0,1]$

(+1) Güzel, kapsamlı, toprağa açıklama. Çizdiğiniz analojiler kavramları netleştirir.

— kardinal

İstediğim soruyu kesinlikle cevapladın, ama cevabını gerçekten anlayamayacak kadar acemi biriyim. Acemiler için daha iyi bir açıklama olduğunu biliyorsanız, lütfen bana bildirin.

— Jack Tanner,

@cardinal, teşekkürler. Jack'e, tamam anladım. Buna ne dersin: eğer yukarıda net olmayan bir şey varsa ve bana işaret ederseniz, daha fazla et yemeyi deneyebilirim. Veya tercih ederseniz, bir "meslekten olmayan kişinin" açıklamasını veya bu fikirlerin örneklerini isteyen başka bir soru yazabilirsiniz. Tanımlanabilirliğin genellikle çalışmanın tipik tanıtım döneminden sonra ortaya çıkan bir konu olduğunu söylemenin adil olduğunu düşünüyorum , bu nedenle, şu anda neden karşılaştığınızla ilgili bir bağlam sağlamak isterseniz, potansiyel cevaplayıcılara yardımcı olabilir.

+1, iyi cevap. Bir klasik & tanımlanamayan modelin örneğini görmek kolay ANOVA kısıtsız versiyonudur dışarı Buna değer işaret olabilir: Bu durumu düzeltmek için referans hücre kodlama olduğunu tipik olarak kullanılır, burada bir seviye ortalaması referans olarak belirlenir (bu, kesişme tarafından tahmin edilir) ve genel ortalama açık bir şekilde tahmin edilmez.

y_{i j} = μ + α_{1} + α_{2} + \dots + α_{k} + ε_{i}

$y_{ij}=\mu+\alpha_1+\alpha_2+\ldots+\alpha_k+\varepsilon_i$

— gung - Monica'yı yeniden yerleştirme

Bunun bir yolu, parametre tahminlerinizin kovaryans matrisini ( incelemektir . İki parametre tahmini mükemmel (yaklaşık olarak) birbiriyle ilişkiliyse veya bir parametre tahmini diğerlerinin (yaklaşık olarak) doğrusal bir kombinasyonuysa, modeliniz tanımlanmamıştır; diğerlerinin fonksiyonu olan parametreler gerekli değildir. Bu vakaların her birinde, ayrıca (yaklaşık olarak) tekil olacaktır. Yani, eğer yaklaşık olarak tekil ise, bu size tanımlanabilirlik sorunları hakkında endişelenmeniz için sebep verebilir. (Bunun, tanımlanamazlığa yol açacak parametre tahminleri arasındaki doğrusal olmayan ilişkileri tespit edeceğini düşünmeme rağmen). $\Sigma$ $\Sigma$ $\Sigma$

Pratik sorun, hafif karmaşık modeller için bile hesaplamanın genellikle zor olmasıdır . $\Sigma$

Azami bir olasılık problemi yaşıyorsanız, tahminlerinizin asimptotik kovaryans matrisinin MLE'de değerlendirilen balıkçı bilgilerinin tersine eşit olduğunu bilirsiniz. Bu nedenle, balıkçı bilgi matrisini (yaklaşık) tekillik açısından kontrol etmek aynı zamanda tanımlanabilirliği değerlendirmenin makul bir yoludur. Bu aynı zamanda teorik avcı bilgisinin hesaplanmasının zor olduğu durumlarda da çalışmaktadır, çünkü balık avı bilgi matrisinin tutarlı bir tahmincisini, örneğin, skor fonksiyonunun beklenen dış ürününün, gözlemlenen ortalama dış ürün tarafından tahmin edilmesiyle, sayısal olarak doğru bir şekilde sayısal olarak doğru bir şekilde tahmin etmek sıklıkla mümkündür. .

Bir ML problemi yapmıyorsanız, o zaman modelden verileri simüle ederek ve parametreleri çok sayıda tahmin ederek ve bir örnek kovaryans matrisi hesaplayarak ele alabilirsiniz . $\Sigma$

— Makro
kaynak

(+1) Aferin. Bu soruya o yönden yaklaşmayı bile düşünmedim.

Simüle edilmiş verilere dayanan bir kovaryans matrisinin hesaplanması fikrinin özellikle nedeni, Cook-Gelman-Rubin kontrolü için yine de verileri simüle etmesi gerektiğidir .

— Jack Tanner,