Jeffreys Priors ve varyans dengeleyici dönüşümün ardındaki ilişki nedir?

Daha önce wikipedia'da Jeffreys hakkında okuyordum: Jeffreys Prior ve her örnekten sonra, varyans stabilize edici bir dönüşümün Jeffreys'i daha önce tek tip bir forma dönüştürdüğünü açıkladığını gördüm.

Bir örnek olarak, Bernoulli durum için, bu durumları olasılığı olan kafaları olan bir madeni para için $\gamma \in [0,1]$ , Bernoulli test modeli verimleri bu Jeffreys önce parametre için $\gamma$ :

$$p(\gamma) \propto \frac{1}{\sqrt{\gamma ( 1-\gamma)}}$$

Daha sonra bunun α = β = 1 olan bir beta dağılımı olduğunu belirtir.$\alpha = \beta = \frac{1}{2}$ . Ayrıca$\gamma = \sin^2(\theta)$,için olan Jeffreys[0,$\theta$aralığında eşitolduğunu belirtir.$\left[0, \frac{\pi}{2}\right]$ .

Dönüşümü, varyans dengeleyici bir dönüşüm olarak kabul ediyorum. Beni şaşırtan şey:

1. Varyans stabilizasyonu dönüşümü neden daha önce tekdüze olur?

2. Neden daha önce üniforma istiyoruz? (uygunsuz göründüğünden daha hassas görünebilir)

Genel olarak, kare sinüs dönüşümünün neden verildiğinden ve hangi rolün oynandığından tam olarak emin değilim. Herhangi bir fikri olan var mı?

Önceden Jeffreys yeniden parametreleme altında değişmez. Bu nedenle, birçok Bayesian bunun “bilgilendirici olmayan bir öneri” olduğunu düşünmektedir. (Hartigan, α + β = 1 için nın böyle bir önceliğe sahip olduğunu gösterdi; burada J , Jeffreys'den önce ve H , Hartigan'ın asimptotik olarak lokal olarak değişmeyen önceliğidir. - Değişmez Önceki Dağılımlar ) $J^\alpha H^\beta$$\alpha + \beta=1$$J$$H$

Önceden üniformanın bilgilendirici olmadığı, ancak parametrelerinizin keyfi bir şekilde dönüştürülmesinden sonra ve yeni parametrelerden önceki üniformanın tamamen farklı bir şey olduğu sıklıkla tekrarlanan bir yanlışlıktır. Parametrelerin keyfi bir şekilde değiştirilmesi öncekinizi etkiliyorsa, öncekiniz açıkça bilgilendiricidir.

1. Jeffreys'i kullanmak, tanım olarak , varyans stabilize edici transformasyonu uyguladıktan sonra bir daire kullanmaya eşdeğerdir.

2. Matematiksel bir bakış açısından, Jeffreys'i önceden kullanmak ve varyans stabilizasyonu dönüşümünü uyguladıktan sonra düz bir önceki kullanmak eşdeğerdir. Bir insan bakış açısından, ikincisi muhtemelen daha iyidir çünkü parametre boşluğu, parametre boşluğunda nerede olursanız olun her yönden farklılıkların aynı olması anlamında "homojen" hale gelir.

Bernoulli örneğinizi düşünün. Bir testte% 99 puan almanın,% 59 ile% 50 arasında olduğu gibi% 90 ile aynı mesafe olması biraz tuhaf değil mi? Varyans dengeleyici dönüşümünüzden sonra eski çift olması gerektiği gibi daha ayrılır. Uzaydaki gerçek mesafeler hakkındaki sezgilerimizle eşleşir. (Matematiksel olarak, varyans dengeleyici dönüşüm, log kaybının eğriliğini kimlik matrisine eşit yapıyor.)

Vikipedi sayfasında gerçekten "varyans sabitleyici dönüşüm" terimi kullanılmıyor. "Varyans stabilize edici transformasyon" terimi genellikle rastgele değişkenin varyansını sabit yapan dönüşümleri belirtmek için kullanılır. Bernoulli davasında olmasına rağmen, dönüşümde olan şey budur, tam olarak hedef bu değildir. Amaç, sadece varyans dengeleyici değil, düzgün bir dağılım elde etmektir.

Jeffreys'i daha önce kullanmanın temel amaçlarından birinin, dönüşüm altında değişmez olduğunu hatırlayın. Bu, değişkeni yeniden parametreleştirirseniz öncekinin değişmeyeceği anlamına gelir.

1.

Bu Bernoulli davasından önceki Jeffreys, belirttiğiniz gibi bir Beta$(1/2, 1/2)$.

$$p_{\gamma}(\gamma) \propto \dfrac{1}{\sqrt{\gamma(1-\gamma)}}.$$

İle yeniden parametreleme $\gamma = \sin^2(\theta)$, we can find the distribution of $\theta$. First lets see that $\theta = \arcsin(\sqrt{\gamma})$, and since $0 < \gamma < 1$, $0 < \theta < \pi/2$. Recall that $\sin^2(x) + \cos^2(x) = 1$.

$$\begin{align*} F_{\theta}(x) & = P(\theta < x)\\ & = P(\sin^2(\theta) < \sin^2(x))\\ & = P(\gamma < \sin^2(x))\\ & = F_{\gamma}(\sin^2(x))\\ f_{\theta}(x) & = \dfrac{d F_{\gamma}(\sin^2(x)}{d x}\\ & = 2\sin(x)\cos(x)\,p_{\gamma}(\sin^2(x))\\ & \propto \sin(x)\cos(x) \dfrac{1}{\sqrt{\sin^2(x)(1 - \sin^2(x))}}\\ & =1. \end{align*}$$

Thus $\theta$ is the uniform distribution on $(0, \pi/2)$. This is why the $\sin^2(\theta)$ transformation is used, so that the re-parametrization leads to a uniform distribution. The uniform distribution is now the Jeffreys prior on $\theta$ (since Jeffreys prior is invariant under transformation). This answers your first question.

2.

Often in Bayesian analysis one wants a uniform prior when there is not enough information or prior knowledge about the distribution of the parameter. Such a prior is also called a "diffuse prior" or "default prior". The idea is to not commit to any value in the parameter space more than other values. In such a case the posterior is then completely dependent on the data likelihood. Since,

$$q(\theta|x) \propto f(x|\theta) f(\theta) \propto f(x|\theta).$$

If the transformation is such that the transformed space is bounded, (like $(0, \pi/2)$ in this example), then the uniform distribution will be proper. If the transformed space is unbounded, then the uniform prior will be improper, but often the resulting posterior will be proper. Although, one should always verify that this is the case.