Gama dağılımı ile normal dağılım arasındaki ilişki

Geçenlerde normal rastgele değişkenin karesi için ortalama 0 olan bir pdf türetmeyi gerekli buldum. Her ne sebeple, önceden varyansı normalleştirmemeyi seçtim. Bunu doğru yaptıysam, bu pdf aşağıdaki gibidir:

N^{2} (x; σ^{2}) = \frac{1}{σ \sqrt{2 π} \sqrt{x}} e^{\frac{- x}{2 σ^{2}}}

$N^2(x; \sigma^2) = \frac{1}{\sigma \sqrt{2 \pi} \sqrt{x}} e^{\frac{-x}{2\sigma^2}}$

Bunun aslında bir gama dağılımının bir parametresi olduğunu fark ettim:

N^{2} (x; σ^{2}) = Gamma (x; \frac{1}{2}, 2 σ^{2})

$N^2(x; \sigma^2) = \operatorname{Gamma}(x; \frac{1}{2}, 2 \sigma^2)$

Ve sonra, iki gama (aynı ölçek parametresiyle) toplamı başka bir gamaya eşittir, gama, $k$ kare normal rasgele değişkenlerin toplamına eşittir .

N_{Σ}^{2} (x; k, σ^{2}) = Gamma (x; \frac{k}{2}, 2 σ^{2})

$N^2_\Sigma(x; k, \sigma^2) = \operatorname{Gamma}(x; \frac{k}{2}, 2 \sigma^2)$

Bu benim için biraz şaşırtıcıydı. Bilsem bile olsa $\chi^2$ kare toplamının dağılımı - dağılımını standart Normal RV - Ben gama esasen normal rasgele değişkenlerin toplamı için izin sadece bir genelleme olduğunu fark etmedi, gamma özel bir durumdu arasında herhangi varyans. Bu aynı zamanda, üstel dağılım iki kare normal dağılımın toplamına eşdeğer olması gibi daha önce rastlamadığım diğer özelliklere de yol açar.

Bunların hepsi benim için biraz gizemli. Normal dağılım, yukarıda belirtilen şekilde gama dağılımının türetilmesinde temel midir? Kontrol ettiğim kaynakların çoğu, iki dağıtımın kendisiyle özdeş bir ilişki içinde olduğu ya da bu konuda bile gama'nın nasıl türetildiğini açıklamamaktadır. Bu, daha düşük seviyeli bir gerçeğin oyunda basitçe vurguladığım bir şekilde olduğunu düşündürüyor?

normal-distribution gamma-distribution

— timxyz
kaynak

Olasılık teorisi üzerine birçok lisans ders kitabı yukarıdaki sonuçlardan bahseder; ama belki de istatistik metinleri bu fikirleri kapsamaz. Herhangi bir durumda, bir

rastgele değişken

sadece

burada

(IID değişkenler için) bir standart normal rasgele değişken ve böylece bir

sadece ölçeklendirilmiş

N (0, σ^{2})

$N(0,\sigma^2)$

Y_{i}

$Y_i$

σ X_{i}

$\sigma X_i$

X_{i}

$X_i$

\sum_{i} Y_{i}^{2} = σ^{2} \sum_{i} X_{i}^{2}

$\sum_i Y_i^2 = \sigma^2 \sum_i X_i^2$

χ^{2}

$\chi^2$ Rastgele değişken olasılık teorisi çalışmış olanlara şaşırtıcı değildir.

— Dilip Sarwate

Ben bilgisayarlı görüntünün geçmişinden geliyorum, o yüzden normalde olasılık teorisiyle karşılaşmayın. Ders kitaplarımın hiçbiri (veya Wikipedia) bu yorumdan bahsetmiyor. Sanırım, bekletme süresi için iyi bir model kılan iki normal dağılımın karesinin toplamı için özel olanı da soruyorum (sanırım üstel dağılım). Hala daha derin bir şeyi özlüyorum gibi hissediyorum.

— timxyz 18:12

Vikipedi ki-kare dağılımını en.wikipedia.org/tr/Chi-squared_distribution#Definition adresindeki kare Normlar toplamı olarak tanımladığından beri ki-kare , Gamma için özel bir durumdur ( en.wikipedia.org/wiki / Gamma_distribution # Others ), kişi bu ilişkilerin iyi bilinmediğini hemen hemen iddia edebilir. Varyansın kendisi yalnızca tüm durumlarda ölçüm birimini (ölçek parametresi) oluşturur ve bu nedenle hiçbir ek komplikasyon ortaya çıkarmaz.

— whuber

Bu sonuçlar olasılık ve istatistik alanında iyi bilinmesine rağmen, kendi analizinizde onları yeniden keşfetmeniz için size @timxyz aferin.

— Monica’yı

Bağlantı gizemli değildir, çünkü bunlar, belirgin özelliklerinin değişkenlerin ve / veya parametrelerin yerine konularak ulaşılabileceği üssel dağılım ailesinin üyeleridir. Örneklerle aşağıda daha uzun cevaplara bakınız.

— Carl

Yanıtlar:

Sarwate'in yorumuna göre, normal kare ve ki kare arasındaki ilişkilerin çok yaygın bir gerçek olduğu - ki ki ki ki ki ki ki ki ki ki kare kare bir Gama dağılımının özel bir örneği:

X \sim N (0, σ^{2}) \Rightarrow X^{2} / σ^{2} \sim χ_{1}^{2} \Rightarrow X^{2} \sim σ^{2} χ_{1}^{2} = Gamma (\frac{1}{2}, 2 σ^{2})

$X \sim N(0,\sigma^2) \Rightarrow X^2/\sigma^2 \sim \mathcal \chi^2_1 \Rightarrow X^2 \sim \sigma^2\mathcal \chi^2_1= \text{Gamma}\left(\frac 12, 2\sigma^2\right)$

Gama'nın ölçeklendirme özelliğinden sonraki son eşitlik.

Üstel ile ilişkisinde, doğru olmak gerekirse, her biri diğerinin varyansı ile ölçeklendirilen , Üstel dağılımına yol açan iki kare sıfır-ortalama normalin toplamıdır :

X_{1} \sim N (0, σ_{1}^{2}), X_{2} \sim N (0, σ_{2}^{2}) \Rightarrow \frac{X_{1}^{2}}{σ_{1}^{2}} + \frac{X_{2}^{2}}{σ_{2}^{2}} \sim χ_{2}^{2} \Rightarrow \frac{σ_{2}^{2} X_{1}^{2} + σ_{1}^{2} X_{2}^{2}}{σ_{1}^{2} σ_{2}^{2}} \sim χ_{2}^{2}

$X_1 \sim N(0,\sigma^2_1),\;\; X_2 \sim N(0,\sigma^2_2) \Rightarrow \frac{X_1^2}{\sigma^2_1}+\frac{X_2^2}{\sigma^2_2} \sim \mathcal \chi^2_2 \Rightarrow \frac{\sigma^2_2X_1^2+ \sigma^2_1X_2^2}{\sigma^2_1\sigma^2_2} \sim \mathcal \chi^2_2$

\Rightarrow σ_{2}^{2} X_{1}^{2} + σ_{1}^{2} X_{2}^{2} \sim σ_{1}^{2} σ_{2}^{2} χ_{2}^{2} = Gamma (1, 2 σ_{1}^{2} σ_{2}^{2}) = Exp (\frac{1}{2 σ_{1}^{2} σ_{2}^{2}})

$\Rightarrow \sigma^2_2X_1^2+ \sigma^2_1X_2^2 \sim \sigma^2_1\sigma^2_2\mathcal \chi^2_2 = \text{Gamma}\left(1, 2\sigma^2_1\sigma^2_2\right) = \text{Exp}( {1\over {2\sigma^2_1\sigma^2_2}})$

Ancak, iki kare sıfırın toplamında “onları bekleme süresi için iyi bir model yapan” normallerin toplamında “özel bir şey” veya “daha derin” olduğu şüphesi temelsizdir: Her şeyden önce, üstel dağıtım konusunda özel olan şey nedir? o "bekleme süresi" için iyi bir model? Elbette hafızası, ancak burada "daha derin" bir şey mi var, ya da Üstel dağılım işlevinin basit işlevsel formu ve özellikleri ? Benzersiz özellikler Matematik'in her tarafına dağılmıştır ve çoğu zaman bazı "daha derin sezgiler" veya "yapıları" yansıtmazlar - sadece var olurlar (neyse ki). $e$

$f(x) = x$ $[-2,\,2]$

görüntü tanımını buraya girin

... veya ki-kare yoğunluğuna karşı standart normal yoğunluğun grafiğini çizerler: çok yakından ilişkili olsalar bile, tamamen farklı stokastik davranışları yansıtır ve temsil ederler; Normal, stokastik davranışı modellemek için geliştirdiğimiz matematik sisteminin çok önemli bir direği olabilir - ancak bir kez kare oluşturduğunuzda, tamamen başka bir şey haline gelir.

— Alecos Papadopoulos
kaynak

Son paragrafımdaki soruları özellikle ele aldığınız için teşekkür ederiz.

— timxyz

Rica ederim. Kabul etmeliyim ki, cevabım soru gönderildikten 26 ay sonra orijinal OP’ye ulaştığı için memnunum.

— Alecos Papadopoulos

Bize sorulan soruyu ele alalım, Bu hepsi benim için biraz gizemli. Gama dağılımının türetilmesi için normal dağılım esastır mı? Gerçekten de hiçbir gizem yok, basitçe normal dağılım ve gama dağılımının üyeler olduğu, üstel dağılım ailesinin diğer üyeleri arasında , hangi aile parametrelerin ve / veya değişkenlerin ikame edilerek denk formlar arasında dönüştürme yeteneği ile tanımlandığı. Sonuç olarak, birkaçı aşağıdaki şekilde özetlenen dağıtımlar arasında yer değiştirmeyle birçok dönüşüm vardır .

LEEMIS, Lawrence M .; Jacquelyn T. MCQUESTON (Şubat 2008). "Tek Değişkenli Dağıtım İlişkileri" (PDF). Amerikan İstatistiği. 62 (1): 45-53. doi: 10.1198 / 000313008x270448 alıntı

Burada iki normal ve gama dağılımı ilişkisi daha ayrıntılı olarak verilmiştir (ki-kare ve beta gibi, diğerlerinin bilinmeyen bir sayısı arasında).

GD (z; a, b) = \begin{array}{cc} {\begin{cases} \frac{b^{- a} z^{a - 1} e^{- \frac{z}{b}}}{Γ (a)} & z > 0 \\ 0 & other \end{cases} . \end{array}

$\text{GD}(z;a,b)=\begin{array}{cc} & \begin{cases} \dfrac{b^{-a} z^{a-1} e^{-\dfrac{z}{b}}}{\Gamma (a)} & z>0 \\ 0 & \text{other} \\ \end{cases} \,. \\ \end{array}$

$a\rightarrow \infty$ $a$ $(a-1) \sqrt{\dfrac{1}{a}} k$ $b$ $\sqrt{\dfrac{1}{a}}$

Bir GD'yi sınırlayıcı bir durum ND'ye dönüştürmek için, standart sapmayı sabit ( olarak ayarladık. $k$ $b=\sqrt{\dfrac{1}{a}} k$ $z=(a-1) \sqrt{\dfrac{1}{a}} k+x\ .$

GD ((a - 1) \sqrt{\frac{1}{a}} k + x; a, \sqrt{\frac{1}{a}} k) = \begin{array}{cc} {\begin{cases} \frac{{(\frac{k}{\sqrt{a}})}^{- a} e^{- \frac{\sqrt{a} x}{k} - a + 1} {(\frac{(a - 1) k}{\sqrt{a}} + x)}^{a - 1}}{Γ (a)} & x > \frac{k (1 - a)}{\sqrt{a}} \\ 0 & other \end{cases} \end{array} .

$\text{GD}\left((a-1) \sqrt{\frac{1}{a}} k+x;\ a,\ \sqrt{\frac{1}{a}} k\right)=\begin{array}{cc} & \begin{cases} \dfrac{\left(\dfrac{k}{\sqrt{a}}\right)^{-a} e^{-\dfrac{\sqrt{a} x}{k}-a+1} \left(\dfrac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)} & x>\dfrac{k(1-a)}{\sqrt{a}} \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,.$

$a\rightarrow\infty$ $x$ $\rightarrow -\infty$ $a\rightarrow \infty$

lim_{a \to \infty} \frac{{(\frac{k}{\sqrt{a}})}^{- a} e^{- \frac{\sqrt{a} x}{k} - a + 1} {(\frac{(a - 1) k}{\sqrt{a}} + x)}^{a - 1}}{Γ (a)} = \frac{e^{- \frac{x^{2}}{2 k^{2}}}}{\sqrt{2 π} k} = ND (x; 0, k^{2})

$\lim_{a\to \infty } \, \frac{\left(\frac{k}{\sqrt{a}}\right)^{-a} e^{-\frac{\sqrt{a} x}{k}-a+1} \left(\frac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)}=\dfrac{e^{-\dfrac{x^2}{2 k^2}}}{\sqrt{2 \pi } k}=\text{ND}\left(x;0,k^2\right)$

Grafiksel için ve GD mavi ve sınırlayıcı içinde turuncu, aşağıda $k=2$ $a=1,2,4,8,16,32,64$ $\text{ND}\left(x;0,\ 2^2\right)$

İkincisi , bu dağılımlar arasındaki form benzerliğinden dolayı, gama ile normal dağılımlar arasında ince havadan çekerek bir ilişki geliştirilebileceğine dikkat çekelim. Daha sonra, normal dağılıma ait "katlanmamış" bir gama dağılımı genellemesi geliştireceğiz.

Öncelikle, normal dağılımla daha doğrudan bir ilişkiyi engelleyen gama dağılımının yarı sonsuz desteği olduğuna dikkat edin. Ancak, yarı sonsuz bir desteğe sahip olan yarı normal dağılım dikkate alındığında, bu engel ortadan kaldırılabilir. Bu nedenle, normal dağılım (ND) ilk önce yarı normal (HND) olacak şekilde katlanarak genelleştirilebilir, bunun genelleştirilmiş gama dağılımına (GD) bağlı, daha sonra tur kuvvetimiz için her ikisini de “açıyoruz” (HND ve GD) bu nedenle genelleştirilmiş bir ND (GND) yapmak.

Genelleştirilmiş gama dağılımı

GD (x; α, β, γ, μ) = \begin{array}{cc} {\begin{cases} \frac{γ e^{- {(\frac{x - μ}{β})}^{γ}} {(\frac{x - μ}{β})}^{α γ - 1}}{β Γ (α)} & x > μ \\ 0 & other \end{cases} \end{array},

$\text{GD}\left(x;\alpha ,\beta ,\gamma ,\mu \right)=\begin{array}{cc} & \begin{cases} \dfrac{\gamma e^{-\left(\dfrac{x-\mu }{\beta }\right)^{\gamma }} \left(\dfrac{x-\mu }{\beta }\right)^{\alpha \gamma -1}}{\beta \,\Gamma (\alpha )} & x>\mu \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,,$

Yarı-normal dağılım olarak yeniden tamir edilebilir ,

GD (x; \frac{1}{2}, \frac{\sqrt{π}}{θ}, 2, 0) = \begin{array}{cc} {\begin{cases} \frac{2 θ e^{- \frac{θ^{2} x^{2}}{π}}}{π} & x > 0 \\ 0 & other \end{cases} \end{array} = HND (x; θ)

$\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)=\begin{array}{cc} & \begin{cases} \dfrac{2 \theta e^{-\dfrac{\theta ^2 x^2}{\pi }}}{\pi } & x>0 \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,\,\,=\text{HND}(x;\theta)$

olduğuna dikkat edinBöylece, $\theta=\frac{\sqrt{\pi}}{\sigma\sqrt{2}}.$

ND (x; 0, σ^{2}) = \frac{1}{2} HND (x; θ) + \frac{1}{2} HND (- x; θ) = \frac{1}{2} GD (x; \frac{1}{2}, \frac{\sqrt{π}}{θ}, 2, 0) + \frac{1}{2} GD (- x; \frac{1}{2}, \frac{\sqrt{π}}{θ}, 2, 0),

$\text{ND}\left(x;0,\sigma^2\right)=\frac{1}{2}\text{HND}(x;\theta)+\frac{1}{2}\text{HND}(-x;\theta)=\frac{1}{2}\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)\,,$

ki bunun anlamı

\begin{aligned} GND (x; μ, α, β) & = \frac{1}{2} GD (x; \frac{1}{β}, α, β, μ) + \frac{1}{2} GD (- x; \frac{1}{β}, α, β, μ) \\ = \frac{β e^{- {(\frac{| x - μ |}{α})}^{β}}}{2 α Γ (\frac{1}{β})} \end{aligned},

$\begin{align} \text{GND}(x;\mu,\alpha,\beta) &= \frac{1}{2}\text{GD}\left(x;\frac{1}{\beta},\alpha,\beta,\mu \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{\beta},\alpha,\beta,\mu \right)\\ &= \frac{\beta e^{-\left(\dfrac{\left|x-\mu\right|}{\alpha }\right)^{\mathrm{\Large{\beta}}}}}{2 \alpha \Gamma \left(\dfrac{1}{\beta }\right)}\\ \end{align} \,,$

normal dağılımın genellemesidir; burada , skala, ise şekildir ve normal dağılım gösterir. olduğunda Laplace dağılımını içerir . Şöyle , yoğunluk yakınsak üzerinde muntazam bir yoğunluğa nokta tabanlı . Aşağıda normal durumda mavi için çizilen genelleştirilmiş normal dağılım turuncu renkte. $\mu$ $\alpha>0$ $\beta>0$ $\beta=2$ $\beta=1$ $\beta\rightarrow\infty$ $(\mu-\alpha,\mu+\alpha)$ $\alpha =\frac{\sqrt{\pi} }{2}\,,\beta=1/2,1,4$ $\alpha =\frac{\sqrt{\pi} }{2},\,\beta=2$

Yukarıdakiler genelleştirilmiş normal dağıtım Versiyon 1 olarak görülebilir ve farklı parametrelerde üstel güç dağılımı ve sırayla diğer birkaç genelleştirilmiş normal dağıtımdan biri olan genelleştirilmiş hata dağılımı olarak bilinir .

— Carl
kaynak

Ki-kare dağılımının normal dağılımdan türetilmesi, gamma dağılımının üstel dağılımdan türetilmesine çok benzerdir.

Bunu genelleştirebilmeliyiz:

Eğer bir bağımsız değişkenler genel normal dağılım güç katsayısı daha sonra olan bazı ölçekli Chi-karesi dağılımı (ilgili olabilir "serbestlik derecesi" e eşit ). $X_i$ $m$ $Y = \sum_{i}^n {X_i}^m$ $n/m$

Analoji şöyledir:

Normal ve Ki-kare dağılımları karelerin toplamı ile ilgilidir.

Birden fazla bağımsız standart normal dağılım değişkeninin eklem yoğunluğu dağılımı, $\sum x_i^2$
$f(x_1, x_2, ... ,x_n) = \frac{\exp \left( {-0.5\sum_{i=1}^{n}{x_i}^2}\right)}{(2\pi)^{n/2}}$
Eğer $X_i \sim N(0,1)$

sonra $\sum_{i=1}^n {X_i}^2 \sim \chi^2(\nu)$

Üstel ve gama dağılımları normal toplamla ilgilidir

Birden fazla bağımsız üstel dağılım değişkeninin ortak yoğunluk dağılımı $\sum x_i$

$f(x_1, x_2, ... ,x_n) = \frac{\exp \left( -\lambda\sum_{i=1}^{n}{x_i} \right)}{\lambda^{-n}}$
Eğer $X_i \sim Exp(\lambda)$

sonra $\sum_{i=1}^n X_i \sim \text{Gamma}(n,\lambda)$

tüm tamamını değil yalnızca toplam terimin üzerine entegre değişkenlerin değiştirilmesiyle yapılabilir (bu, Pearson'un 1900'de yaptığı şeydir). Bu, her iki durumda da çok benzer bir şekilde ortaya çıkıyor. $x_1,x_2,...x_n$

İçin dağılımı: $\chi^2$

\begin{array}{rcl} f_{χ^{2} (n)} (s) d s & = & \frac{e^{- s / 2}}{{(2 π)}^{n / 2}} \frac{d V}{d s} d s \\ = & \frac{e^{- s / 2}}{{(2 π)}^{n / 2}} \frac{π^{n / 2}}{Γ (n / 2)} s^{n / 2 - 1} d s \\ = & \frac{1}{2^{n / 2} Γ (n / 2)} s^{n / 2 - 1} e^{- s / 2} d s \end{array}

$\begin{array}{rcl} f_{\chi^2(n)}(s) ds &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{dV}{ds} ds\\ &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{\pi^{n/2}}{\Gamma(n/2)}s^{n/2-1} ds \\ &=& \frac{1}{2^{n/2}\Gamma(n/2)}s^{n/2-1}e^{-s/2} ds \\ \end{array}$

Burada N-boyutlu bir n-top hacmi kare yarıçaplı . $V(s) = \frac{\pi^{n/2}}{\Gamma (n/2+1)}s^{n/2}$ $s$

Gama dağılımı için:

\begin{array}{rcl} f_{G (n, λ)} (s) d s & = & \frac{e^{- λ s}}{λ^{- n}} \frac{d V}{d s} d s \\ = & \frac{e^{- λ s}}{λ^{- n}} n \frac{s^{n - 1}}{n!} d s \\ = & \frac{λ^{n}}{Γ (n)} s^{n - 1} e^{- λ s} d s \end{array}

$\begin{array}{rcl} f_{G(n,\lambda)}(s) ds &=& \frac{e^{-\lambda s}}{\lambda^{-n}} \frac{dV}{ds} ds\\ &=& \frac{e^{-\lambda s}}{\lambda^{-n}} n \frac{s^{n-1}}{n!}ds \\ &=& \frac{\lambda^{n}}{ \Gamma(n)} s^{n-1} e^{-\lambda s} ds \\ \end{array}$

Burada , N-boyutlu bir n-politop hacmi . $V(s) = \frac{s^n}{n!}$ $\sum x_i < s$

Gama dağılımı bekleme süresi olarak görülebilir için toplamı olarak dağılmış bir Poisson işleminde inci halinde katlanarak dağıtılmış değişkenler. $Y$ $n$ $n$

Alecos Papadopoulos'un daha önce belirttiği gibi, kare normal değişkenlerin toplamını “bekleme süresi için iyi bir model” yapan daha derin bir bağlantı yoktur. Gama dağılımı, genelleştirilmiş normal dağılmış değişkenlerin toplamının dağılımıdır. İki bu şekilde bir araya geldi.

Ancak toplamın tipi ve değişkenlerin tipi farklı olabilir. Gama dağılımı, üstel dağılımdan (p = 1) elde edildiğinde, üstel dağılımın (bekleme süresi) yorumunu alırken, geriye doğru gidip bir kare Gauss değişkeninin toplamına geri dönemez ve aynı yorumu kullanamazsınız.

Bekleyen zaman için üssel olarak düşen yoğunluk dağılımı ve Gaussian bir hatanın yoğunluk dağılımı üssel olarak düşer (bir kare ile). İki bağlantıyı görmenin başka bir yolu da budur.

— Sextus Empiricus
kaynak