Ağır kuyruk, lognormal veya gama hangisidir?

(Bu bana sadece e-posta yoluyla gelen bir soruyu temel alır; aynı kişiyle daha önceki kısa bir görüşmeden bazı içerikler ekledim.)

Geçen sene, gama dağılımının lognormalden daha ağır kuyruklu olduğu söylenmişti ve o zamandan beri böyle olmadığı söylendi.

• Hangisi daha ağır kuyruklu?

• İlişkiyi keşfetmek için kullanabileceğim bazı kaynaklar nelerdir?

Bir dağılımın (sağ) kuyruğu davranışını büyük değerlerde tanımlar. Birçok pratik hallerde yok - - ziyade dağıtım fonksiyonu çalışmaya doğru nesne yoğunluğu değildir $F$ . Daha spesifik olarak, $F$ , x (Toplam Olasılık Yasası ile) büyük argümanları için asimptotik olarak yükselmesi gerektiğinden , bu asimptota ne kadar hızlı yaklaştığıyla ilgileniyoruz: hayatta kalma işlevinin davranışını araştırmamız gerekiyor 1 - F ( x ) olarak x → ∞ .$1$$x$ $1- F(x)$$x \to \infty$

$F$$X$$G$ $F$$G$$x_0$$x \gt x_0$

Bu şekildeki kırmızı eğri, Poisson dağılımı için hayatta kalma işlevidir . Mavi eğri, aynı varyansa sahip bir Gamma dağılımı içindir. Sonunda mavi eğri her zaman kırmızı eğriyi aşar ve bu Gamma dağılımının bu Poisson dağılımından daha ağır bir kuyruğu olduğunu gösterir. Poisson dağılımının yoğunluğu olmadığı için bu dağılımlar kolayca yoğunluk kullanılarak karşılaştırılamaz.( 3 $(3)$$(3)$

Bu doğru olduğunu zaman yoğunlukları ve var olur ve için sonra ağır kuyruklu olan . Bununla birlikte, konuşma yanlıştır - ve bu kuyruk ağırlığının tanımını yoğunluklar yerine hayatta kalma fonksiyonlarına dayandırmak için zorlayıcı bir nedendir, çoğu zaman kuyrukların analizi yoğunluklar kullanılarak daha kolay bir şekilde gerçekleştirilebilse bile.g f ( x ) > g ( x ) x > x 0 F $f$$g$$f(x) \gt g(x)$$x \gt x_0$$F$$G$

Karşı örnekler, yine de daha ağır kuyruklu olmayan pozitif sınırsız desteğin ayrık bir dağılımını alarak elde edilebilir ( hile yapması). Olasılığı kütlesinin değiştirilmesi ile sürekli bir dağılım halinde bu dönüş , destek noktalarının her birinde , yazılı (Say) ölçekli bir beta ile, , uygun bir aralığı üzerinde destek dağıtım ve ile ağırlıklandırılmıştır . Küçük bir pozitif sayı göz önüne alındığında seçimG G , H k h ( k ) ( 2 , 2 ) [ k - ε ( k ) , k + ε ( k ) $H$$G$$G$$H$$k$$h(k)$$(2,2)$$[k-\varepsilon(k), k+\varepsilon(k)]$δ , ε ( k ) f ( k ) / δ δ H + ( 1 - δ ) G G ′ G δ H f G ′ F $h(k)$$\delta,$$\varepsilon(k)$Bu ölçeklendirilmiş Beta dağılımının tepe yoğunluğunun değerini aşmasını sağlamak için yeterince küçük . Yapım gereği , karışımı , kuyruğu benzeyen sürekli bir dağılım (bir miktar ile eşit olarak küçük bir miktar daha ) ancak içinde çiviler vardır. desteğindeki yoğunluk ve tüm bu çiviler yoğunluğunu aştığı noktalara sahiptir . Böylece daha açıktır ancak kuyruğunda ne kadar ileri gidersek gidelim yoğunluğunun değerini geçtiği noktalar olacaktır .$f(k)/\delta$$\delta H + (1-\delta )G$$G^\prime$$G$$\delta$$H$$f$$G^\prime$$F$$F$

Kırmızı eğri, bir Gama dağılımının ( PDF'sidir, altın eğri, lognormal dağılımın ( PDF'sidir ve mavi eğri (sivri olan), karşı-örnekte olduğu gibi oluşturulan bir karışımının PDF'sidir. (. Bildirim logaritmik yoğunluk ekseni) hayatta kalma fonksiyonu (hızla çürüyen wiggles ile) Gama dağılımının buna yakındır: sonunda daha az büyüyecek onun PDF daima yukarıda doruğa çıkacağı bile, arasında ne kadar uzaklarda kuyrukları içine baktığımız.F G ′ G ′ F $G$$F$$G^\prime$$G^\prime$$F$$F$

Tartışma

Bu arada, bu analizi doğrudan lognormal ve Gamma dağılımlarının hayatta kalma fonksiyonları üzerinde yapabilir , asimptotik davranışlarını bulmak için etrafında genişletebilir ve tüm lognormallerin tüm Gammalardan daha ağır kuyruklara sahip olduğu sonucuna varabiliriz. Ancak, bu dağılımların "iyi" yoğunluklara sahip olması nedeniyle, analiz, yeterince büyük bir için lognormal yoğunluğun bir Gamma yoğunluğunu aştığını göstererek daha kolay bir şekilde gerçekleştirilir . Bununla birlikte, bu analitik rahatlığı ağır bir kuyruk anlamı ile karıştırmayın .$x=\infty$$x$

Benzer şekilde, daha yüksek anlar ve değişkenleri (çarpıklık ve kurtosis gibi) kuyruklar hakkında çok az şey söylese de, yeterli bilgi sağlamazlar. Basit bir örnek olarak, herhangi bir sayıdaki anın neredeyse hiç değişmeyeceği kadar büyük bir değerde herhangi bir lognormal dağılımı kesebiliriz - ancak böyle yaparak kuyruğunu tamamen kaldırdık, sınırsız olan herhangi bir dağıtımdan daha hafif kuyruklu hale getireceğiz destek (Gama gibi).

Bu matematiksel çarpıtmalara yapılan adil bir itiraz, kuyrukta şu ana kadar olan davranışın pratik bir uygulamaya sahip olmadığına işaret etmek olacaktır, çünkü hiç kimse herhangi bir dağıtım modelinin bu kadar aşırı (belki de fiziksel olarak erişilemez) değerlerde geçerli olacağına inanmayacaktır. Bununla birlikte, uygulamalarda , kuyruğun hangi kısmının önemli olduğunu tespit etmeye ve onu buna göre analiz etmeye özen göstermemiz gerektiğini göstermektedir . (Örneğin, taşkın tekrarı süreleri bu anlamda anlaşılabilir: 10 yıl sel, 100 yıl sel ve 1000 yıl sel, sel dağılımının kuyruğunun belirli bölümlerini karakterize eder.) Yine de, aynı ilkeler geçerlidir: Buradaki analizin temel amacı, yoğunluk değil dağılım fonksiyonudur.

Gama ve lognormal hem doğru eğridir, hem de sabit katsayılı değişkenlik dağılımları ve genellikle belirli fenomen türleri için "rakip" modellerin temelidir.$(0,\infty)$

Bir kuyruğun ağırlığını tanımlamanın çeşitli yolları vardır, ancak bu durumda tüm normal olanların lognormalin daha ağır olduğunu gösterdiğini düşünüyorum. (İlk kişinin hakkında konuştuğu şey uzak kuyrukta değil, modun biraz sağında olan şeydir (diyelim ki, aşağıdaki ilk arsadaki yüzde 75'inci civarında, lognormal'in 5'in altında olduğu ve sadece yukarıdaki gama 5.)

Bununla birlikte, soruyu başlamak için çok basit bir şekilde araştıralım.

Aşağıda ortalama 4 ve varyans 4 (üst arsa - gama koyu yeşil, lognormal mavidir) ve daha sonra yoğunluğun günlüğü (alt) olan gama ve lognormal yoğunluklar, ardından kuyruklardaki eğilimleri karşılaştırabilirsiniz:

En üstteki komploda çok fazla ayrıntı görmek zor, çünkü tüm eylem 10'un sağında. Ancak, garajın lognormalden çok daha hızlı bir şekilde aşağı indiği ikinci komploda oldukça açık.

İlişkiyi araştırmak için başka bir yol cevap olarak, günlükleri yoğunluğu bakmaktır burada ; lognormal için logların yoğunluğunun simetrik olduğunu (normal!) ve sağda hafif bir kuyruk ile gama için sola eğik olduğunu görüyoruz.

Yoğunluk oranına (veya oranın günlüğü) olarak cebirsel olarak yapabiliriz . Let gamma yoğunluğu ve olmak lognormal:g $x\rightarrow\infty$$g$$f$

[] İçindeki terim da ikinci dereceden bir terimdir, geri kalan terim ise cinsinden doğrusal olarak azalmaktadır . Ne olursa olsun, bu sonuçta , parametre değerlerinin ne olduğuna bakılmaksızın ikinci dereceden artışlardan daha hızlı düşecektir . sınırında , yoğunluk oranının günlüğü doğru azalmaktadır ; bu, gamma pdf'nin sonunda lognormal pdf'den çok daha küçük olduğu ve nispeten azalmaya devam ettiği anlamına gelir. Oranı diğer yoldan alırsanız (üstte lognormal varken), sonunda herhangi bir sınırın ötesine geçmelidir.$\log(x)$$x$$-x/\beta$$x\rightarrow\infty$$-\infty$

Olduğunu, herhangi bir lognormal sonunda daha ağır kuyruklu edilir herhangi gamma.

Ağırlığın diğer tanımları:

Bazı insanlar sağ kuyruğun ağırlığını ölçmek için eğiklik veya kurtosis ile ilgilenmektedir. Varyasyon belirli bir katsayı olarak, lognormal hem daha fazla asimetri ve daha yüksek basıklığını sahip gamma . **

Örneğin, çarpıklıkla , gama, 2CV'lik bir çarpıklığa sahipken, lognormal 3CV + CV .$^3$

Yazıların burada ne kadar ağır olduğuna dair çeşitli önlemlerin bazı teknik tanımları vardır . Bu iki dağıtımdan bazılarını denemek isteyebilirsiniz. Lognormal ilk tanımda ilginç bir özel durumdur - tüm anları var, ancak MGF değeri 0'ın üzerinde birleşmediğinde, Gamma için MGF sıfır civarında bir mahallede birleşiyor.

-

** Nick Cox'un da belirttiği gibi, gamma için yaklaşık normalliğe normal dönüşüm, Wilson-Hilferty dönüşümü, kütükten daha zayıftır - bir küp kök dönüşümüdür. Shape parametresinin küçük değerlerinde, dördüncü kökten bahsedildiği, bunun yerine bu cevaptaki tartışmaya bakınız , ancak her iki durumda da normale yakınlığa ulaşmak için daha zayıf bir dönüşüm söz konusudur.

Eğikliğin (veya kurtosisin) karşılaştırılması, aşırı kuyrukta gerekli herhangi bir ilişkiyi önermez - bunun yerine bize ortalama davranış hakkında bir şeyler söyler; ancak orijinal nokta aşırı kuyruktan yapılmıyorsa, bu nedenle daha iyi sonuç verebilir.

Kaynaklar : R veya Minitab veya Matlab veya Excel gibi programları veya yoğunlukları ve günlük yoğunluklarını ve yoğunluk oranlarının günlüklerini çizmek için ne istersen kullanmak çok kolaydır. Başlamanızı önerdiğim şey bu.

Kurtozis kuyrukların ağırlığına bağlı olmasına rağmen , aşağıdaki örnekte gösterildiği gibi yağ kuyruklu dağılımları kavramına daha fazla ve kuyruk ağırlığının kendisine nispeten daha az katkıda bulunacaktır . Burada, gerçekten mükemmel yorumlar olan yukarıdaki ve alt yazılarda öğrendiklerimi yetersiz bırakıyorum. İlk olarak, bir sağ kuyruk alanı x için alan a yoğunluk fonksiyonu, AKA hayatta kalma işlevi, . Lognormal dağılım için ve gama dağılımı$\infty$$f(x)$$1-F(t)$$\frac{e^{-\frac{(\log (x)-\mu )^2}{2 \sigma ^2}}}{\sqrt{2 \pi } \sigma x};x\geq 0$$\frac{\beta ^{\alpha } x^{\alpha -1} e^{-\beta x}}{\Gamma (\alpha )};x\geq 0$, ilgili hayatta kalma işlevlerini karşılaştıralım ve grafik olarak. Bunu yapmak için kendi varyanslarını keyfi bir şekilde ayarladım. ve , hem de kendi fazla kurtosları ve seçeneğini belirleyerek eşittir ve . Bu gösterir ki$\frac{1}{2} \text{erfc}\left(\frac{ \log (x)-\mu}{\sqrt{2} \sigma}\right)$$Q(\alpha ,\beta x)=\frac{\Gamma (\alpha , \beta x)}{\Gamma (\alpha )}$$\left(e^{\sigma ^2}-1\right) e^{2 \mu +\sigma ^2}$$\frac{\alpha }{\beta ^2}$$3 e^{2 \sigma ^2}+2 e^{3 \sigma ^2}+e^{4 \sigma ^2}-6$$\frac{6}{\alpha }$$\mu =0, \sigma =0.8$$\alpha \to 0.19128,\beta \to 0.335421$

mavi renkte lognormal dağılım (LND) ve turuncu renkte gamma dağılımı (GD) için hayatta kalma fonksiyonu. Bu bizi ilk uyarımıza getiriyor. Diğer bir deyişle, eğer bu komplo incelememiz gereken tek şeyse, GD kuyruğunun LND'den daha ağır olduğu sonucuna varabiliriz. Bu durum böyle değil, arsanın x ekseni değerlerini uzatarak gösterilir, böylece

Bu çizim, 1) eşit kurtozlarda bile, LND ve GD'nin doğru kuyruk bölgelerinin farklı olabileceğini göstermektedir. 2) Bu grafik yorumlamanın tek başına tehlikeleri vardır, çünkü sadece sınırlı bir aralıktaki sabit parametre değerleri için sonuçları gösterebilir. Bu nedenle, sınırlayıcı hayatta kalma fonksiyon oranı için genel ifadelerin bulunmasına ihtiyaç vardır. . Bunu sonsuz seri açılımlarla yapamadım. Bununla birlikte, bunu benzersiz işlevler olmayan ve sağ el kuyrukları için terminal olmayan ya da asimptotik işlevlerin , ve için yeterlidir$\lim_{x\to \infty } \, \frac{S(\text{LND},x)}{S(\text{GD},x)}$$\lim_{x\to \infty } \, \frac{F(x)}{G(x)}=1$$F(x)$$G(x)$karşılıklı asimptotik olmak. Bu fonksiyonları bulmak için gereken özen gösterildiğinde, bu, sağkalım fonksiyonlarının kendisinden daha basit bir fonksiyon alt grubunu belirleme potansiyeline sahiptir, örneğin birden fazla yoğunluk fonksiyonu ile paylaşılabilir veya ortak olarak tutulabilir, örneğin iki farklı yoğunluk fonksiyonu, sınırlayıcı bir üstel kuyruk. Bu yazının önceki versiyonunda, "hayatta kalma fonksiyonlarını karşılaştırmanın karmaşıklığı" olarak adlandırdığım şey buydu. Unutmayın, ve (Kasten ve mutlaka ve$\lim_{u\to \infty } \, \frac{\text{erfc}(u)}{\frac{e^{-u^2}}{\sqrt{\pi } u}}=1$$\lim_{u\to \infty } \, \frac{\Gamma (\alpha ,u)}{e^{-u} u^{\alpha -1}}=1$$\text{erfc}(u)<\frac{e^{-u^2}}{\sqrt{\pi } u}$$\Gamma (\alpha ,u )<e^{-u} u^{\alpha -1}$ . Yani, bir üst sınır, sadece bir asimptotik fonksiyon seçmek gerekli değildir). Burada ve burada sağ el terimlerinin oranı aynı limite sahiptir soldaki terimler gibi. Sağ el terimlerinin sınırlayıcı oranını basitleştirmek$\frac{1}{2} \text{erfc}\left(\frac{\log (x)-\mu }{\sqrt{2} \sigma }\right)<\frac{e^{-\left(\frac{\log (x)-\mu }{\sqrt{2} \sigma }\right)^2}}{\frac{2 \left(\sqrt{\pi } (\log (x)-\mu )\right)}{\sqrt{2} \sigma }}$$\frac{\Gamma (\alpha ,\beta x)}{\Gamma (\alpha )}<\frac{e^{-\text{$\beta $x}} (\beta x)^{\alpha -1}}{\Gamma (\alpha )}$$x\to \infty$$\lim_{x\to \infty } \, \frac{\sigma \Gamma (\alpha ) (\beta x)^{1-\alpha } e^{\beta x-\frac{(\mu -\log (x))^2}{2 \sigma ^2}}}{\sqrt{2 \pi } (\log (x)-\mu )}=\infty$ , x için yeterince büyük, LND kuyruk alanının GD kuyruk alanı ile karşılaştırıldığında, parametre değerlerinin ne olduğuna bakılmaksızın, bizim istediğimiz kadar büyük. Bu da başka bir sorunu ortaya çıkarır, her zaman tüm parametre değerleri için doğru olan çözümlere sahip değiliz, bu nedenle, sadece grafik çizimleri kullanmak yanıltıcı olabilir. Örneğin, gama dağılımı sağ kuyruk alanı, olduğunda, üstel dağılımın kuyruk alanından daha büyük, olduğunda üstelden daha az ve GD, olduğunda tam olarak üstel bir dağılımdır .$\alpha < 1$$\alpha >1$$\alpha =1$

Öyleyse, hayatta kalma fonksiyonlarının oranının logaritmalarını almanın kullanımı nedir, çünkü açıkça sınırlayıcı bir oran bulmak için logaritma almamıza gerek yoktur. Pek çok dağıtım işlevi, logaritma alındığında daha basit görünen üstel terimler içerir ve eğer oran x arttıkça limitte sonsuzluğa giderse, logaritma da bunu yapar. Bizim durumumuzda bu, , ki bazı insanlar bakmak için daha kolay bulurlardı. Son olarak, eğer hayatta kalma fonksiyonlarının oranı sıfıra giderse, o zaman bu oranın logaritması-$\lim_{x\to \infty } \, \left(\log \left(\frac{\sigma \Gamma (\alpha ) (\beta x)^{1-\alpha }}{\sqrt{2 \pi } (\log (x)-\mu )}\right)+\beta x-\frac{(\mu -\log (x))^2}{2 \sigma ^2}\right)=\infty$$-\infty$ve her durumda, bir oranın logaritmasının sınırını bulduktan sonra, hayatta kalma fonksiyonunun normal oranının sınırlayıcı değeri ile olan ilişkisini anlamak için bu değerin antilogaritmasını almak zorundayız.