Bazı dağıtımların anlamını tanımsız kılan şey nedir?

21

Birçok PDF eksi'den pozitif sonsuzluğa kadar değişmektedir, ancak bazı araçlar tanımlanmıştır, bazıları değildir. Hangi ortak özellik bazılarını hesaplanabilir kılıyor?

distributions mean

— Kevin Nowaczyk
kaynak

14

Yakınsak integraller.

— Sycorax, Reinstate Monica

1

Bu dağılımlar matematiksel soyutlamalar. İntegral yakınsak değilse, ortalama tanımlanmadı. Ancak, aşağıdaki cevaplarda bahsedilmeyen şey, eksi artı artı sonsuzluk içeren PDF'lerin gerçek veri kaynaklarını modelleyemediğidir. Gerçek hayatta bu tür verileri üretmek için böyle bir fiziksel süreç yoktur. Bence tüm gerçek veri kaynakları sınırlandırılacak ve ortalamayı tahmin edebileceksiniz.

— Cagdas Ozgenc

3

@Cagdas Bu açıklama doğru görünmüyor. Çok fazla kuyruklu işlem var. Farklı beklentileri, uzun vadeli ortalamalarda aşırı değişkenlik olarak kendini gösterir. Örneğin, bir Cauchy modelinin inandırıcı bir uygulaması için, Douglas Zare'nin stats.stackexchange.com/a/36037/919 adresindeki gönderisine bakın .

— whuber

2

@CagdasOzgenc: Bu mantığın ne kadar yanlış olduğunu görmek için Talebi Kara Kuğu'yla okumalısınız. Sezgisel olarak tanımlanmamış bir ortalama veya sonsuz bir ortalama ile mükemmel bir dağıtım oluşturan bir süreç bulunmasa da, insanların kuyrukların dağılımlarının ne kadar şişman olduğunu hafife aldıkları ve araçları hesaplamaya devam ettikleri bir sürü örnek vardır. Bu tamamen farklı ve genellikle sağa eğik demek. Bu tür uygunsuz mantık yürütme, finansta, riskin birçok büyüklük derecesine göre hafife alındığı birçok risk değerlendirme açığına yol açmıştır.

— Alex R.

1

@Cagdas Ozgenc: En argüman yanlış bkz olmasının bir tartışma için stats.stackexchange.com/questions/94402/...

— Halvorsen Kjetil b

23

Bir dağılımın anlamı bir integral olarak tanımlanır (bunu sürekli bir dağıtım için yazacağım - bir Riemann integrali olarak söyleyeceğim - ama sorun daha genel olarak geçerlidir; Stieltjes veya Lebesgue entegrasyonuna devam edebiliriz. bunlar düzgün ve hepsi bir kerede:

E (X) = \int_{- \infty}^{\infty} x f (x) d x

$E(X) = \int_{-\infty}^\infty x f(x)\, dx$

Ama bu ne anlama geliyor? Bu etkili bir kestirme

\overset{lim}{_{bir \to \infty, b \to \infty}} \int_{- bir}^{b} x f (x) d x

$\stackrel{\lim}{_{a\to\infty,b\to\infty}} \int_{-a}^b x\, f(x)\, dx$

veya

\overset{lim}{_{bir \to \infty}} \int_{- bir}^{0} x f (x) d x + \overset{lim}{_{b \to \infty}} \int_{0}^{b} x f (x) d x

$\stackrel{\lim}{_{a\to\infty}} \int_{-a}^0 x f(x)\, dx \, +\, \stackrel{\lim}{_{b\to\infty}} \int_{0}^b x f(x)\, dx$

(0'da değil, her yerde kırabilseniz bile)

Sorun, bu integrallerin limitleri sınırlı olmadığında ortaya çıkar.

Bu nedenle, örneğin, ile orantılı olan standart Cauchy yoğunluğunu göz önünde bulundurun ... $\frac{1}{1+x^2}$

\overset{lim}{_{b \to \infty}} \int_{0}^{b} \frac{x}{1 + x^{2}} d x

$\stackrel{\lim}{_{b\to\infty}} \int_{0}^b \frac{x}{1+x^2}\, dx$

let yüzden $u=1+x^2$ $du=2x\,dx$

= \overset{lim}{_{b \to \infty}} \frac{1}{2} \int_{1}^{1 + b^{2}} \frac{1}{u} d u

$=\,\stackrel{\lim}{_{b\to\infty}}\frac12 \int_{1}^{1+b^2} \frac{1}{u}\, du$

= \overset{lim}{_{b \to \infty}} \frac{_{1}}{^{2}} \ln (u) |_{1}^{1 + b^{2}}

$=\,\stackrel{\lim}{_{b\to\infty}} \frac{_1}{^2}\ln(u)\Bigg |_{1}^{1+b^2}$

= \overset{lim}{_{b \to \infty}} \frac{_{1}}{^{2}} \ln (1 + b^{2})

$=\,\stackrel{\lim}{_{b\to\infty}} \frac{_1}{^2}\ln(1+b^2)$

bu sonlu değil. Alt yarıda sınır da sonlu değildir; beklenti böylece tanımsızdır.

Ya da rastgele değişkenimiz olarak standart bir Cauchy'nin mutlak değerine sahip olsaydık, beklentisinin tamamı henüz baktığımız sınırla orantılı olurdu (yani ). $\stackrel{\lim}{_{b\to\infty}} \frac12\ln(1+b^2)$

Öte yandan, bazı diğer yoğunluklar “sonsuzluğa” devam ediyor, ancak integrallerinin bir sınırı var.

— Glen_b -Reinstate Monica
kaynak

1

(Tabii ki) de benzer kesikli olasılık dağılımlarında aynı şeyi görebilirsiniz. oluşma ihtimalinin tamsayısı için ile orantılı olduğu bir dağılıma girin . Olasılıkların toplamı sonludur (sınır 1 olması gerektiğinden beri olduğu gibi: gerçekte veya ne olursa olsun olmalıdır), ancak , ortalamanın hiçbir anlamı olmadığını saptar. Oysa orantılı bir olasılık seçersek, o zaman ortalama toplamını içerir ve biz iyiyiz, bu bir araya gelmesi için "yeterince küçük" olur.

n

$n$

n > 0

$n>0$

\frac{1}{n^{2}}

$\frac{1}{n^2}$

\frac{6}{π^{2}}

$\frac{6}{\pi^2}$

\frac{1}{n}

$\frac{1}{n}$

\frac{1}{n^{3}}

$\frac{1}{n^3}$

\frac{1}{n^{2}}

$\frac{1}{n^2}$

— Steve Jessop

1

Evet, bunun için ölçeklendirme sabitidir (bunu 1'e getirmek için).

\frac{6}{π^{2}}

$\frac{6}{\pi^2}$

— Glen_b -Reinstate Monica

8

Diğer cevaplar iyidir, ancak herkesi, özellikle de bir Cauchy dağılımına ( ) olan ve ortalamanın sıfır olması gerektiğinin sezgisel olarak açık olduğunu söyleyenleri ikna etmeyebilir . $x_0 = 0$

Sezgisel cevabın matematiksel bakış açısıyla doğru olmama nedeni Riemann yeniden düzenleme teoreminden (video) kaynaklanmaktadır .

Bir Cauchy'ye bakarken ve "sıfır olması gerektiği" anlamına geldiğinde, "merkez" i sıfıra bölmek ve sonra iki büyüklük dengesinin anlarını iddia etmek demek oluyor. Başka bir deyişle, tam olarak pozitif terimlerin "yarısı" (sağdaki her noktadaki anlar) ve negatif terimlerin (soldaki her noktadaki anlar) "yarısı" ile sınırsız bir toplam yapıyor ve iddia ediyorsunuz. sıfıra geliyor. (Teknik olarak : ) $\int_{0}^\infty f(x_0+r)r\, dr - \int_{0}^{\infty} f(x_0-r)r\, dr = 0$

Riemann yeniden düzenleme teoremi, bu tür sonsuz toplamın (hem pozitif hem de negatif terimler içeren) yalnızca iki dizi (yalnızca pozitif terimler ve yalnızca negatif terimler) bağımsız olarak alındıklarında birbirine yakın olması durumunda tutarlı olduğunu söyler. Her iki taraf da (pozitif ve negatif) kendi başlarına ıraksaksa, terimlerin herhangi bir sayıya tekabül etmesini sağlayacak şekilde bir toplama sırası ile gelebilirsiniz . (Yukarıdaki video, 6: 50'den başlar)

Yani, evet, toplamı 0'dan itibaren dengeli bir şekilde yaparsanız, Cauchy dağılımındaki ilk anlar iptal olur. Ancak, ortalamanın (standart) tanımı bu toplama sırasını zorlamaz. Anları herhangi bir sırayla toplayabilmeli ve eşit olarak geçerli olmasını sağlamalısınız. Bu nedenle, Cauchy dağılımının ortalaması belirsizdir - anları nasıl toplayacağınızı ustaca seçerek, onları pratikte herhangi bir noktada "dengeleyebilir" (ya da değil) yapabilirsiniz.

Bu nedenle tanımlanmış bir dağılımın ortalamasını yapmak için, iki momentli integrallerin önerilen ortalamanın etrafında bağımsız bir şekilde yakınsak (sonlu) olması gerekir (ki, matematiği yaptığınız zaman, gerçekten tam integral olduğunu söylemenin başka bir yoludur ( ) yakınsak olması gerekir). Kuyrukları bir taraf için anı geçirmek için yeterince "yağ" ise, bitirdiniz. Diğer tarafta sonsuz bir anla dengeleyemezsiniz. $\int_{-\infty}^\infty f(x)x\, dx$

Cauchy dağılımı gibi şeylerin "karşı sezgisel" davranışının tamamen sonsuzluğu düşünürken yaşanan sorunlardan kaynaklandığından bahsetmeliyim. Cauchy dağıtımını yapın ve kuyrukları kesin - hatta xkcd sayısını artı / eksi gibi keyfi bir şekilde uzaklaştırabilirsiniz - ve (bir kez yeniden normalleştirilir) aniden iyi davranan ve tanımlanmış bir ortalamaya sahip bir şey elde edersiniz. Sorun olan kendi başlarına yağ kuyrukları değil, siz bu sonsuzluğa yaklaşırken bu kuyrukların nasıl davrandığıdır.

— RM
kaynak

Güzel. Diyelim ki, ikisine yol açan açık bir "toplama düzeni" vermenin mümkün olup olmadığını merak ediyorum.

— Matthew Drury

@MatthewDrury: p_i ve n_i, pozitif ve negatif sayıları belirtir. Ardından p_i ve n_i'yi bulun, böylece [n_i, p_i] üzerindeki integral 2+ (1 / i) ve [n_ {i + 1}, p_i] üzerindeki integral 2- (1 / i) olur. Bir kişi bunu açıkça R, matlab veya mathematica kullanarak yapabilir, ancak yalnızca sınırlı sayıda terim için yapabilir.

— David Epstein

7

General Abrial ve Glen_b mükemmel cevaplar aldı. Sadece Cauchy dağılımının var olmadığını / yakınlaşmadığını göstermek için küçük bir demo eklemek istiyorum.

Bir sonraki denemede, büyük bir örnek alsanız ve deneysel ortalamaları örneklemden hesapladığınızda bile, sayılar deneyden deneye oldukça farklıdır.

set.seed(0)
par(mfrow=c(1,2))
experiments=rep(1e5,100)
mean_list_cauchy=sapply(experiments, function(n) mean(rcauchy(n)))
mean_list_normal=sapply(experiments, function(n) mean(rnorm(n)))
plot(mean_list_cauchy,ylim=c(-10,10))
plot(mean_list_normal,ylim=c(-10,10))

denememiz olduğunu gözlemleyebiliyorsunuz ve her deneyde, iki dağılımdan örnek alıyoruz , böylesi büyük bir örneklem büyüklüğü ile, farklı deneyler boyunca ampirik ortalama gerçek ortalamaya oldukça yakın olmalıdır. Sonuçlar Cauchy dağılımının yakınsak bir ortalamaya sahip olmadığını, ancak normal dağılımın olduğunu göstermektedir. $100$ $1\times 10^5$

DÜZENLE:

Sohbette @ mark999'da belirtildiği gibi, deneyde kullanılan iki dağılımın benzer "varyans" olduğunu iddia etmeliyiz (alıntı kullanmamın nedeni Cauchy dağılım varyansının da tanımsız olmasıdır). İşte gerekçe: PDF'leri benzer.

Cauchy dağılımının PDF'sine bakarak, bunun olacağını tahmin edeceğimizi , ancak görebildiğimiz deneylerden, bunun olmadığını unutmayın. Bu demosunun noktası budur. $0$

curve(dnorm, -8,8)
curve(dcauchy, -8,8)

— Haitao Du
kaynak

4

Bunun Cauchy dağılımının bir anlamı olmadığını gösterdiğini sanmıyorum. Cauchy dağılımını normal dağılımla, uygun şekilde büyük bir varyansa değiştirirseniz benzer sonuçlar elde edebilirsiniz.

— mark999

iyi nokta @ mark999, bu sorunu çözmek için cevabımı düzenleyeceğim.

— Haitao Du

Cauchy dağılımının PDF'sinden hiçbir anlamı olmadığını, muhtemelen yağlı kuyruklarına bakarak bulmak mümkün müdür?

— ks1322

Belki aklında böyle bir şey vardı? stats.stackexchange.com/questions/90531/…

— Sycorax,

2

Lebesgue-Stieltjes integralinin tanımı gereği, eğer ortalama:

\int | x | d F (x) < \infty .

$\int \vert x\vert dF(x)<\infty.$

https://en.wikipedia.org/wiki/Moment_(mathematics)#Significance_of_the_moments

https://en.wikipedia.org/wiki/Lebesgue_integration

— Batı
kaynak

2

Cauchy dağılımı, çok basit bir dağılımın gizlenmiş şeklidir, yani bir çember üzerindeki düzgün dağılımdır. Formüllerde, sonsuz olasılık , burada açı koordinatıdır. Bir yay olasılığı (veya ölçü) olup . Bu, dağılımından farklı olsa da, ölçüler gerçekten içermeyen yaylar için aynıdır . Örneğin, saat yönünün tersine arasındaki yayda , dairedeki dağılımın ortalaması $d\theta/2\pi$ $\theta$ $A\subset \mathbb S^1$ $\mathtt{length}(A)/2\pi$ $U(-\pi,\pi)$ $\pi$ $\pi-\varepsilon$ $-\pi+\varepsilon\ (=\pi+\varepsilon \mod 2\pi)$ $\pi$ . Ancak , her biri uzunluğundaki iki birleşme aralığının ilgili birleşimi üzerindeki dağılımının ortalaması sıfırdır. $U(-\pi,\pi)$ $\varepsilon/2\pi$

Çember üzerindeki dağılım dönme simetrik olduğundan, daire üzerinde ortalama, medyan veya kip olamaz. Benzer şekilde, varyans gibi yüksek anlar anlam ifade etmemektedir. Bu dağılım, birçok bağlamda doğal olarak ortaya çıkar. Örneğin, şu andaki projem kanserli dokunun mikroskop görüntülerini içeriyor. Görüntüdeki çok sayıda nesne simetrik değildir ve her birine bir "yön" atanabilir. Açık boş hipotezi, bu yönlerin düzgün dağıldığı şeklindedir.

Sadeliği gizlemek için, standart birim çemberi olsun ve . Bu tanımlar bir fonksiyonu olarak gelen çemberin stereographical projeksiyonu ile üzerine -Axis. Formül, . Farklılaşırken, bulduk . Sınırsız olasılık, bu nedenle , Cauchy dağılımının olağan şeklidir ve "Hey, presto!", Basitlik, incelikler tarafından tedavi gerektiren bir baş ağrısı olur. entegrasyon teorisi. $\mathbb S^1$ $p=(0,1)\in\mathbb S^1$ $x$ $\theta$ $p$ $x$ $x=\tan(\theta/2)$ $d\theta/2 = dx/(1+x^2)$ $\frac{d\theta}{\pi(1+x^2)}$

Gelen biz yokluğu göz ardı edilebilir (diğer bir deyişle, yeniden aktifleştirme içinde gibi ortalama ya da daha yüksek dereceli an olarak herhangi bir dikkate için, çünkü olasılığı) ve (kendi ölçü) sıfırdır. Bu nedenle, ortalama ve daha yüksek anların olmayışı gerçek çizgiye taşınır. Bununla birlikte, özel bir noktası, yani artık eşleştiren, altında stereografik çıkıntı ve bu Cauchy dağılımının orta ve modunu olur. $\mathbb S^1 \setminus \{p\}$ $p$ $p\in\mathbb S^1$ $p$ $-p = (0,-1)$ $0\in\mathbb R$

— David Epstein
kaynak

2

Cauchy dağılımı medyan ve moda sahiptir.

— jkabrg

oldukça doğru. Biraz taşınıyorum. Ama ortalamanın yokluğunun argümanı doğrudur. Cevabımı düzenleyeceğim.

— David Epstein,

Neden “bir daire olamaz çünkü çemberde bir tane yoktur”? Argümanında çok şey var. "Çember üzerindeki" tekdüze dağılım olarak neyi kastettiğinizi farz ediyorum ki, ve , ama sonra yani neden bahsettiğinizi anlamıyorum.

θ \sim U (- π, π)

$\theta \sim U(-\pi,\pi)$

X = \tan (θ / 2)

$X = \tan(\theta/2)$

E [θ] = 0

$\mathbb E[\theta] = 0$

— jkabrg

@jkabrg: Umarım yeni düzenlemeler bunu daha anlaşılır hale getirir

— David Epstein