Dağılımda yakınsama ve olasılıkta yakınsamaların sezgisel açıklaması

Olasılıkta birleşen bir rassal değişken ile dağılımda birleşen bir rastgele değişken arasındaki sezgisel fark nedir ?

Çok sayıda tanım ve matematiksel denklem okudum, ancak bu gerçekten yardımcı olmuyor. (Lütfen aklınızda bulundurun, ekonometri okuyan bir lisans öğrencisiyim.)

Rasgele bir değişken nasıl tek bir sayıya, aynı zamanda bir dağılıma nasıl yakınlaşabilir?

Rasgele bir sayı sabite nasıl yakınlaşır?

Diyelim ki kutuda top var . Bunları birer birer seçebilirsiniz. Siz topları seçtikten sonra size şunu soruyorum: Kutuda topların ortalama ağırlığı nedir? En iyi cevabınız . rastgele değer olduğunun farkında ? Bu hangi bağlıdır öncelikle aldı topları.N k ˉ x k = $N$$k$k ∑ k i = 1 xi ˉ x k$\bar x_k=\frac{1}{k}\sum_{i=1}^kx_i$$\bar x_k$$k$

Şimdi, topları çekmeye devam ederseniz, bir noktada kutuda hiç top kalmaz ve .$\bar x_N\equiv\mu$

Yani, sahip olduğumuz rastgele sıra; sabitine yaklaşır. . Dolayısıyla, sorununuzu olasılıkta yakınsama ile anlamanın anahtarı , belli bir şekilde inşa edilen bir dizi rastgele değişkenden bahsettiğimizin farkına varmaktır .ˉ x 1,…, ˉ x k,…, ˉ x N, ˉ x N, ˉ x N,… ˉ x N=

Sonra, ve rasgele sayıların olduğu sayılarını . rasgele dizisine burada . tüm terimler rastgele değerlerdir çünkü rastgele bir değerdir. Ne olacağını ne olacağını tahmin . Ancak, olasılık dağılımlarının standart normal gibi daha fazla görüneceğini iddia edebileceğimiz ortaya çıktı . Dağılımlar böyle birleşiyor.e 1 , e 2 , … e i ∈ [ 0 , 1 ] ξ 1 , ξ 2 , … ξ k = $e_1,e_2,\dots$$e_i\in [0,1]$$\xi_1,\xi_2,\dots$√k12 ∑ki=1(ei-12 )ξkξkξkN(0,1$\xi_k=\frac{1}{\sqrt{\frac{k}{12}}}\sum_{i=1}^k \left(e_i- \frac{1}{2} \right)$$\xi_k$$\xi_k$$\xi_k$$\mathcal{N}(0,1)$

Bu sorunun bir okuyucusunun rastgele değişkenlerden bağımsız olarak bir şeyin yakınsaması hakkında ne kadar sezgisi olabileceği açık değil, bu yüzden cevabı "çok az" gibi yazacağım. Yardımcı olabilecek bir şey: " rastgele bir değişkenin nasıl birleşebileceğini" düşünmektense, bir rastgele değişken dizisinin nasıl birleşebileceğini sorun. Başka bir deyişle, bu sadece tek bir değişken değil, (sonsuz uzun!) Değişkenlerin bir listesidir ve listedekiler daha sonra bir şeye yaklaşırlar. Belki tek bir numara, belki bütün bir dağıtım. Bir sezgi geliştirmek için, "daha yakın ve daha yakın" ın ne anlama geldiğini bulmamız gerekiyor. Rastgele değişkenler için bu kadar yakınsama modu olmasının nedeni , birkaç çeşit "olmasıdır.

İlk olarak, gerçek sayıların dizilerinin yakınsaklığını özetleyelim. In kullanabileceğimiz Öklit mesafesi ne kadar yakın olduğunu ölçmek için . Bir düşünün . Ardından başlar ve yaklaştığını iddia ediyorum . Açıkça oluyor yakın için , ama o kadar da doğru yaklaşırkenR | x - y | x y x n = n + $\mathbb{R}$ $|x-y|$$x$$y$n =1+1n x1$x_n = \frac{n+1}{n} = 1 + \frac{1}{n}$x 2 ,x 3 , … 2 , $x_1, \, x_2, \, x_3, \dots$2 ,43 ,54 ,65 ,…xn1xn1xn0.90.50.910.90.050.9x20=1.050.0510.05$2, \frac{3}{2}, \frac{4}{3}, \frac{5}{4}, \frac{6}{5}, \dots$$x_n$$1$$x_n$$1$$x_n$$0.9$. Örneğin, üçüncü terimden itibaren, dizideki terimler , veya daha az bir mesafedir . Asıl mesele, keyfi olarak yaklaşmaları , ancak yaklaşmamaları . Dizideki hiçbir terim hiç arasında gelmez , bir sonraki terimler için bu kadar yakın kalsın. Karşıtlığı böyledir den ve daha sonraki tüm terimler içindedir arasında Aşağıda gösterildiği gibi,.$0.5$$0.9$$1$$0.9$$0.05$$0.9$$x_{20}=1.05$$0.05$$1$$0.05$$1$

Daha katı olabilirim ve talep terimleri içinde kalır ve kalır ve bu örnekte bunun ve sonrası terimler için doğru olduğunu bulurum . Üstelik ben seçebilirsiniz herhangi yakınlık sabit eşiği , nasıl sıkı olursa olsun (hariç , yani terim aslında varlık ) ve sonunda durum sembolik belirli bir dönem (ötesinde tüm terimler için memnun olacak: için değeri, kadar katı değeri bağlıdır0.001 1 N = 1000 s s = 0 1 | x n - x | < ϵ n > N N ϵ x n = 1 + sin ( n $0.001$$1$$N=1000$$\epsilon$$\epsilon = 0$$1$$|x_n - x| \lt \epsilon$$n \gt N$$N$$\epsilon$Seçtim). Daha sofistike örnekler için, şartın yerine getirilmesiyle ilk kez ilgilenmek zorunda olmadığımı unutmayın - bir sonraki terim koşula uymayabilir ve bu, sekans boyunca bir terim bulabildiğim sürece sorun değil. koşul yerine getirilir ve sonraki tüm terimler için geçerli kalır . Bunu, , aynı zamanda de yaklaşıyor , tekrar gölgeli.n 1ϵ=$x_n = 1 + \frac{\sin(n)}{n}$$1$$\epsilon=0.05$

Şimdi ve rastgele değişkenlerin sırasını düşünün . Bu, , , ve benzeri bir RVs dizisidir . Bunun hangi anlamda kendisine yaklaştığını söyleyebiliriz ?X ~ U ( 0 , 1 ) X, N = ( 1 + $X \sim U(0,1)$n )XX1=2XX2=$X_n = \left(1 + \frac{1}{n}\right) X$$X_1 = 2X$2 XX3=$X_2 = \frac{3}{2} X$3 X$X_3 = \frac{4}{3} X$$X$

Yana ve dağılımları, sadece tek sayılar değil, koşul vardır şimdi bir olay : sabit bir ve için bile bu olabilir veya olmayabilir . Onun karşılanma olasılığını göz önünde bulundurmak, olasılıkta yakınsamaya yol açar . İçin tamamlayıcı olasılık isteyen - sezgisel olasılığı (en azından göre biraz farklıdır için) - için yeterince büyük, keyfi olarak küçükX n X | X n - X | < ϵ n ϵ X n p → X P ( | X n - X | ≥ ϵ ) X n ϵ X n ϵ P ( | X 1 - X | ≥ ϵ ) P ( | X 2 - X | ≥ ϵ ) P ( | $X_n$$X$$|X_n - X| \lt \epsilon$$n$$\epsilon$$X_n \overset{p}{\to} X$$P(|X_n - X| \ge \epsilon)$$X_n$$\epsilon$$X$$n$ . Sabit bir bu, bir dizi olasılık ortaya , , , , ve eğer bu olasılıklar dizisi sıfıra yaklaşırsa (bizim örneğimizde olduğu gibi) o zaman olasılıkta yaklaştığını söyleriz . Olasılık sınırlarının genellikle sabit olduğuna dikkat edin: örneğin, ekonometrikteki gerilemelerde, örnek boyutunu artırdıkça görüyoruz . Fakat burada$\epsilon$$P(|X_1 - X| \ge \epsilon)$$P(|X_2 - X| \ge \epsilon)$3 - X | ≥ ε ) ... x N x Plim ( β ) = β n Plim ( X , n ) = X ~ u ( 0 , 1 ) X, N x X , n X ε $P(|X_3 - X| \ge \epsilon)$$\dots$$X_n$$X$$\text{plim}(\hat \beta) = \beta$$n$$\text{plim}(X_n) = X \sim U(0,1)$. Değerine bağlı olarak olasılığının düşük olması olasılığı araçlarında yakınsama ve belirli gerçekleşme çok farklı olur - ve olasılığını yapabilirsiniz ve daha öteye olmak kadar uzun bir seçim, ben gibi ayrı küçük olarak yeterince büyük .$X_n$$X$$X_n$$X$$\epsilon$$n$

yaklaştığı farklı bir anlam , dağılımlarının gittikçe birbirine benzemesidir. Bunu CDF'lerini karşılaştırarak ölçebilirim. Özellikle, bazı çekme hangi sürekli (bizim örneğimizde kendi CDF her yerde sürekli ve herhangi bir çok yapacak) ve değerlendirme dizisinin CDFs orada. Bu, başka bir olasılıklar dizisi üretir: , , , ve bu dizi yakınlaşır . CDF'ler değerlendirildiX, n, X, X F x ( X ) = P ( x ≤ x ) X ~ U ( 0 , 1 ) x X , n P ( x 1 ≤ x ) P ( x 2 ≤ X ) P ( x 3 ≤ x ) ... P ( X ≤ x ) x X n X x $X_n$$X$$x$$F_X(x) = P(X \leq x)$$X \sim U(0,1)$$x$$X_n$$P(X_1 \leq x)$$P(X_2 \leq x)$$P(X_3 \leq x)$$\dots$$P(X \leq x)$$x$ her biri için keyfi yakın CDF haline değerlendirildi de . Bu sonuç hangi seçtiğimizden bağımsız olarak doğruysa , dağılımda yakınsar . Bunun burada gerçekleştiği ortaya çıkıyor ve ihtimalinde yakınsama, dağılımda yakınsama anlamına geldiğinden şaşırmamalıyız . Unutmayın ki , olasılıkta belirli bir dejenere olmayan dağılıma, fakat dağılımda bir sabite yakınsayana yakınsayabilir.$X_n$$X$$x$$x$X n X X X X n$X_n$$X$ $X$$X$$X_n$ (Asıl sorudaki muhtemelen kafa karışma noktası hangisidir? Ancak daha sonra açıklamalara dikkat edin.)

Farklı bir örnek için, . Şimdi bir dizi RV var, , , , ve olasılık dağılımının bir çiviye dönüştüğü açıktır . Şimdi dejenere dağılımını düşünün, bunun anlamı . Herhangi bir , sıfıra, böylece in ' ye olasılıkla yakınsadığını görmek . Sonuç olarak,Y n ∼ U ( 1 , n + 1n )Y1∼U(1,2)Y2∼U(1,$Y_n \sim U(1, \frac{n+1}{n})$$Y_1 \sim U(1,2)$2 )Y,3~u(1,$Y_2 \sim U(1,\frac{3}{2})$3 )...y=1, Y=1, P(Y=1)=1ε>0P(|Y, n-Y|≥ε)Y, n, Y, Y, n, YF, Y(Y), Y-Y=1yP(Y1≤y)P(Y2≤y$Y_3 \sim U(1,\frac{4}{3})$$\dots$$y=1$$Y=1$$P(Y=1)=1$$\epsilon \gt 0$$P(|Y_n - Y| \ge \epsilon)$$Y_n$$Y$$Y_n$CDF'leri göz önünde bulundurarak onaylayabileceğimiz dağıtımda yakınsamalı . CDF yana arasında de kesintilidir o değerde değerlendirildi cdfs dikkate gerekmez, ancak başka herhangi bir değerlendirilen TDF için görebiliriz dizi , , , için yakınsak için sıfır ve için bir . Bu kez, RVs dizisi olasılıkta bir sabite yakınsadığı için dağılımda bir sabite de yakınsadı.$Y$$F_Y(y)$$Y$$y=1$$y$$P(Y_1 \leq y)$$P(Y_2 \leq y)$P ( Y 3 ≤ y ) ... P ( Y ≤ y ) y < 1 y > $P(Y_3 \leq y)$$\dots$$P(Y \leq y)$$y \lt 1$$y \gt 1$

Bazı son açıklamalar:

• Olasılıkta yakınsama dağılımda yakınsama anlamına gelse de, genel olarak konuşma yanlıştır. İki değişkenin aynı dağılıma sahip olması, birbirlerine yakın olmaları gerektiği anlamına gelmez. Önemsiz bir örnek için, ve . Daha sonra, ve her ikisi de aynı dağılıma sahiptir (her biri sıfır veya bir olma% 50 şansı) ve dizisi yani giden dizi, sırayla dağıtımda dönüşür ( Sekanstaki herhangi bir pozisyonda CDF, ) ' nin CDF'si ile aynıdır . Ama veX ~ Bernouilli ( 0.5 ) , Y = 1 - X X -Y X , n = x X , X , X , X , ... Y -Y , Y x P ( | X N - Y | ≥ 0.5 ) = 1 X , n$X\sim\text{Bernouilli}(0.5)$$Y=1-X$$X$$Y$$X_n=X$$X,X,X,X,\dots$$Y$$Y$$Y$$X$daima birbirinden ayrıdır, bu nedenle böylece sıfıra meyilli olmaz, bu nedenle olasılıkla yaklaşmaz . Bununla birlikte, dağılımda bir sabite yakınsama varsa , o zaman bu sabite olan olasılıkta yakınsama anlamına gelir (sezgisel olarak, bu sıradan daha da sabit olma olasılığı düşük olacaktır).$P(|X_n - Y| \ge 0.5)=1$$X_n$$Y$
• Örneklerimin açıkça ifade ettiği gibi, olasılıktaki yakınlaşma bir sabit olabilir, ancak olması gerekmez; dağılımdaki yakınsama da sabit olabilir. Olasılıkta bir sabite yakınsama yapmak mümkün değildir, fakat dağılımda belirli bir dejenere olmayan dağılıma yakınsama yapmak veya tam tersi mümkün değildir.
• Eğer, örneğin, bir diziyi söylendi bir örnek gördüm mümkün mü tümleşik başka diziyi ? Bunun bir dizi olduğunu farketmemiş olabilirsiniz, ancak teslim alma, bağlı bir dağıtım olsaydı da olur . Her iki dizinin bir sabite yakınsak olması (yani dejenere dağılım) olabilir. Sorunuz, belirli bir RV dizisinin hem sabit hem de dağılıma nasıl birleşebileceğini merak ediyor; Açıkladığınız senaryonun bu olup olmadığını merak ediyorum.X, n, Y, n,$X_n$ $Y_n$$n$
• Mevcut açıklamam çok "sezgisel" değil - Sezgiyi grafiksel yapmak istiyordum, ancak RV'lere grafik eklemek için zamanım olmadı.

Aklımda, mevcut cevapların hepsi yararlı noktaları ifade ediyor, ancak iki yakınsama modu arasında önemli bir ayrım yapmıyorlar.

, ve rasgele değişkenler olmasına izin verin . Sezgi için, değerlerine, her için biraz değişen, sonsuz rastgele değişken dizisi veren ve başka bir rastgele deney tarafından atanan değerini aldığını varsayan, rastgele bir deney tarafından atandığını hayal edin .X, n , n = 1 , 2 , ... , Y X , n , n $X_n$$n=1,2,\dots$$Y$$X_n$$n$$Y$

Eğer , tanım gereği, ve birbirinden keyfi bir şekilde küçük bir miktar tarafından farklı olma ihtimalinin, sizin kadar küçük bir miktar için sıfıra yaklaştığını biliyoruz. sevmek. Gevşekçe konuşursak, dizisinin çok dışında, ve birbirine çok yakın değerler alacağına eminiz .X n p → Y Y X n n → ∞ X n X n$X_n\overset{p}{\to}Y$$Y$$X_n$$n\to\infty$$X_n$$X_n$$Y$

Biz sadece olasılık yakınlaşma dağıtımında ve yakınlaşma varsa Öte yandan, o zaman büyük için biliyoruz , neredeyse aynıdır hemen hemen her için, . Bunun, ve değerlerinin birbirine ne kadar yakın olduğu hakkında bir şey söylemediğini unutmayın . Örneğin, eğer ve dolayısıyla de büyük için bu şekilde dağıtılmışsa , ve değerlerinin sezgisel olarak muhtemel göründüğün P ( X n ≤ x ) P ( Y ≤ x ) x X n Y Y ∼ N ( 0 , 10 10 ) X n n X n Y N ( 0 , 10 10$n$$P(X_n\leq x)$$P(Y\leq x)$$x$$X_n$$Y$$Y\sim N(0, 10^{10})$$X_n$$n$$X_n$$Y$Herhangi bir gözlemde oldukça farklılık gösterecektir. Sonuçta, dağıtımda yakınsama dışında herhangi bir kısıtlama yoksa, tüm pratik nedenlerden dolayı bağımsız değişkenleri olabilir.$N(0,10^{10})$

(Bazı durumlarda, ve karşılaştırmak bile mantıklı gelmeyebilir , belki de aynı olasılık alanı üzerinde tanımlanmadı bile. Bu, daha teknik bir not.)X, n,$X_n$$Y$

Anlamadığım şey, rastgele bir değişkenin tek bir sayıya nasıl birleşebildiğini, aynı zamanda bir dağılıma nasıl birleşebileceğini?

Ekonometri öğreniyorsanız, muhtemelen bunu bir regresyon modeli bağlamında merak ediyorsunuz. Bir dejenere dağılıma, bir sabite yaklaşır. Fakat başka bir şeyin dejenere olmayan sınırlayıcı bir dağılımı vardır.

Β nβN β nn$\hat{\beta}_n$ olasılık yakınsar gerekli varsayımlar karşılanırsa. Bunun anlamı, yeterince büyük bir örneklem büyüklüğü seçerek , tahmin edicinin gerçek parametreye istediğimiz kadar yakın olacağı ve olasılık istediğimizden daha küçük olabileceği anlamına gelir. Eğer histogram planlamakla düşünürsek çeşitli için , sonunda sadece bir başak merkezli olacak .$\beta$$N$$\hat{\beta}_n$$n$$\beta$

hangi anlamda dağıtımda birleşir? Aynı zamanda bir sabite yakınsak. Normal dağılımlı rastgele değişkenlere değil. varyansını hesaplarsanız, küçüldüğünü görürsünüz . Bu yüzden nihayetinde yeterince cinsinden sıfıra gidecektir , bu nedenle tahmin edicinin bir sabittir. Normal dağılmış rastgele değişkene yakınsaklık nedirΒ n β n, n$\hat{\beta}_n$$\hat{\beta}_n$$n$$n$

√N ( β N-β)nN(0,σ2) β$\sqrt{n}(\hat{\beta}_n - \beta)$ . Bunun farkını alırsanız, ile büzülmediğini (ya da büyüymediğini) göreceksiniz . Çok büyük numunelerde, standart varsayımlar altında bu yaklaşık . Daha sonra bu yaklaşımı , bu büyük örnekteki dağılımına yaklaşmak için kullanabiliriz .$n$$N(0, \sigma^2)$$\hat{\beta}_n$

Fakat haklısın ki in sınırlayıcı dağılımı da sabittir.$\hat{\beta}_n$

Bazı çok basit örnekler kullanarak, çok kısa bir cevap vermeye çalışayım.

Dağılımda yakınsaklık

Let her n için, daha sonra yakınsak için dağıtım. Bununla birlikte, gerçekleştirilmesindeki rastgelelik zamanla değişmez. değerini tahmin etmek zorunda kalırsak, beklentisi zaman içinde değişmez.X, n ~ N ( 1n ,1)X,Nx~N(0,1)X,Nx$X_n \sim N\left(\frac{1}{n}, 1 \right)$$X_n$$X \sim N(0, 1)$$X_n$$X_n$

Olasılıkta yakınsaklık

Şimdi, olasılık değeri ve olan, değerini alan rastgele değişkenini . As sonsuza gider, biz daha emin olan eşit olacaktır . Dolayısıyla, biz demek için olasılık yakınsar . Bu da ima unutmayın dağılımda yakınlaşıyor .Y n 0 1 - $Y_n$$0$n 1nYn0Yn0Yn$1-\frac{1}{n}$$1$$n$$Y_n$$0$$Y_n$$0$$Y_n$$0$