Sıfır olmayan asimptotik varyans ile asimptotik tutarlılık - neyi temsil eder?

Sorun daha önce ortaya çıktı, ancak açıklığa kavuşturacak (ve sınıflandıracak) bir cevap ortaya çıkarmaya çalışacak belirli bir soru sormak istiyorum:

"Zavallı Adamın Asimptotikleri" nde insan,

(a) olasılıkta bir sabite yaklaşan rastgele değişkenler dizisi

aksine

(b) olasılıkla rastgele bir değişkene (ve dolayısıyla ona dağılımda) yaklaşan rastgele değişkenler dizisi.

Ama "Bilge Adamın Asimptotikleri" nde,

(c) sınırda sıfır olmayan bir varyansı korurken olasılıkla bir sabite yaklaşan rastgele değişkenler dizisi.

Benim sorum (aşağıdaki kendi keşif cevabımdan çalmak):

Nasıl asimptotik tutarlıdır ama bir tahmin edici anlayabileceği da sıfırdan farklı, sonlu varyansa sahip? Bu varyans neyi yansıtıyor? Davranışı "olağan" tutarlı bir tahmin ediciden nasıl farklıdır?

— Alecos Papadopoulos
kaynak

"Zavallı Adamın Asimptotikleri" büyük harfle yazdığınız şekilde beni bir referans bilgisine sahip olmam gerektiğini düşündürüyor (ya da muhtemelen görmüştüm ama unutmuşum, ki bu da aynı şeydir); ya gerçek bir kitap ya da kağıt, ya da belki de sadece kültürel bir referans. "Zavallı Adamın Veri Artırması" nı biliyorum (Tanner ve Wei), ama bunun elde ettiğinizle bağlantılı olduğunu düşünmüyorum. Neyi kaçırıyorum?

— Glen_b

@Glen_B Hiçbir şeyi kaçırmazsınız - sadece benim gibi insanların kardinal gibi insanlara karşı sahip oldukları Asimtotik Teorinin bilgi seviyesiyle tezat oluşturdum. Büyük harf kullanımı sadece bir pazarlama taktiği idi.

— Alecos Papadopoulos

Yanıtlar:

Sorunuza çok tatmin edici bir cevap vermeyeceğim, çünkü bana biraz fazla açık gibi geliyor, ama bu sorunun neden zor olduğuna biraz ışık tutmaya çalışayım.

Bence olasılık dağılımları ve rastgele değişkenler üzerinde kullandığımız konvansiyonel topolojilerin kötü olması ile mücadele ediyorsunuz. Blogumda bunun hakkında daha büyük bir parça yazdım ama özetlemeye çalışalım: yakınsamanın ne anlama geldiği hakkında ortak varsayımları ihlal ederken zayıf (ve toplam varyasyon) anlamda birleşebilirsiniz.

Örneğin, zayıf topolojide varyans = 1 ( yaptığı tam olarak budur) . Daha sonra, çoğu zaman 0'a eşit olan ancak sonsuz olarak nadiren sonsuza eşit olan bu korkunç rastgele değişken olan bir sınır dağılımı (zayıf topolojide) vardır. $Z_n$

Şahsen bunu zayıf topolojinin (ve toplam varyasyon topolojisinin de) atılması gereken zayıf bir yakınsama kavramı olduğu anlamına gelir. Aslında kullandığımız yakınsamaların çoğu bundan daha güçlü. Ancak, zayıf topoloji sooo yerine ne kullanmamız gerektiğini bilmiyorum ...

ve arasında gerçekten önemli bir fark bulmak istiyorsanız , işte benim açım: her iki tahmin de [0,1] -loss ( hatanızın boyutu önemli değil). Ancak, hatalarınızın boyutu çok daha iyidir, çünkü bazen felaketle başarısız olur. $\hat \theta= \bar X+Z_n$ $\tilde \theta=\bar X$ $\tilde \theta$ $\hat \theta$

— Guillaume Dehaene
kaynak

27-10-2014: Ne yazık ki (benim için), hiç kimse burada henüz bir cevap vermedi - belki de garip, "patolojik" teorik bir konuya benziyor ve daha fazlası değil mi?

Kullanıcı Cardinal için bir yorum alıntılamak için (daha sonra keşfedeceğim)

"İşte bir kuşkusuz saçma, ama basit bir örnektir fikri yanlış gidebilir ve neden olabilir tam olarak ne göstermektir.. Pratik uygulamalar var (vurgu bana ait) Örnek:. Sonlu ikinci andan tipik iid modeli düşünün bakalım. burada , ve bağımsızdır ve her biri olasılığına sahiptir ve sıfırdır, aksi halde isteğe bağlıdır. Sonra tarafsızdır, varyans sınırlıdır Aşağıda ve $\hat θ_n=\bar X_n+Z_n$ $Z_n$ $\bar X_n$ $Z_n=\pm an$ $1/n^2$ $a>0$ $\hat θ_n$ $a^2$ $\hat θ_n→\mu$ neredeyse kesinlikle (kesinlikle tutarlı). Önyargı ile ilgili davayı tatbikat olarak bırakıyorum ".

Buradaki maverick rasgele değişkeni , bu yüzden bu konuda ne söyleyebileceğimizi görelim. Değişkenin karşılık gelen olasılıkları olan . Sıfır etrafında simetrik, bu yüzden $Z_n$
$\{-an,0,an\}$ $\{1/n^2,1-2/n^2,1/n^2\}$

E (Z_{n}) = 0, Var (Z_{n}) = \frac{(- a n)^{2}}{n^{2}} + 0 + \frac{(a n)^{2}}{n^{2}} = 2 a^{2}

$E(Z_n) = 0,\;\; \text{Var}(Z_n) = \frac {(-an)^2}{n^2} + 0 + \frac {(an)^2}{n^2} = 2a^2$

Bu anlar bağlı değil, bu yüzden sanırım önemsiz yazmamıza izin verildi $n$

lim_{n \to \infty} E (Z_{n}) = 0, lim_{n \to \infty} Var (Z_{n}) = 2 a^{2}

$\lim_{n\rightarrow \infty} E(Z_n) = 0,\;\;\lim_{n\rightarrow \infty}\text{Var}(Z_n) = 2a^2$

Zavallı Adamın Asimptotik'te, anların sınırlarının, sınırlayıcı dağılımın anlarına eşit olması için bir koşul biliyoruz. Eğer sonlu durum dağılımının momenti sabittir (bizim durumumuzda olduğu gibi), o zaman, dahası, $r$

\exists δ > 0 : lim sup E (| Z_{n} |^{r + δ}) < \infty

$\exists \delta >0 :\lim \sup E(|Z_n|^{r+\delta}) < \infty$

moment momentinin sınırı , sınır dağılımının moment momenti olacaktır . Bizim durumumuzda $r$ $r$

E (| Z_{n} |^{r + δ}) = \frac{| - a n |^{r + δ}}{n^{2}} + 0 + \frac{| a n |^{r + δ}}{n^{2}} = 2 a^{r + δ} \cdot n^{r + δ - 2}

$E(|Z_n|^{r+\delta}) = \frac {|-an|^{r+\delta}}{n^2} + 0 + \frac {|an|^{r+\delta}}{n^2} = 2a^{r+\delta}\cdot n^{r+\delta-2}$

İçin istediğiniz için bu ıraksadığını , bu yüzden yeterli koşul Varyans (Bu ortalama için beklemeye yapar) için tutmaz. Diğer taraftan: asimptotik dağılımı ? Ait CDF'yi mu sınırında olmayan dejenere CDF yakınsama? $r\geq2$ $\delta >0$
$Z_n$ $Z_n$

Öyle görünmüyor: sınırlama desteği (bunu yazma iznimiz varsa) ve ilgili olasılıklar . Bana bir sabit gibi görünüyor. Ama ilk etapta sınırlayıcı bir dağılımımız yoksa, anları hakkında nasıl konuşabiliriz? $\{-\infty, 0, \infty\}$ $\{0,1,0\}$

Daha sonra, tahmincisine geri , de bir sabite yaklaştığından, $\hat \theta_n$ $\bar X_n$

$\hat \theta_n$ (önemsiz olmayan) sınırlayıcı bir dağılımı yoktur, ancak sınırda bir varyansı vardır. Ya da, belki bu varyans sonsuzdur? Fakat sabit bir dağılıma sahip sonsuz bir varyans?

Bunu nasıl anlayabiliriz? Tahminci hakkında bize ne anlatıyor? Sınırda, ve arasındaki temel fark nedir ? $\hat \theta_n = \bar X_n + Z_n$ $\tilde \theta_n = \bar X_n$

— Alecos Papadopoulos
kaynak

Aptal referans isteği: Şunlar için (iyi) bir kaynağınız var mı: "eğer r-momenti bir sabite yaklaşıyorsa, r'den daha düşük indeksi olan tüm anlar sınırlama dağılımının anlarına yakınsar mı?". Bunun doğru olduğunu biliyorum, ama asla iyi bir kaynak bulamadım

— Guillaume Dehaene

İkincisi, kullanmaya çalıştığınız teorem bu durumda uygulanamaz: r = 2 (kullanmak istediğiniz durum budur: varyansın birleştiğini kanıtlamak istiyorsunuz), a kesinlikle olumlu bir , ayrılma!

δ

$\delta$

E (| Z_{n} |^{r + δ}

$E(|Z_n|^{r+\delta}$

— Guillaume Dehaene

Belki bir şekilde @cardinal'e (sohbette?) Ping atmak iyi olur, böylece bu tartışmaya katılır.

— amip, Reinstate Monica'ya

@amoeba Cardinal, buradaki gerçek cevaba yaklaşan bir tahmincidir, ancak onu geçmişte başarılı olmadan meşgul etmeye çalıştığımı hatırlıyorum.

— Alecos Papadopoulos

@GuillaumeDehaene Bir referans AW Van der Vaart (1998) "Asimptotik İstatistikler", ch. 2.5 "Anların Yakınsaması". Teorem 2.20'nin 2.21 örneği olarak verilmiştir. Ve haklısın: Sonlu için sınırlılığa sahip olmanın yeterli olduğu izlenimindeydim - ama sonlu olması gereken kiriş. Gönderiyi düzeltiyorum.

n

$n$

— Alecos Papadopoulos

Bir tahminci olasılıkla tutarlıdır ancak tahmin edicinin "patlaması" keyfi olarak küçük bir olasılık varsa MSE'de değildir. İlginç bir matematiksel merak olsa da, herhangi bir pratik amaç için bu sizi rahatsız etmemelidir. Herhangi bir pratik amaç için, tahmin edicilerin sonlu destekleri vardır ve bu nedenle patlayamazlar (gerçek dünya sonsuz küçük veya büyük değildir).

Hala "gerçek dünya" nın sürekli bir yaklaşımını çağırmak istiyorsanız ve yaklaşımınız MSE'de değil olasılıkta yakınsama olan şekildeyse, o zaman olduğu gibi alın: Tahminciniz keyfi olarak büyük olasılıkla doğru olabilir, ancak her zaman keyfi olarak patlama şansı olacaktır. Neyse ki, ne zaman, fark edeceksiniz, aksi takdirde güvenebilirsiniz. :-)

— JohnRos
kaynak

Benim düşüncem ortalama karede birleşiyor çünkü

\hat{θ} = \bar{X} + Z_{n}

$\hat \theta = \bar X + Z_n$

lim E ({\hat{θ}}^{2}) = 2 a^{2}

$\lim E(\hat \theta^2) = 2a^2$

— Alecos Papadopoulos

Soru özellikle MSE'de değil, olasılıkta birleşen bir tahmin edicinin yorumuyla ilgilidir (yok olmayan bir varyans nedeniyle).

— JohnRos

Haklısın, artı işaretini eksi işaretiyle karıştırdım.

— Alecos Papadopoulos