Tutarlı bir tahmincinin tanımı neden olduğu gibi? Alternatif tutarlılık tanımları ne olacak?

Vikipedi'den alıntı:

İstatistik olarak, tutarlı bir tahmin edici veya asimptotik tutarlı tahmin bir parametrenin işlem tahminleri için bir tahmin-kuraldır özelliği -Ona sahip veri noktalarının sayısı süresiz artar kullanıldığı haliyle, olasılık tahmini yakınsak elde edilen sekans İçeride ISTV melerin RWMAIWi'nin ^ * .$θ^*$$θ^*$

Bu ifadeyi kesinleştirmek için, $\theta^*$ tahmin etmek istediğiniz gerçek parametrenin değeri olsun ve $\hat\theta(S_n)$ bu parametreyi verilerin bir fonksiyonu olarak tahmin etme kuralı olsun. Daha sonra bir tahmin edicinin tutarlılığının tanımı şu şekilde ifade edilebilir:

$$\lim_{n \to \infty} Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ]=0$$

sorum ilk bakışta yüzeysel görünüyor, ama şu: "tutarlılık / tutarlı" kelimesi neden bir tahmin edicinin bu davranışını tanımlamak için kullanıldı?

Bunu önemsememin nedeni, sezgisel olarak, tutarlı kelimenin farklı bir şey anlamına gelmesidir (veya en azından benim için farklı görünüyor, belki de eşit oldukları gösterilebilir). Size bir örnekle ne anlama geldiğini söyleyeyim. "Siz" sürekli "iyi" deyin (iyi bir tanım için), o zaman tutarlı demektir ki bana her zaman iyi olduğunuzu kanıtlama / gösterme şansınız olduğunda, her seferinde iyi olduğunuzu kanıtlarsınız (veya en azından çoğu zaman).

Bir tahmin edicinin tutarlılığını tanımlamak için sezgilerimi uygulayalım. "Sen" bilgi işlem işlevi olsun ve "iyi" gerçek tahmini ne kadar uzak olduğunuzu ifade edelim (iyi, normunda, neden olmasın). O zaman tutarlılığın daha iyi bir tanımı şöyle olur:$\hat{\theta}$$\theta^*$$l_1$

$$\forall n,\forall S_n, Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ] < \delta$$

Tutarlılığın daha az kullanışlı bir tanımı olsa da, tutarlılığı tanımlayabileceğim şekilde bana daha mantıklı geliyor, çünkü tahmincime attığınız herhangi bir eğitim / örnek seti için , iyi iş, yani sürekli iyi yapacağım. Biliyorum, tüm n (muhtemelen imkansız) için bunu yapmak biraz gerçekçi değil, ancak bu tanımı düzelterek:$\hat\theta$

$$\exists n_0, \forall n \geq n_0,\forall S_n, Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ] < \delta$$

yani yeterince büyük n için, bizim tahmincisi daha kötü yapmayacağım (daha fazla değil yani uzak "gerçeğin" dan) gerçek ( sen en azından gerektiğini sezgi yakalamak için çalışıyor herhangi bir şeyi öğrenmek / tahmin etmek için bazı örnekler ve bu sayıya ulaştığınızda, tahmin ediciniz, onu tanımlamaya çalıştığımız şekilde tutarlıysa çoğu zaman iyi sonuç verir).$\epsilon$$\epsilon$$\theta^*$$n_0$

Bununla birlikte, önceki tanım güçlüdür, belki boyutundaki eğitim setlerinin çoğu için dan uzak olma olasılığımız düşük (yani, tüm için gerekli değildir , ancak ya da bunun gibi bir şeyin dağılımı ). Bu nedenle sahip olduğumuz örnek / eğitim setlerinin çoğu için çok nadiren yüksek bir hata yapacağız.$\theta^*$$n \geq n_0$$S_n$$S_n$

Her neyse, benim sorum, önerilen bu "tutarlılık" tanımlarının aslında tutarlılığın "resmi" tanımıyla aynı olması, ancak denkliğinin kanıtlanması zor mudur? Kanıtı biliyorsanız lütfen paylaşın! Yoksa sezgim tamamen kapalı mı ve tanım tutarlılığını genellikle olarak tanımlandığı şekilde seçmenin daha derin bir nedeni var mı? ("Resmi") tutarlılık neden olduğu gibi tanımlanıyor?

Bir çeşit denklik için aday kanıt olduğuna dair düşüncelerimden bazıları, belki de tutarlılık fikrimle kabul edilen tutarlılık kavramı arasındaki benzerlik, bir sınırın tanımı. Bununla birlikte, bunu nasıl yapacağımdan% 100 emin değildim ve denesem bile, resmi tutarlılık tanımı, tüm potansiyel eğitim / örnek setleri hakkında konuşmayı dikkate almıyor gibi görünüyor. Eşdeğer olduklarına inandığım için, verdiğim resmi tanım eksik mi (yani, neden yapabileceğimiz veri kümeleri veya örnek kümelerimizi oluşturabilecek tüm farklı veri kümeleri hakkında konuşmuyor)?$(\epsilon, \delta)-$

Son düşüncelerimden biri, sağladığımız herhangi bir tanımın, olasılık dağılımından bahsettiğimiz kesin bir şekilde olması gerektiği, yoksa ? Bir adayın, garanti ettiği her ne olursa olsun, belirli bir sabit dağıtıma veya eğitim setlerine olası tüm dağıtıma karşı olacağını garanti ederse kesin olması gerektiğini düşünüyorum ... değil mi?$P_x$$P_{S_n}$

OP tarafından hafifçe değiştirilmiş ikinci geçici ifadeyi düşünün,

$$\forall \theta\in \Theta, \epsilon>0, \delta>0, S_n, \exists n_0(\theta, \epsilon, \delta): \forall n \geq n_0,\;\\P_n\big[|{\hat \theta(S_{n}}) - \theta^*|\geq \epsilon \big] < \delta \tag{1}$$

Biz de sınırlandırılmış inceliyorlar reel sayılar dizisi $[0,1]$

$$\big\{ P_n\big[|{\hat\theta(S_{n}}) - \theta^*|\geq \epsilon \big]\big\}$$

endeksli . Bu dizinin olarak bir sınırı varsa , basitçe , buna sahip olacağız$n$$n\rightarrow \infty$$p$

$$\forall \theta\in \Theta, \epsilon>0, \delta>0, S_n,\,\exists n_0(\theta, \epsilon, \delta): \forall n \geq n_0,\;\\\Big| P_n\big[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon \big] -p\Big|< \delta \tag{2}$$

Yani varsayarsak (veya zorunlu , esasen olarak sınırın var olduğunu ve sıfıra eşit olduğunu varsayıyoruz (veya şart , .$(1)$$n\rightarrow \infty$$p=0$

Yani okur "sınırını olarak olan ". Bu tam olarak tutarlılığın mevcut tanımıdır (ve evet, "tüm olası örnekleri" kapsar)$(1)$$P_n\big[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon\big]$$n\rightarrow \infty$$0$

Dolayısıyla, OP'nin esas olarak kestirimcinin farklı bir özelliği değil aynı özelliği için alternatif bir ifade önermiş olduğu görülmektedir.

EK (tarih bölümünü unuttum)

Kolmogorov "Olasılık Teorisinin Temelleri" nde (1933) bir dipnotta (olasılıkta yakınsama kavramı)

“... Bernoulli'den kaynaklanıyor; tamamen genel tedavisi EESlutsky tarafından tanıtıldı”.

(1925'te). Slutsky'nin çalışması Almancadır, hatta Almanca kelimenin İngilizce'ye (veya Bernoulli tarafından kullanılan terime) nasıl çevrildiğine dair bir konu bile olabilir. Ama bir kelimeyi çok fazla okumaya çalışmayın.