Örnek ortalama bir anlamda dağılım ortalamasının “en iyi” tahmini midir?

Büyük sayıların (zayıf / güçlü) yasasına göre, bir dağıtımın bazı x xbb math , örnek ortalamaları , olasılık boyutunda ve örnek boyutu olarak dağıtım ortalamasına yakınsar. sonsuzluğa gider. $\{x_i \in \mathbb{R}^n, i=1,\ldots,N\}$ $f^*(\{x_i, i=1,\ldots,N\}):=\frac{1}{N} \sum_{i=1}^N x_i$ $N$

Örneklem büyüklüğü sabit olduğunda, LLN tahmincisi bir anlamda en iyi tahmin edicidir mi acaba? Örneğin, $N$ $f^*$

beklentisi dağılım ortalamasıdır, dolayısıyla tarafsız bir tahmin edicidir. Varyansı burada dağıtım varyansıdır. Ama UMVU mu? $\frac{\sigma^2}{N}$ $\sigma^2$
Bazı işlevi vardır bu şekilde küçültme sorununu çözün: $l_0: \mathbb{R}^n \times \mathbb{R}^n \rightarrow [0,\infty)$ $f^*(\{x_i, i=1,\ldots,N\})$
$f^{*} ({x_{i}, i = 1, \dots, N}) = {argmin}_{u \in R^{n}} \sum_{i = 1}^{N} l_{0} (x_{i}, u) ?$ $f^*(\{x_i, i=1,\ldots,N\}) = \operatorname{argmin}_{u \in \mathbb{R}^n} \quad \sum_{i=1}^N l_0(x_i, u)?$
Diğer bir deyişle, en düşük kontrast çerçevesindeki bazı kontrast fonksiyon (cf Bölüm 2.1 " Matematiksel istatistik: Temel fikirler ve seçilmiş konular, Cilt 1 ", Bickle ve Doksum'un Cilt 1 "bölümü). $f^*$ $l_0$

Örneğin, dağılımın Gauss dağılımları ailesinden olduğu biliniyorsa / kısıtlanıyorsa, örnek ortalaması dağıtım ortalamasının MLE tahmincisi olacaktır ve MLE minimum kontrast çerçevesine aittir ve kontrast fonksiyonu eksi log olasılığıdır. işlevi. $l_0$
Bazı işlevi vardır böyle : optimizasyon problemi çözmek Herhangi dağıtım için ait bazı aile içinde dağılımları? $l: \mathbb{R}^n \times F \rightarrow [0,\infty)$ $f^*$
$f^{*} = {argmin}_{f} E_{iid {x_{i}, i = 1, \dots, N} each with distribution P} l (f ({x_{i}, i = 1, \dots, N}), P) ?$ $f^* = \operatorname{argmin}_{f} \quad \operatorname{E}_{\text{iid }\{x_i, i=1,\ldots,N\} \text{ each with distribution }P } \quad l(f(\{x_i, i=1,\ldots,N\}), P)?$ $P$ $x_i$ $F$
Başka bir deyişle, Bazı kayıp fonksiyonu wrt en iyisi ve bazı ailesi karar teorik çerçeve, dağılımların (Bölüm 1.3 cf "nde "Karar Teorik Çerçevesi" Matematiksel istatistik: temel fikir ve seçilen konular, Cilt 1 " Bickle ve Doksum tarafından). $f^*$ $l$ $F$

Yukarıdakilerin, şimdiye kadar bildiğim "en iyi" bir tahmin için üç farklı yorum olduğunu unutmayın. LLN tahmincisi için geçerli olabilecek diğer olası yorumları biliyorsanız, lütfen bunu belirtmekten çekinmeyin.

estimation expected-value law-of-large-numbers

— Tim
kaynak

Bir tahminciyi karakterize etmenin başka bir yolu: Lütfen Tutarlı Tahmincisi hakkında buradan bilgi edinin . Örnek Ortalama LLN nedeniyle tutarlıdır.

— Rohit Banga

Örnek ortalamanın birçok güzel ve ilginç özelliği vardır, ancak bazen belirli bir durumda olabilecek en iyi özellik değildir. Bir örnek, dağıtım desteğinin parametrenin değerine bağlı olduğu durumlardır. Düşünün , daha sonra tarafsız bir tahmin olup dağıtım ortalaması ancak UMVUE değildir, örneğin, en büyük sıra istatistiklerine dayalı tarafsız tahminler örnek ortalamasından daha küçük varyansa sahip olacaktır.

X_{1}, X_{2}, \dots, X_{n} \sim U (0, θ)

$X_1, X_2, \ldots, X_n \sim \mathcal{U}(0,\theta)$

\frac{1}{n} \sum_{i = 1}^{n} X_{i}

$\frac{1}{n} \sum_{i=1}^{n} X_i$

θ

$\theta$

\frac{n + 1}{n} X_{(n)}

$\frac{n+1}{n}X_{(n)}$

— VitalStatistix

Teşekkürler! Fakat varyansı nasıl hesaplanır?

— Tim

En büyük sıralama istatistiği olan nin pdf değeri , böylece tarafsız tahmin edicinin varyansı , , örneğin, varyans mertebesindedir sipariş ait örnek ortalaması varyansı ile karşılaştırıldığında, .

Y = X_{(n)}

$Y=X_{(n)}$

f (y) = \frac{n y^{n - 1}}{θ^{n}}; y \in (0, θ)

$f(y)= \frac{ny^{n-1}}{{\theta}^n} ; y\in (0,\theta)$

\frac{n}{n + 1} Y

$\frac{n}{n+1}Y$

V a r (\frac{n}{n + 1} Y) = \frac{1}{n (n + 2)} θ^{2}

$Var(\frac{n}{n+1}Y)=\frac{1}{n(n+2)}\theta^2$

\frac{1}{n^{2}}

$\frac{1}{n^2}$

\frac{1}{n}

$\frac{1}{n}$

— VitalStatistix

@VitalStatistix, burada bir şey eksik mi? Değişkenler üzerinde tekdüze ise örnek ortalamalarının beklentisi , bu nedenle tarafsız bir tahmincisini elde etmek için 2 ile çarpmak istemez misiniz ?

[0, θ]

$[0, \theta]$

θ / 2

$\theta/2$

θ

$\theta$

— NRH

İkinci sorunun cevabı evet şudur: işlevi zaman numune ortalama minimum kontrast tahmincisi olan olan x ve u gerçek sayılardır, ya x ve u'nun sütun vektörleri. Bu, en küçük kareler teorisinden veya diferansiyel analizden gelir. $l_0$ $(x-u)^2$ $(x-u)'(x-u)$

Minimum kontrast tahmincisi, belirli teknik koşullar altında hem tutarlı hem de asemptolojik olarak normaldir. Örnek ortalama için, bu zaten LLN ve merkezi limit teoreminden gelmektedir. Minimum kontrast tahmin edicilerinin hiçbir şekilde "optimal" olduğunu bilmiyorum. Minimum kontrast tahmin edicileri hakkında güzel olan, pek çok sağlam tahmin edicinin (örneğin, medyan, Huber tahmin edicileri, örnek miktarları) bu aileye düştüğü ve minimum kontrast tahmin edicileri için genel teoremi uygulayarak tutarlı ve asimptotik olarak normal oldukları sonucuna varabiliriz. bazı teknik koşulları kontrol ettiğimiz sürece (çoğu zaman bu göründüğünden çok zordur).

Sorunuzda bahsetmediğiniz bir iyimserlik kavramı, kabaca konuşmak gerekirse, belirli bir kalitenin tahminini almak için bir numunenin ne kadar büyük olması gerektiği ile ilgili verimliliktir. Ortalama ve medyanın verimliliğini karşılaştırmak için http://en.wikipedia.org/wiki/Efficiency_(statistics)#Asymptotic_efficiency'ye bakın (ortalama daha etkilidir, ancak medyan aykırı değerlere karşı daha sağlamdır).

Üçüncü soru için, üzerinde argmin bulduğunuz fonksiyonlar f üzerinde bazı kısıtlamalar olmaksızın, örnek ortalamanın optimal olacağını düşünmüyorum. Herhangi bir P dağılımı için, f'yi 'leri yok sayan ve belirli P için kaybı en aza indiren bir sabit olarak sabitleyebilirsiniz . Örnek ortalama bunu yenemez. $x_i$

Minimax optimality, verdiğinizden daha zayıf bir durumdur: nin bir sınıftaki herhangi bir için en iyi işlev olmasını istemek yerine, $f^*$ $P$ $f^*$ $\max_{P\in F}$ $P\in F$ $P$ $P$

— DavidRM
kaynak

Teşekkürler! Minimum kontrast tahmin edicisinin özellikleri üzerinde tutarlı ve asimptotik olarak normal gibi bazı iyi referanslar ve ayrıca ortanca, Huber tahmin edicileri, numune miktarları gibi örnekler var mı?

— Tim

Alıntı yaptığınız Bickel & Doksum kitabının 5.2.2. Bölümünde, minimum kontrast tahmin edicilerinin tutarlılığı hakkında bir teorem bulunmaktadır. Bölüm 5.4.2'de asimtotik normallik tartışılmaktadır. Önerdiğim ve bahsettiğim diğer tahmincileri tartışan bir başka kaynak van der Vaart'ın Asimptotik İstatistikler kitabı. Bölüm 5, minimum kontrast tahmin edicilerinin adı olan M tahmincileri üzerindedir.

— DavidR

Teşekkürler! İlk paragrafınızdaki norm üzerinde isteğe bağlı mı normu mu olmalı ?

R^{n}

$\mathbb{R}^n$

l_{2}

$l_2$

— Tim

Standart Öklid normu demek istiyorum - açıklığa kavuşturmak için vektör gösterimine değiştirdim.

— DavidR

DavidR, teşekkürler! (1) Post bölüm 3 ile ilgili olarak, ben örnek ortalama, yani LLN tahmincisi, bazı kayıp fonksiyonu için karar teorik çerçevesine uygun olup olmadığını merak ediyorum ? (2) MLE ve En Küçük Kare Tahmincisi gibi tüm tahmin edicilerin minimum kontrast çerçevesine uyduğu, ancak karar teorik çerçevesine uymadığı izlenimini edindim. Karar teorik çerçevesi, tahmin edicilerin oluşturulması için değil, yalnızca bunların değerlendirilmesinde mi kullanılır?

l

$l$

— Tim