Yalnızca özet istatistikler mevcut olduğunda tahmin nasıl yapılır?

Bu kısmen aşağıdakiler tarafından motive edilmektedir soru ve onu takip eden tartışma .

Iid örneğinin gözlendiğini varsayalım, $X_i\sim F(x,\theta)$ . Amaç değerini tahmin etmektir $\theta$. Ancak orijinal örnek mevcut değildir. Ne yerine sahip numunenin bazı istatistikler $T_1,...,T_k$ . Diyelim ki $k$ sabittir. nasıl tahmin edilir $\theta$? Bu durumda maksimum olabilirlik tahmincisi ne olur?

Bu durumda, aşağıdaki varsayım / kısıtlama altında olasılığın (ve sonuç olarak MLE'nin ) ABC yaklaşımını düşünebilirsiniz :

Varsayım. Orijinal örnek boyutu$n$ bilinmektedir.

Yakınsama açısından, sık tahmin edicilerin kalitesinin örnek büyüklüğüne bağlı olduğu düşünüldüğünde, orijinal örnek boyutunu bilmeden keyfi olarak iyi tahmin ediciler elde edilemez.

Fikri arka dağılımından bir örneğini oluşturmak için $\theta$ ve MLE bir yaklaşım oluşturmak amacıyla , aşağıdaki gibi yeni teknik örnekleme önem kullanabilir [1] ya da eşit bir önceden dikkate $\theta$ uygun üzerinde destekli [2] 'de olduğu gibi ayarlanır .

[2] 'deki yöntemi tarif edeceğim. Öncelikle ABC örnekleyicisini tanımlayayım.

ABC Örnekleyici

Let $f(\cdot\vert\theta)$ örnek oluşturur model $\theta \in \Theta$ (tahmin edilmesi), bir parametredir $T$ (numunenin bir fonksiyonu) bir istatistik ve $T_0$ ABC jargon içinde gözlenen istatistik olarak buna özet istatistik denir , $\rho$ bir metrik, $\pi(\theta)$$\theta$ ve $\epsilon>0$ bir tolerans üzerinde bir önceki dağılım . Daha sonra, ABC ret örnekleyici aşağıdaki gibi uygulanabilir.

1. Π ( ⋅ ) ' den $\theta^*$ örneği .$\pi(\cdot)$
2. F ( ⋅ | θ ∗ ) modelinden n boyutunda bir $\bf{x}$ örneği oluşturun .$n$$f(\cdot\vert\theta^*)$
3. $T^*=T({\bf x})$ değerini hesaplayın .
4. Eğer $\rho(T^*,T_0)<\epsilon$ , kabul $\theta^*$ posteriorundan bir simülasyon olarak $\theta$ .

Bu algoritma, posterior dağılımından yaklaşık örnek oluşturur $\theta$ verilen $T({\bf x})=T_0$ . Bu nedenle, en iyi senaryo $T$ istatistiğinin yeterli olduğu, ancak diğer istatistiklerin kullanılabildiği durumdur. Bu daha ayrıntılı açıklaması için bkz bu kağıdı .

Şimdi, genel bir çerçevede, biri desteğinde MLE'yi içeren bir üniforma kullanırsa, Maksimum posteriori (MAP) Maksimum Olabilirlik Tahmincisi (MLE) ile çakışır. Bu nedenle, ABC Örnekleyicisi'nde daha önce uygun bir üniforma düşünürseniz, MAP'si MLE ile çakışan bir posterior dağılımın yaklaşık bir örneğini oluşturabilirsiniz. Kalan adım bu modu tahmin etmekten oluşur. Bu problem özgeçmişte, örneğin "Çok değişkenli modun hesaplamalı olarak etkili tahmini" bölümünde tartışılmıştır. .

Oyuncak örneği

Let $(x_1,...,x_n)$ bir alınan bir numune olabilir $N(\mu,1)$ ve bu örnek mevcut olan tek bilgi olduğunu varsayalım $\bar{x}=\dfrac{1}{n}\sum_{j=1}^n x_j$. $\rho$,${\mathbb R}$cinsinden Öklid metriğiolsunve$\epsilon=0.001$. Aşağıdaki R kodu, yukarıda açıklanan yöntemleri kullanarak$n=100$ve$\mu=0$olan simüle edilmişbir örnek,$1000$büyüklüğünde posterior dağılımın bir örneği,$\mu$içinönceden eşitolan$(-0.3,0.3)$nasıl yaklaşık MLE elde edileceğini gösterir.)ve posterior numunenin modunun tahmini için bir çekirdek yoğunluk tahmincisi (MAP = MLE).

# rm(list=ls())

# Simulated data
set.seed(1)
x = rnorm(100)

# Observed statistic
T0 = mean(x)

# ABC Sampler using a uniform prior 

N=1000
eps = 0.001
ABCsamp = rep(0,N)
i=1

while(i < N+1){
  u = runif(1,-0.3,0.3)
  t.samp = rnorm(100,u,1)
  Ts = mean(t.samp)
  if(abs(Ts-T0)<eps){
    ABCsamp[i]=u
    i=i+1
    print(i)
  }
}

# Approximation of the MLE
kd = density(ABCsamp)
kd$x[which(kd$y==max(kd$y))]

Gördüğünüz gibi, küçük bir tolerans kullanarak MLE'ye çok iyi yaklaşıyoruz (bu önemsiz örnekte yeterli olduğu göz önüne alındığında istatistikten hesaplanabilir). Özet istatistiğin seçiminin çok önemli olduğunu fark etmek önemlidir. Nicelikler özet istatistik için genellikle iyi bir seçimdir, ancak tüm seçenekler iyi bir yaklaşım üretmez. Özet istatistiğin çok bilgilendirici olmaması ve yaklaşık olarak ABC kalitesinde iyi bilinen yaklaşımın kalitesi düşük olabilir.

Güncelleme: Benzer bir yaklaşım Fan ve ark. (2012) . Makaleyle ilgili tartışma için bu girişe bakın .

It all depends on whether or not the joint distribution of those $T_i$'s is known. If it is, e.g.,

If the above joint distribution with density $g$ is not available, the solution proposed by Procrastinator is quite appropriate.

The (frequentist) maximum likelihood estimator is as follows:

For $F$ in the exponential family, and if your statistics are sufficient your likelihood to be maximised can always be written in the form:

The way you actually maximize the likelihood depends mostly on the possiblity to write the likelihood analytically in a tractable way. If this is possible you will be able to consider general optimisation algorithms (newton-raphson, simplex...). If you do not have a tractable likelihood, you may find it easier to compute a conditional expection as in the EM algorithm, which will also yield maximum likelihood estimates under rather affordable hypotheses.

Best