Üstel Aile: Gözlemlenen ve Beklenen Yeterli İstatistikler

Benim sorum, Minka'nın rastgele vektörlerin gözlemlerine dayanan bir Dirichlet dağılımı için maksimum olabilirlik tahmincisi türetme bağlamında aşağıdakileri kanıtsız olarak ifade eden "Bir Dirichlet Dağılımını Tahmin Etme" okumasını okumaktan kaynaklanmaktadır:

Her zaman olduğu gibi üstel ailede olduğu gibi, eğim sıfır olduğunda, beklenen yeterli istatistikler gözlemlenen yeterli istatistiklere eşittir.

Bu şekilde sunulan üstel ailede maksimum olasılık tahmini görmedim ya da araştırmamda uygun herhangi bir açıklama bulamadım. Birisi gözlemlenen ve beklenen yeterli istatistikler arasındaki ilişki hakkında fikir verebilir ve belki de farklılık olasılığını en aza indirgemek için maksimum olasılık tahminini anlamaya yardımcı olabilir mi?

— Ben Bray
kaynak

Bu, üstel aile hakkında olağan bir iddiadır, ancak bence, çoğu zaman daha az deneyimli okuyucuyu karıştırabilecek bir şekilde ifade edilir. Çünkü, yüz değeri dikkate alındığında, "rastgele değişkenimiz üstel ailede bir dağılımı takip ederse, o zaman bir örnek alıp yeterli istatistiğe yerleştirirsek, istatistiğin gerçek beklenen değerini elde edeceğiz" şeklinde yorumlanabilir. ". Sadece bu kadar olsaydı ... Daha fazlası, numunenin boyutunu dikkate almaz, bu da daha fazla karışıklığa neden olabilir.

Üstel yoğunluk fonksiyonu

\begin{matrix} (1) & f_{X} (x) = h (x) e^{η (θ) T (x)} e^{- A (θ)} \end{matrix}

$f_X(x) = h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)} \tag{1}$

burada yeterli istatistiktir. $T(x)$

Bu bir yoğunluk olduğu için, birliğe entegre olması gerekir, bu yüzden ( , desteğidir ) $S_x$ $X$

\begin{matrix} (2) & \int_{S_{x}} h (x) e^{η (θ) T (x)} e^{- A (θ)} d x = 1 \end{matrix}

$\int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =1 \tag{2}$

Denk. tüm için tutar, böylece her iki tarafı da ona göre ayırt edebiliriz: $(2)$ $\theta$

\begin{matrix} (3) & \frac{\partial}{\partial θ} \int_{S_{x}} h (x) e^{η (θ) T (x)} e^{- bir (θ)} d x = \frac{\partial (1)}{\partial θ} = 0 \end{matrix}

$\frac {\partial}{\partial \theta} \int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =\frac {\partial (1)}{\partial \theta} =0 \tag{3}$

Farklılaşma ve entegrasyon sırasını değiştirerek,

\begin{matrix} (4) & \int_{S_{x}} \frac{\partial}{\partial θ} (h (x) e^{η (θ) T (x)} e^{- bir (θ)}) d x = 0 \end{matrix}

$\int_{S_x} \frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right)dx =0 \tag{4}$

Sahip olduğumuz farklılaşmayı gerçekleştirmek

\begin{matrix} (5) & \frac{\partial}{\partial θ} (h (x) e^{η (θ) T (x)} e^{- bir (θ)}) = f_{X} (x) [T (x) η^{'} (θ) - {bir}^{'} (θ)] \end{matrix}

$\frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right) = f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big] \tag{5}$

Takma içine elde ederiz $(5)$ $(4)$

\int_{S_{x}} f_{X} (x) [T (x) η^{'} (θ) - {bir}^{'} (θ)] d x = 0

$\int_{S_x} f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big]dx =0$

\begin{matrix} (6) & \Rightarrow η^{'} (θ) E [T (X)] - A^{'} (θ) = 0 \Rightarrow E [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} \end{matrix}

$\Rightarrow \eta'(\theta)E[T(X)] - A'(\theta) = 0 \Rightarrow E[T(X)] = \frac {A'(\theta)}{\eta'(\theta)} \tag{6}$

Şimdi soruyoruz: nın sol tarafı gerçek bir sayıdır. Bu nedenle, sağ taraf da bir işlev değil , gerçek bir sayı olmalıdır . Bu nedenle belirli bir değerlendirilmeli ve "doğru" , aksi takdirde sol tarafta un gerçek beklenen değerine sahip olmazdık . Bu vurgulamak için biz tarafından gerçek değerini belirtmek ve biz yeniden yazma olarak $(6)$ $\theta$ $\theta$ $T(X)$ $\theta_0$ $(6)$

\begin{matrix} (6a) & E_{θ_{0}} [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = θ_{0}} \end{matrix}

$E_{\theta_0}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\theta_0} \tag{6a}$

Şimdi maksimum olabilirlik tahminine dönüyoruz . Boyutuna sahip bir numune için log olasılık olduğu $n$

L (θ ∣ x) = \sum_{i = 1}^{n} \ln h (x_{i}) + η (θ) \sum_{i = 1}^{n} T (x_{i}) - n A (θ)

$L(\theta \mid \mathbf x) = \sum_{i=1}^n\ln h(x_i) +\eta(\theta)\sum_{i=1}^nT(x_i) -nA(\theta)$

göre türevini eşitleyerek MLE'yi elde ederiz $\theta$ $0$

\begin{matrix} (7) & \hat{θ} (x) : \frac{1}{n} \sum_{i = 1}^{n} T (x_{i}) = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = \hat{θ} (x)} \end{matrix}

$\hat \theta(x) : \frac 1n\sum_{i=1}^nT(x_i) = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat \theta(x)} \tag {7}$

ile karşılaştırın . Sağ taraflar eşit değildir , çünkü MLE tahmincisinin gerçek değere çarptığını iddia edemeyiz. Yani sol taraf da değil. Ancak unutmayın. tüm için tutar ve böylece de. Yani eq. ile ilgili alınabilir ve böylece eq yazabiliriz. için : $(7)$ $(6a)$ $2$ $\theta$ $\hat \theta$ $3,4,5,6$ $\hat \theta$ $6a$ $\hat \theta$

\begin{matrix} (6b) & E_{\hat{θ} (x)} [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = \hat{θ} (x)} \end{matrix}

$E_{\hat\theta(x)}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat\theta(x)} \tag{6b}$

ile birleşince bizi geçerli ilişkiye götürür $(7)$

E_{\hat{θ} (x)} [T (X)] = \frac{1}{n} \sum_{i = 1}^{n} T (x_{i})

$E_{\hat\theta(x)}[T(X)] = \frac 1n\sum_{i=1}^nT(x_i)$

inceleme altındaki iddianın gerçekten söylediği şey: bilinmeyen parametreler için MLE altında yeterli istatistiğin beklenen değeri (diğer bir deyişle, kullanırsak elde edeceğimiz dağılımın ilk ham anının değeri yerine ), eşit ) (ve sadece yaklaşmaz ortalama örneğinden hesaplanan yeterli istatistiği . $\hat \theta(x)$ $\theta$ $\mathbf x$

Ayrıca, sadece örneklem büyüklüğü ise, “MLE altındaki yeterli istatistiğin beklenen değeri yeterli istatistiğe eşittir” diyebiliriz. $n=1$

— Alecos Papadopoulos
kaynak

6a'dan 6b'ye geçişin neden geçerli olduğunu daha ayrıntılı açıklayabilir misiniz?

— Theoden

@Theoden eq. ve yazıyorum "eq tutan herkes için ve bu nedenle için -" da. Yani eq. açısından alınabilir . Netlik için metindeki bu açıklamayı tekrarladım.

(2)

$(2)$

(3)

$(3)$

(2)

$(2)$

θ

$\theta$

\hat{θ}

$\hat \theta$

3, 4, 5, 6

$3,4,5,6$

\hat{θ}

$\hat \theta$

— Alecos Papadopoulos

@AlecosPapadopoulos aşağıdaki kanıtınız başlangıçta söylediklerinizi gösteriyor gibi görünüyor - "rastgele değişkenimiz üstel ailede bir dağılımı takip ediyorsa, o zaman bir örnek alıp yeterli istatistiğe yerleştirirsek, gerçek beklenen değeri elde edeceğiz istatistiğin "doğrudur. Yani bunu her zaman (2) için yapabilirim, yerine yeterli stat ile değiştirebilir ve sonucu elde edebilirim. Burada ne eksik? Tam anlamıyorum.

— user10024395

@ user136266 gerçek istatistiğinin beklenen değeridir ve sırayla parametre, tasarım bilinmeyen tarafından, bilmek, bir ihtiyacı hesaplanacak . Yani ne varsa aslında hesapla is hangi istatistiğinin beklenen değer bizim nokta tahmini gerçek değerini vurdu varsayımı altında .

6 a

$6a$

θ

$\theta$

6 b

$6b$

— Alecos Papadopoulos

Denklemdeki farklılaşma ve entegrasyon sırasını neden değiştirebileceğimizi açıklar mısınız? (3) lütfen?

— Markus777