Kesilmiş dağıtım için maksimum olasılık tahmin edicileri

Düşünün bağımsız örnekler rastgele değişken elde edilen (örneğin, bir kesik bir dağılımı gösterdiği kabul edilmektedir normal dağılım kesildi bilinen (sonlu) minimum ve maksimum değerler için) ve ancak bilinmeyen parametreler arasında ve . Eğer kesik olmayan bir dağılım , ve için ve en yüksek olabilirlik tahmin edicileri ortalama $N$ $S$ $X$ $a$ $b$ $\mu$ $\sigma^2$ $X$ $\widehat\mu$ $\widehat\sigma^2$ $\mu$ $\sigma^2$ $S$ $\widehat\mu = \frac{1}{N} \sum_i S_i$ ve örnek varyansı . Bununla birlikte, kesilmiş bir dağıtım için, bu şekilde tanımlanan örnek varyansı ile sınırlandırılmıştır, bu nedenle her zaman tutarlı bir tahmin edici değildir: , olasılıkla birleşemez. olarak sonsuzluğa gider. Öyle görünüyor ki, ve , kesilmiş bir dağıtım için ve değerinin maksimum olabilirlik tahmin edicisi değildir . Tabii ki, bu ve beri beklenen $\widehat\sigma^2 = \frac{1}{N} \sum_i (S_i - \widehat\mu)^2$ $(b-a)^2$ $\sigma^2 > (b-a)^2$ $\sigma^2$ $N$ $\widehat\mu$ $\widehat\sigma^2$ $\mu$ $\sigma^2$ $\mu$ $\sigma^2$ kesilmiş normal dağılımın parametreleri, ortalama ve varyans değildir.

Peki, bilinen minimum ve maksimum değerlerin kesilmiş bir dağılımının ve parametrelerinin maksimum olasılık tahmin edicileri nelerdir? $\mu$ $\sigma$

— a3nm
kaynak

Analizinden emin misin? Bence geçersiz bir varsayımda bulunuyorsunuz: kısaltılmış durum için, nin MLE'si artık örneklem varyansı değil (ve genel olarak muL'nin MLE'si artık örneklem ortalaması değil)!

σ^{2}

$\sigma^2$

μ

$\mu$

— whuber

whuber: Biliyorum, bu kesinlikle benim sorum: kesik olayda ve mu'nın MLE'leri nelerdir? Bu konuda ısrar etmek için bir cümle ekleme.

σ^{2}

$\sigma^2$

μ

$\mu$

— a3nm

Kapalı bir form çözümü yok. Yapabileceğiniz tek şey, log olasılığını sayısal olarak en aza indirmektir. Fakat bu niteliksel olarak, kapalı bir form çözümü olmayan lojistik regresyon gibi diğer birçok modelden farklı değildir.

— whuber

whuber: Bu doğruysa, bu oldukça hayal kırıklığı yaratıyor. Kapalı form çözümlerinin eksikliğine dair referanslarınız var mı? Maksimum olasılık olmayan ancak en azından tutarlı (ve isteğe bağlı olarak tarafsız olan) kapalı formlu tahmin ediciler var mı?

— a3nm

@whuber: En azından küçültmenin hızlı olması için numunelerinizi yeterli istatistiklere göre basitleştirebilir misiniz?

— Neil G,

Bir "standart" dağılım tarafından belirlenen herhangi bir yer ölçeğinde aileyi düşünün , $F$

Ω_{F} = {F_{(μ, σ)} : x \to F (\frac{x - μ}{σ}) ∣ σ > 0} .

$\Omega_F = \left\{F_{(\mu, \sigma)}: x \to F\left(\frac{x-\mu}{\sigma}\right) \mid \sigma \gt 0\right\}.$

farklılaşabileceğini varsayarak , PDF'lerin olduğunu kolayca buluruz . $F$ $\frac{1}{\sigma}f\left((x-\mu)/\sigma\right)dx$

Bu dağıtımların ve arasındaki kısıtlamasını kısıtlamak için kısaltılması , , PDF’lerin değiştirildiği anlamına gelir. $a$ $b$ $a \lt b$

f_{(μ, σ; a, b)} (x) = \frac{f (\frac{x - μ}{σ}) d x}{σ C (μ, σ, a, b)}, a \leq x \leq b

$f_{(\mu, \sigma; a,b)}(x) = \frac{f\left(\frac{x-\mu}{\sigma}\right)dx}{\sigma C(\mu, \sigma, a, b)}, a \le x \le b$

(ve diğer tüm değerleri için sıfırdır ) burada nin birliğe entegre olmasını sağlamak için gereken normalleştirme faktörüdür . (Not bu özdeş olan kesme yokluğunda). İid veri için günlük olabilirlik nedenle $x$ $C(\mu, \sigma, a, b) = F_{(\mu,\sigma)}(b) - F_{(\mu,\sigma)}(a)$ $f_{(\mu, \sigma; a, b)}$ $C$ $1$ $x_i$

Λ (μ, σ) = \sum_{i} [\log f (\frac{x_{i} - μ}{σ}) - \log σ - \log C (μ, σ, a, b)] .

$\Lambda(\mu, \sigma) = \sum_i \left[\log{f\left(\frac{x_i-\mu}{\sigma}\right)} - \log{\sigma}-\log{C(\mu, \sigma, a, b)}\right].$

Kritik noktalar (herhangi bir global minima dahil) (burada görmezden geleceğim özel bir durum) veya degradenin yok olduğu yerlerde bulunur. Türevleri belirtmek için abonelikleri kullanarak, gradyanı biçimsel olarak hesaplayabilir ve olasılık denklemlerini şu şekilde yazabiliriz: $\sigma=0$

\begin{aligned} 0 & = \frac{\partial Λ}{\partial μ} & = \sum_{i} [\frac{- f_{μ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} - \frac{C_{μ} (μ, σ, a, b)}{C (μ, σ, a, b)}] \\ 0 & = \frac{\partial Λ}{\partial σ} & = \sum_{i} [\frac{- f_{σ} (\frac{x_{i} - μ}{σ})}{σ^{2} f (\frac{x_{i} - μ}{σ})} - \frac{1}{σ} - \frac{C_{σ} (μ, σ, a, b)}{C (μ, σ, a, b)}] \end{aligned}

$\eqalign{ 0 &= \frac{\partial\Lambda}{\partial\mu} &= \sum_i \left[\frac{-f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{C_\mu(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] \\ 0 &= \frac{\partial\Lambda}{\partial\sigma} &= \sum_i \left[\frac{-f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{\sigma^2f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{1}{\sigma}-\frac{C_\sigma(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] }$

Çünkü ve sabittir, gösterimden bırakın ve yazma olarak ve olarak . (Kesintisiz, her iki işlev de aynı şekilde sıfır olur.) Verileri içeren terimleri diğerlerinden ayırma $a$ $b$ $nC_\mu(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ $A(\mu,\sigma)$ $nC_\sigma(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ $B(\mu, \sigma)$

\begin{aligned} - A (μ, σ) & = \sum_{i} \frac{f_{μ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} \\ - σ^{2} B (μ, σ) - n σ & = \sum_{i} \frac{f_{σ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} \end{aligned}

$\eqalign{ -A(\mu,\sigma) &= \sum_i \frac{f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} \\ -\sigma^2 B(\mu,\sigma) - n\sigma &= \sum_i \frac{f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} }$

Bunları kısaltmasız durumla karşılaştırarak aşikar olduğu açıktır.

Orijinal problem için yeterli istatistik, kesilen problem için yeterlidir (çünkü sağ taraf değişmemiştir).
Kapalı formda çözümler bulma becerimiz, ve izlenebilirliğine bağlıdır . Bunlar basit bir şekilde ve , genel olarak kapalı formlu çözümler elde etmeyi umut edemeyiz. $A$ $B$ $\mu$ $\sigma$

Normal bir aile için, elbette , , normal fonksiyonlar olarak verilir, ki bu, hata fonksiyonlarının bir farkıdır: kapalı formlu bir çözümün ortaya çıkma olasılığı yoktur. genel olarak elde edilmiştir. Bununla birlikte, sadece iki yeterli istatistik vardır (örnek ortalaması ve varyansı olacaktır) ve CDF olabildiğince yumuşaktır, bu nedenle sayısal çözümlerin elde edilmesi nispeten kolay olacaktır. $C(\mu,\sigma,a,b)$

— whuber
kaynak

Bu çok ayrıntılı cevap için çok teşekkürler! , , ve ne olduğundan emin değilim , onları tanımlayabilir misiniz? Ayrıca, açıktır ancak kesin olmak gerekirse, pdf için ifadenizin için olduğunu söyleyebiliriz (ve pdf bunun dışında sıfırdır). Tekrar teşekkürler!

f_{μ}

$f_\mu$

f_{σ}

$f_\sigma$

C_{μ}

$C_\mu$

C_{σ}

$C_\sigma$

x \in [a, b]

$x \in [a, b]$

— a3nm

Genel uzun gösterim, , vs.: açıklandığı gibi, bir türevdir. Önerdiğin ikinci değişikliği yapacağım, çünkü bu önemli bir açıklama, teşekkürler.

C_{μ} = \frac{\partial}{\partial μ} C (μ, σ, a, b)

$C_\mu = \frac{\partial}{\partial\mu}C(\mu,\sigma,a,b)$

— whuber

Ayrıca, cevabınız beklediğimden daha genel olduğundan, normal dağılım durumlarında daha az ısrar etmek için sorumu değiştirdim. Çabalarınız için tekrar teşekkürler.

— a3nm

Normal dağılımlara odaklanmakla karşılaştırıldığında, bu genellikte açıklamak daha kolaydı! Türevlerin hesaplanması ve CDF'nin kesin biçimini göstermesi gereksiz dikkat dağıtıcıdır (gerçekte nümerik çözümü kodlamaya başladığınızda faydalı olmasına rağmen).

— whuber

Sabitlediğin için teşekkürler! Onlardan birini özledin; düzenlememi gözden geçirir misiniz?

— a3nm