Hangi dağılımlar maksimum olabilirlik tahmini için kapalı form çözümlerine sahiptir?

Hangi dağılımlar, bağımsız gözlemlerin bir örneğindeki parametrelerin maksimum olabilirlik tahminleri için kapalı form çözümlerine sahiptir?

Genelliği herhangi bir kayda değer kaybı olmadan biz olasılık yoğunluğu (veya kütle) varsayabiliriz herhangi gözlem için (dışarı bir üstel olarak yazmamızı sağlayan gözlemler) kesinlikle pozitiftir$f(x_i)$$x_i$$n$

$$f(x_i) = \exp{(g(x_i,\theta))}$$

bir parametre vektörü için .$\theta = (\theta_j)$

Günlük olabilirlik fonksiyonunun gradyanını sıfıra eşitlemek (eğer biri varsa, tüm iç küresel maksimumlar olacak olan sabit olma olasılığının sabit noktalarını bulur) formun bir dizi denklemini verir

$$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$$

her biri için bir tane . Bunlardan herhangi birinin hazır bir çözüme sahip olması için, terimlerini terimlerinden ayırabiliriz . (Her şey Matematiksel Tembellik İlkesi tarafından motive edilen bu anahtar fikirden akar : mümkün olduğunca az iş yapın; hesaplamadan önce düşünün; önce zor problemlerin kolay versiyonlarını ele alın.) Bunu yapmanın en genel yolu denklemlerin alınmasıdır. formx i θ$j$$x_i$$\theta$

$$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$$

bilinen işlevler için , ve için çözüm eş zamanlı denklemler çözülerek elde edilir.$\eta_j$$\tau_j$$\alpha_j$

$$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$$

için . Genel olarak bu çözmek zor olabilir, ancak değerler kümesini temin edecektir hakkında tam bilgi vermek , yapabiliriz sadece bu vektörün yerine " yerine (böylece "kapalı form" çözümü fikrini genelleştirerek yüksek verimli bir şekilde kullanın). Böyle bir durumda, ilgili entegre etmek verim$\theta$$\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$$\theta$ $\theta$$\theta_j$

$$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$$

(burada , dışındaki tüm bileşenleri ). Sol taraf işlevsel olarak bağımsız , bazı sabit işlev için sahip ; Bu bağlı olmamalıdır hiç; ve , bazı fonksiyonlarının türevleridir ve , her ikisi de işlevsel olarak verilerden bağımsız olarak, başka bir fonksiyonunun türevleridir . Nereden$\theta_j'$$\theta$$\theta_j$$\theta_j$$\tau_j(x)=T(x)$$T$$B$$\theta$$\eta_j$$H(\theta)$$\alpha_j$$A(\theta)$

$$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$$

Bu formda yazılabilecek yoğunluklar, iyi bilinen Koopman-Pitman-Darmois veya üstel aileyi oluşturur. Gamma, Normal, Chi-squared, Poisson, Multinomial ve diğerleri dahil olmak üzere sürekli ve ayrık önemli parametrik aileleri içerir .

Hepsini listeleyebileceğimi bilmiyorum. Üstel, normal ve binom akla geliyor ve hepsi üstel aileler sınıfına giriyor. Üstel ailenin üssünde yeterli istatistiği vardır ve mle genellikle bu yeterli istatistiğin güzel bir fonksiyonudur.