Üstel aile neden tüm dağıtımları içermiyor?

Kitap okuyorum:

Piskopos, Örüntü Tanıma ve Makine Öğrenmesi (2006)

üstel aileyi formun dağılımları olarak tanımlar (Denk. 2.194):

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

Ancak veya üzerinde herhangi bir kısıtlama görmüyorum . Bu , ve nin uygun seçimi ile bu forma herhangi bir dağıtımın yerleştirilebileceği anlamına gelmez (aslında sadece bir tanesinin doğru seçilmesi gerekir!)? Peki, üstel aile tüm olasılık dağılımlarını nasıl içermiyor ? Neyi kaçırıyorum? $h(\mathbf x)$ $\mathbf u(\mathbf x)$ $h(\mathbf x)$ $\mathbf u(\mathbf x)$

Son olarak, ilgilendiğim daha özel bir soru şudur: Bernoulli dağılımı üstel ailede mi? Wikipedia bunun olduğunu iddia ediyor, ancak burada bir şey hakkında açıkça kafam karıştığından, nedenini görmek istiyorum.

mathematical-statistics exponential-family

— Becko
kaynak

Bernoulli dağılımının üstel ailede olduğunun kanıtı için

gerçeğini kullanmayı deneyin

f (x; μ) = \exp (\log (f (x; μ)))

$f(x; \mu) = \exp (\log( f(x; \mu)))$ ve bunun sizi nereye

— götürdüğüne

Sadece açıklığa kavuşturmak için, bu formda herhangi bir dağıtımın yazılabileceğini veya bu formda herhangi bir dağıtım ailesinin yazılabileceğini mi soruyorsunuz? İkinci soruya cevaplar almış gibisiniz.

— Owen

@Owen Evet, görüyorum ki bu çok önemli bir nokta. Bu formda herhangi bir dağıtım ( ve ayarlanarak) yazılabilse de, bu ailenin bu formda yazılabileceği anlamına gelmez .

h (x)

$h(\mathbf x)$

g = 1, u = 0

$g=1,\mathbf u= 0$

— becko

@becko, Bu kesinlikle doğru. Metindeki "üstel aile" ifadesi biraz yanıltıcıdır, çünkü sadece tek bir üstel aile yoktur; bunun yerine, her seçim bir aileye yol açar. Birçok yazar bunun yerine "üstel bir aile" diyor ve bunu daha açık hale getiriyor; ör. Wikipedia sayfasına bakın: en.wikipedia.org/wiki/Exponential_family

(h, g, u)

$(h, g, \mathbf u)$

— Brent Kerby

@becko Argümanınız, herhangi bir dağılımın üstel bir ailenin bir üyesi olabileceğini gösteriyor , ancak herhangi bir dağıtım ailesinin üstel bir aile olamayacağını göstermiyor.

— Matthew Drury

Yanıtlar:

Tanımınızın bir sonucu: olmasıdır destek parametresi tarafından dizine dağıtım ailesinin bağlı olmayan . (Bir olasılık dağılımının desteği, olasılıkla en az ayarlanan (veya kapatılan) veya başka bir deyişle, dağıtımın yaşadığı yerdir .) Bu nedenle, parametreye bağlı olarak destekli bir dağıtım ailesinin karşı örneğini vermek yeterlidir, bunun en kolay örneği, aşağıdaki tekdüze dağılım ailesidir:

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

η

$\eta$

η

$\eta$

U (0, η), η > 0

$\text{U}(0, \eta), \quad \eta > 0$ . (@Chaconne tarafından verilen diğer cevap daha karmaşık bir karşı örnek verir).

Tüm dağılımların üstel aile olmaması ile ilgili olmayan bir başka neden ise, üstel aile dağılımının her zaman var olan bir an üreten fonksiyona sahip olmasıdır. Tüm dağılımların mgf'si yoktur.

— kjetil b halvorsen
kaynak

Merkezi olmayan Laplace dağılımını düşünün

f (x; μ, σ) \propto \exp (- | x - μ | / σ) .

$f(x; \mu, \sigma) \propto \exp \left(-| x - \mu | / \sigma \right).$

$\mu = 0$ $|x - \mu|$ $\mu$ $x$

Üstel aile, yaygın olarak karşılaştığımız güzel adlandırılmış dağıtımların büyük çoğunluğunu içerir, bu nedenle ilk başta ilgi çekici her şeye sahip gibi görünebilir, ancak hiçbir şekilde kapsamlı değildir.

— JLD
kaynak