Bir dağılım ailesinin tanımı?

Bir dağıtım ailesinin istatistik için diğer disiplinlerden farklı bir tanımı var mı?

Genel olarak, bir eğri ailesi , her biri bir veya daha fazla parametrenin değiştiği bir fonksiyon veya parametrelerle verilen bir eğriler kümesidir. Bu tür aileler, örneğin, elektronik bileşenleri karakterize etmek için kullanılır .

İstatistikler için, bir kaynağa göre bir aile , şekil parametresini değiştirmenin sonucudur. O zaman gama dağılımının bir şekil ve ölçek parametresine sahip olduğunu ve yalnızca genelleştirilmiş gama dağılımının ek olarak bir konum parametresi olduğunu nasıl anlayabiliriz? Bu, aileyi location parametresini değiştirmenin sonucu yapar mı? @Whuber'a göre bir ailenin anlamı dolaylı olarak bir ailenin "parametreleştirilmesi", top alt kümesinden , her zamanki topolojisi ile imajı o aile olan dağılım alanına sürekli bir haritadır .$^n$

Basit bir dilde, istatistiksel dağılımlar için bir aile nedir?

Aynı ailenin dağılımlarının istatistiksel özellikleri arasındaki ilişkiler hakkında bir soru, farklı bir soru için kayda değer bir tartışma yarattı, bu yüzden anlamı araştırmaya değer görünüyor.

Bunun mutlaka basit bir soru olmaması , eğriler ailesiyle ilgisi olmayan üstel aile ifadesinde kullanılmasıyla ortaya çıkmaktadır , ancak sadece parametrelerin yeniden parametrelendirilmesiyle bir dağıtımın PDF biçiminin değiştirilmesi ile ilgilidir. , fakat aynı zamanda bağımsız rasgele değişkenlerin fonksiyonlarının ikamesi.

İstatistiksel ve matematiksel kavramlar tamamen aynıdır, "aile" nin farklı koşullara uyarlanmış teknik varyasyonları olan genel bir matematiksel terim olduğu anlaşılmaktadır:

Parametrik bir aile, tüm dağılımların uzayda bir eğridir (veya bunun yüzeyi veya başka bir sonlu boyutlu genellemesi).

Bu yazının geri kalanı bunun ne anlama geldiğini açıklıyor. Bir yana, bunların hiçbirinin matematiksel veya istatistiksel olarak tartışmalı olduğunu düşünmüyorum (aşağıda belirtilen küçük bir sorun dışında). Bu görüşü desteklemek için birçok referans sağladım (çoğunlukla Wikipedia makalelerine).

Bu "aileler" terminolojisi, sınıflar fonksiyonlarını bir küme veya "haritalar" olarak incelerken kullanılma eğilimindedir . Bir etki alanı verildiğinde , bazı set ("parametreler") tarafından parametrelendirilen üzerindeki haritaların bir ailesi bir işlevdir YX F X Θ$\mathcal C_Y$$Y$$X$ $\mathcal F$$X$ $\Theta$

için olan (1) için, her , fonksiyon ile verilen olan içerisinde ve (2) kendisinin belirli "hoş" özelliklere sahiptir.F θ : X → Y F θ ( x ) = F ( x , θ ) C Y $\theta\in\Theta$$\mathcal{F}_\theta:X\to Y$$\mathcal{F}_\theta(x)=\mathcal{F}(x,\theta)$$\mathcal{C}_Y$$\mathcal F$

Fikir biz işlevleri değişir istiyorum ki için "yumuşak" veya kontrollü bir şekilde. İşletme (1) araçlarının her belirtir böyle bir fonksiyon, bir özellik (2) ait detayları anlamda ele ise de bir "küçük" bir değişiklik de uyarmaktadır yeterince "küçük" bir değişiklik .Y θ θ F$X$$Y$$\theta$$\theta$$\mathcal{F}_\theta$

Soruda belirtilene yakın standart bir matematiksel örnek bir homotopidir . Bu durumda, olduğu kategori sürekli haritaları topolojik alanlarda topolojik boşluğa ; olağan topolojisi ile birimi aralığı olduğunu ve gerektirir bir olmak sürekli topolojik üründen harita içine . "Haritanın - sürekli deformasyonu" olarak düşünülebilir . Ne zaman XYΘ=[0,1]⊂ R F X×ΘY F 0 F 1 X=[0,1]$\mathcal{C}_Y$ $X$$Y$$\Theta=[0,1]\subset\mathbb{R}$$\mathcal{F}$$X \times \Theta$$Y$$\mathcal{F}_0$$\mathcal{F}_1$$X=[0,1]$ kendisi bir aralık, bu tür haritalarıdır eğrileri de ve Homotopy bir eğriden başka yumuşak bir deformasyondur.$Y$

İstatistiksel uygulamalar için, (veya pratikte, bazı için üzerindeki tüm dağılımların kümesidir , ancak açıklamayı basit tutmak için odaklanacağım ). Tüm azalmayan grubu ile tespit edebilir càdlàg fonksiyonları onların aralığının kapatılması içerir burada ve : bunlar kümülatif dağılım fonksiyonu, ya da sadece dağılım fonksiyonları. Böylece, ve .R R n nn=1 R →[0,1]01X= R Y=[0,1$\mathcal{C}_Y$$\mathbb{R}$$\mathbb{R}^n$$n$$n=1$$\mathbb{R}\to [0,1]$$0$$1$$X=\mathbb R$$Y=[0,1]$

Bir dağıtım ailesi herhangi bir alt kümesidir . $\mathcal{C}_Y$ Bir aile için başka bir isim istatistiksel modeldir. Gözlemlerimizi yönettiğimizi düşündüğümüz tüm dağıtımlardan oluşur, ancak gerçekte hangi dağıtımın olduğunu bilmiyoruz.

• Bir aile boş olabilir.
• kendisi ailesidir.$\mathcal{C}_Y$
• Bir aile, tek bir dağılımdan veya sadece sınırlı sayıda olabilir.

Bu soyut küme-teorik özellikler nispeten az ilgi veya faydaya sahiptir. Biz ek (ilgili) matematiksel yapıyı göz önüne aldığımızda bu sadece bu kavram yararlı olur. Ama ne özellikleri C Y istatistiksel ilgi çekiyor? Sık görülen bazı kişiler:$\mathcal{C}_Y$$\mathcal{C}_Y$

1. dışbükeybirkümedir:iki dağılımı göz önüne alındığındaiçinkarışım dağılımıoluşturabiliriz.hepsi. Bu gelen "homotopi" bir türiçin.$\mathcal{C}_Y$ ( 1 - t ) F + t G ∈ Y t ∈ [ 0 , 1 ] F ${F}, {G}\in \mathcal{C}_Y$ $(1-t){F}+t{G}\in Y$$t\in[0,1]$$F$$G$

2. büyük bölümleri , Kullback-Leibler sapması veya yakından ilişkili Fisher Information metriği gibi çeşitli sahte metrikleri destekler .$\mathcal{C}_Y$

3. FG F ⋆$\mathcal{C}_Y$ ek bir yapıya sahiptir: iki ve dağılımına karşılık gelen toplamları, .$F$$G$${F}\star {G}$

4. $\mathcal{C}_Y$ , genellikle "özellikler" olarak adlandırılan birçok yararlı, doğal işlevi destekler. Bunlar arasında herhangi bir sabit kantil (medyan gibi) ve kümülanlar bulunur .

5. $\mathcal{C}_Y$ , bir işlev alanının alt kümesidir . Bu nedenle, tarafından verilen sup norm ( norm) gibi birçok yararlı metriği devralır.$L^\infty$

   $$||F-G||_\infty = \sup_{x\in\mathbb{R}}|F(x)-G(x)|.$$

6. üzerindeki doğal grup eylemleri üzerindeki eylemleri . Sık işlemler olan çeviriler ve ölçekleme için . Bunların bir dağıtım üzerindeki etkisi , tarafından verilen dağılıma göndermektir . Bunlar, konum ölçeğinde ailelerin kavramlarına ve genellemelerine yol açmaktadır. (Bir referans sağlamıyorum, çünkü kapsamlı Web aramaları çeşitli tanımları ortaya çıkarır: en azından burada küçük bir tartışma olabilir.)$\mathbb R$T μ :x→x+μ S σ :x→xσσ>0F F μ , σ (x)=F((x-μ) / σ$\mathcal{C}_Y$ $T_\mu:x \to x+\mu$ $S_\sigma:x\to x\sigma$$\sigma\gt 0$$F$$F^{\mu,\sigma}(x) = F((x-\mu)/\sigma)$

Önemli olan özellikler istatistiksel soruna ve verileri nasıl analiz etmek istediğinize bağlıdır. Önceki özelliklerin önerdiği tüm varyasyonları ele almak, bu ortam için çok fazla yer kaplayacaktır. Bir ortak önemli uygulamaya odaklanalım.

Örneğin, Maksimum Olabilirliği ele alalım. Çoğu uygulamada bir tahmin elde etmek için Matematik kullanmak isteyeceksiniz. Bunun işe yaraması için, ailede "türev alabilir" olmanız gerekir.

( Kenara Teknik: Bu gerçekleştirilir ki burada her zamanki gibi bir alan adı seçmektir için ve belirtmek sürekli yerel olarak ters çevrilebilir fonksiyonu gelen içine (bu araçlarının her. bir top vardır ile olan bire bir, Başka bir deyişle, değiştirirsek d ≥ 0 p Θ C Y θ ∈ Θ B ( θ , ϵ ) ϵ > 0 p ∣ B ( θ , ϵ ) : B ( θ , ϵ ) ∩ Θ → C Y$\Theta\subset \mathbb{R}^d$$d\ge 0$$p$$\Theta$$\mathcal{C}_Y$$\theta\in\Theta$$B(\theta, \epsilon)$$\epsilon\gt 0$$p\mid_{B(\theta,\epsilon)}: B(\theta,\epsilon)\cap \Theta \to \mathcal{C}_Y$$\theta$ yeterince küçük bir miktarda her zaman farklı bir dağıtım elde edeceğiz.))

Sonuç olarak, çoğu ML uygulamasında bileşeninde sürekli (ve umarım neredeyse her yerde farklılaşabilir) olmasını istiyoruz . (Süreklilik olmadan, olasılığı en üst düzeye çıkarmak genellikle zor bir sorun haline gelir.) Bu, parametrik bir ailenin aşağıdaki olasılık odaklı tanımına yol açar :$p$$\Theta$

(Tek değişkenli) dağılımlarının bir parametrik ailesi yerel olarak tersinir haritasıdır ile için burada (a) her olan her biri için bir dağılım fonksiyonu ve (b) , fonksiyon tarafından verilen süreklidir ve hemen hemen her yerde farklılaşabilir.Θ ⊂ R n F θ x ∈ R L x : θ → [ 0 , 1 ] L x ( θ ) = F ( x , θ

$$\mathcal{F}:\mathbb{R}\times\Theta \to [0,1],$$ $\Theta\subset \mathbb{R}^n$$\mathcal{F}_\theta$$x\in\mathbb R$$\mathcal{L}_x: \theta\to [0,1]$$\mathcal{L}_x(\theta) = \mathcal{F}(x,\theta)$

Bir parametrik aile sadece topluluğundan daha fazlasıdır : parametre değerlerinin dağılımlara karşılık gelmesinin belirli bir yolunu da içerir .F θ$\mathcal F$$\mathcal{F}_\theta$$\theta$

Sonunda açıklayıcı örnekler verelim.

• Let tüm kümesi Normal dağılımlar. Verildiği gibi, bu parametrik bir aile değil : sadece bir aile. Parametrik olmak için, bir parametreleştirme seçmeliyiz. Bunun bir yolu, seçmek ve ile Normal dağılım ortalama ve varyans . Θ={(μ,σ)∈ R 2 ∣σ>0}(μ,σ)μ σ $\mathcal{C}_Y$$\Theta = \{(\mu,\sigma)\in\mathbb{R}^2\mid \sigma \gt 0\}$$(\mu,\sigma)$$\mu$$\sigma^2$

• Poisson dağılımları$(\lambda)$ λ ∈ Θ = ( 0 , ∞ ) ⊂ R 1 kümesi bir parametrik ailedir .$\lambda\in\Theta=(0,\infty)\subset\mathbb{R}^1$

• Tekdüzen dağılımları (birçok ders kitabı alıştırmasında belirgin bir şekilde yer alan), bir parametrik ailedir . Bu durumda, olduğu türevlenebilir içinde haricinde .θ ∈ R 1 F θ ( x ) = maks. ( 0 , dk. ( 1 , x - θ ) ) $(\theta, \theta+1)$$\theta\in\mathbb{R}^1$$F_\theta(x) = \max(0, \min(1, x-\theta))$$\theta$$\theta\in\{x, x-1\}$

• Let ve olmak herhangi iki dağılımları. O zaman , için bir parametrik ailedir . (Test: görüntü dağılımları bir dizi ve kısmi türevi eşittir her tanımlanmaktadır.)G F ( x , θ ) = ( 1 - θ ) F ( x ) + θ G ( x ) θ ∈ [ 0 , 1 ] F θ - F ( x ) + G ( x $F$$G$$\mathcal{F}(x,\theta)=(1-\theta)F(x)+\theta G(x)$$\theta\in[0,1]$$\mathcal F$$\theta$$-F(x)+G(x)$

• Pearson ailesi dört boyutlu bir aile olduğunu (diğerleri arasında) normal dağılımlar, beta dağılımları ve ters Gama dağılımları içerir. Bu, herhangi bir dağıtımın birçok farklı dağıtım ailesine ait olabileceğini göstermektedir . Bu, (yeterince büyük) bir alandaki herhangi bir noktanın orada kesişen birçok yola ait olabileceğini gözlemlemeye mükemmel bir şekilde benzemektedir. Bu, önceki yapı ile birlikte, hiçbir dağıtımın ait olduğu bir aileyi benzersiz bir şekilde belirlemediğini gösterir .$\Theta\subset\mathbb{R}^4$

• Kesin sürekli dağılımların tümünün ailesi parametrik değildir . Dayanıklı topoloji derin teoremi gerektirir: Biz miktarda bağış ise ile herhangi bir ve (istatistiksel olarak yararlı bir ya da değil) topolojisi süreklidir ve yerel olarak sürekli bir ters sahiptir, yerel olarak aynı boyuta sahip olmalıdır . Bununla birlikte, tüm istatistiksel olarak anlamlı topolojileri, olan sonsuz boyutlu.C Y p:Θ→ C Y C Y Θ C$\mathcal{C}_Y$$\mathcal{C}_Y$$p: \Theta\to\mathcal{C}_Y$$\mathcal{C}_Y$$\Theta$$\mathcal{C}_Y$

Soruda ortaya çıkan belirli bir noktayı ele almak için: "üstel aile", bir dizi dağılımı ifade etmez. (Standart, örneğin, üstel dağılım, üstel dağılımlar ailesinin bir üyesi, üstel bir aile; gamma dağılımları ailesinin, aynı zamanda üstel bir aile; Weibull dağılımlar ailesinin bir üyesi değil, herhangi bir sayıdan; Hayal edebileceğiniz gibi, "üstel" bir dağılım ailesinin sahip olduğu bir mülkü ifade eder. Bu yüzden "üstel ailede dağılımlar" dan değil, "üstel dağılım ailelerinden" bahsetmemeliyiz. Bazı nedenlerden dolayı yer ölçeğinde ailelerden bahsederken kimse bu suistimali gerçekleştirmez.

@Whuber sayesinde, bu yazının ortaya çıktığı soruyla ilgili daha basit bir form olduğunu umduğum kadar özetlemek için yeterli bilgi var . "Bir ailenin [ Sic , istatistiksel aile] diğer adı da istatistiksel modeldir ."

Bu Wikipedia girişinden: İstatistiksel bir model, gözlemlerimizi yönettiğimizi varsaydığımız tüm dağılımlardan oluşur, ancak hangi dağıtımın gerçek olduğunu başka türlü bilmiyoruz. Bir istatistiksel modeli diğer matematiksel modellerden ayıran şey, bir istatistiksel modelin deterministik olmamasıdır. Böylece, matematiksel denklemler ile belirtilen istatistiksel bir modelde, bazı değişkenlerin spesifik değerleri yoktur, bunun yerine olasılık dağılımları vardır; yani, bazı değişkenler stokastiktir. İstatistiksel bir model genellikle bir çift olarak düşünülür , burada olası gözlemler kümesi, yani örnek alanıdır ve , üzerindeki bir olasılık dağılımları kümesidir .S P $( S , P )$$S$$P$$S$

Bir istatistiksel model olduğunu varsayalım ile . Model olduğu söylenir Parametrik modeli ise sonlu bir boyuta sahiptir. Gösterimde, burada pozitif bir tamsayı olduğunu yazıyoruz ( gerçek sayıları ifade eder; prensip olarak diğer kümeler kullanılabilir). Burada , modelin boyutu olarak adlandırılır .$(S, \mathcal{P})$$\mathcal{P}=\{P_{\theta} : \theta \in \Theta\}$$\Theta$$\Theta \subseteq \mathbb{R}^d$$d$$\mathbb{R}$$d$

Örnek olarak, verilerin tek değişkenli bir Gauss dağılımından kaynaklandığını varsayarsak, Bu örnekte, boyutu 2'ye, son tırnak işaretine eşittir .

Dolayısıyla, yukarıdaki örnek için atayarak boyutsallığı azaltırsak, veya için herhangi bir seçenek çizerek bir eğri ailesini gösterebiliriz .σ = 1 , 2 , 3 , 4 , 5 $\mu=0$$\sigma=1,2,3,4,5$$\sigma$