Özel olasılık dağılımı

Eğer $p(x)$ ile sıfır olmayan değerlere sahip bir olasılık dağılımıdır $[0,+\infty)$ hangi tip (ler için,) $p(x)$ bir sabit vardır halen mevcut $c\gt 0$ öyle ki $\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^2$ tüm $0\lt\epsilon\lt 1$ ?

Yukarıdaki eşitsizlik aslında dağılımı $p(x)$ ve sıkıştırılmış bir versiyonu arasında bir Kullback-Leibler Farklılığıdır ${(1+\epsilon)}p({x}{(1+\epsilon)})$ . Bu eşitsizliğin Üstel, Gama ve Weibull dağılımları için geçerli olduğunu öğrendim ve bunun daha büyük bir olasılık dağılımları sınıfı için işe yarayıp yaramadığını bilmek istiyorum.

Eşitsizliğin ne anlama geldiğine dair bir fikrin var mı?

— Sus20200
kaynak

Yana

ϵ

$\epsilon$ , (x-yönünde) sıkıştırılmış yerine gergin olacağını pozitiftir.

— Glen_b

Bu soru belirsiz: nicelleştiricileriniz neler? Bu eşitsizlik için tutmak ister misin bütün

, en az bir

, ya da başka bir şey? Is

verilen önsel ya da orada olmalı demek en az bir tür değeri var içinde

? Ve olasılık dağılım sınıflarından bahsettiğiniz için , "

" ile belirli bir dağılım mı demek istersiniz, belki de bunların parametrik bir ailesini mi kastediyorsunuz?

ϵ

$\epsilon$

ϵ

$\epsilon$

c

$c$

c

$c$

p (x)

$p(x)$

— whuber

@whuber Yorumlarınız için teşekkürler. Bahsedilen sorunları açıklığa kavuşturmak için sorun bildirimimi düzelttim. Demek istediğim, yukarıdaki eşitsizlik hangi

için? Cevap ya parametrik bir dağılım ailesi getirmek ya da

için istenen eşitsizliği karşılayan ve veren bir diferansiyel denklem önermek olabilir .

p (x)

$p(x)$

p (x)

$p(x)$

— Sus20200

Bu eşitsizlik, sürekli ve sonsuz desteğe sahip herhangi bir p (x) için işe yaramaz mı? KL diverjansını parametrik bir aile içinde hesaplıyorsunuz (

. KL 0'da diferansiyse, türev 0'dır.

KL eğriliğinin maksimum olması (

.), biz bağlı olan ek çalışma ile, p özelliklerinden bağlı C mümkün olabilir

ϵ \to p (x (1 + ϵ))

$\epsilon \rightarrow p(x(1+\epsilon))$

C

$C$

ϵ \in [0, 1]

$\epsilon \in [0,1]$

— Guillaume Dehaene

L = lim_{x \to 0} p (x) x = 0

$L = \lim_{x \rightarrow 0} p(x)x = 0$

L ϵ + O (ϵ^{2})

$L \epsilon + O(\epsilon^2)$

Hazırlıklar

Yazmak

I_{p} (ϵ) = \int_{0}^{\infty} p (x) \log (\frac{p (x)}{(1 + ϵ) p (x (1 + ϵ))}) d x .

$\mathcal{I}_p(\epsilon) = \int_0^\infty p(x) \log\left(\frac{p(x)}{(1+\epsilon)p(x(1+\epsilon))}\right)\, dx.$

Logaritmalar ve ve arasındaki ilişki, hem hem de argümanını üs olarak ifade etmeyi önerir . Bu amaçla tanımlayın $p(x)$ $p(x(1+\epsilon))$ $p$

q (y) = \log (p (e^{y}))

$q(y) = \log(p(e^y))$

sağ tarafın tanımlandığı ve yerde eşit olan tüm gerçek için . Uyarı bu değişkenlerin değişimi gerektirir bir ve (alarak olduğu yoğunluk Kanunu Toplam olasılığı ve böylece olarak ifade edilebilir bir dağılım) $y$ $-\infty$ $p(e^y)=0$ $x=e^y$ $dx=e^y dy$ $p$

\begin{matrix} (1) & 1 = \int_{0}^{\infty} p (x) d x = \int_{R} e^{q (y) + y} d y . \end{matrix}

$1 = \int_0^\infty p(x)dx = \int_\mathbb{R} e^{q(y)+y} dy.\tag{1}$

olduğunda olduğunu varsayalım . $e^{q(y)+y}\to 0$ $y\to\pm\infty$ Bu , yoğunluk dağılımını veya yakınındaki sonsuz sayıda sivri uçlu olasılık dağılımlarını . Özellikle, kuyrukları sonunda monotonik ise, bu varsayımı ima eder ve ciddi olmadığını gösterir. $p$ $0$ $\infty$ $p$ $(1)$

Logaritmalarla çalışmayı kolaylaştırmak için şunları da gözlemleyin:

1 + ϵ = e^{ϵ} + O (ϵ^{2}) .

$1+\epsilon = e^\epsilon + O(\epsilon^2).$

Aşağıdaki hesaplamalar katlarına kadar gerçekleştirileceğinden , $\epsilon^2$

δ = \log (1 + ϵ) .

$\delta = \log(1+\epsilon).$

Biz de yerine geçebilir göre ile, tekabül ve pozitif pozitif karşılık gelen . $1+\epsilon$ $e^\delta$ $\delta=0$ $\epsilon=0$ $\delta$ $\epsilon$

analiz

Eşitsizliğin başarısız olabileceği bariz bir yol, integral un bazı ' e sapması olacaktır. ne kadar küçük olursa olsun, aynı sıfır olduğu ancak aralığında sıfır olmadığı herhangi bir uygun aralık . pozitif olasılıkla sonsuz. $\mathcal{I}_p(\epsilon)$ $\epsilon \in (0, 1]$ $[u, v]$ $p$ $p$ $[u-\epsilon, v-\epsilon]$

Sorusu doğası ile ilgili spesifik olduğu için , biz düzgün şekliyle ilgili teknik konularda bogged olabilir olabilir. Her yerde kullanmayı düşündüğümüz kadar çok türevi olduğunu varsayarak, hala bir fikir edinmeyi umarak bu tür sorunlardan kaçınalım . ( sürekli ise iki tane yeterli olacaktır .) Bu garanti herhangi bir sınırlı kümede sınırlı kalması nedeniyle, olduğunda in asla sıfır olmadığı anlamına gelir . $p$ $p$ $q$ $q^{\prime\prime}$ $q$ $p(x)$ $x \gt 0$

Sorusu gerçekten davranışını ilgili olduğunu Not olarak yukarıdan sıfıra yaklaşır. Bu bütün sürekli bir fonksiyonu olduğu için aralığında , bazı maksimum elde ediyor zaman pozitif aralığı ile sınırlıdır seçmek için olanaklı kılar, , çünkü belli ki $\mathcal{I}_p(\epsilon)$ $\epsilon$ $\epsilon$ $(0,1]$ $M_p(a)$ $\epsilon$ $[a,1]$ $c = M_p(a)/a^2$

c ϵ^{2} = M_{p} (a) {(\frac{ϵ}{a})}^{2} \geq M_{p} (a) \geq I_{p} (ϵ)

$c\epsilon^2 = M_p(a) \left(\frac{\epsilon}{a}\right)^2 \ge M_p(a) \ge \mathcal{I}_p(\epsilon)$

eşitsizliği işe yaratır. Bu yüzden sadece modulo hesaplama ile ilgilenmemiz gerekiyor . $\epsilon^2$

Çözüm

Değişkenin değişimler için den, için ve için , edelim hesaplamak ikinci sipariş yoluyla (ya da elde umuduyla) basitleştirme. Bu amaçla tanımlayın $x$ $y$ $p$ $q$ $\epsilon$ $\delta$ $\mathcal{I}_p(\epsilon)$ $\epsilon$ $\delta$

R (y, δ) δ^{2} = q (y + δ) - q (y) - δ q^{'} (y)

$\mathcal{R}(y, \delta) \delta^2 = q(y+\delta) - q(y) - \delta q^\prime(y)$

etrafında Taylor genişlemesinde sıra- kalanı olmak . $2$ $q$ $y$

\begin{aligned} I_{p} (ϵ) & = \int_{R} e^{q (y) + y} (q (y) - q (y + δ) - δ) d y \\ = - \int_{R} e^{q (y) + y} (δ + δ q^{'} (y) + R (y, δ) δ^{2}) d y \\ = - δ \int_{R} e^{q (y) + y} (1 + q^{'} (y)) d y - δ^{2} \int_{R} e^{q (y) + y} R (y, δ) d y . \end{aligned}

$\eqalign{ \mathcal{I}_p(\epsilon) &= \int_\mathbb{R}e^{q(y) + y} \left(q(y) - q(y+\delta) - \delta\right)\, dy \\ &=-\int_\mathbb{R}e^{q(y) + y} \left(\delta + \delta q^\prime(y) + \mathcal{R}(y, \delta) \delta^2 \right)\, dy \\ &= -\delta\int_\mathbb{R}e^{q(y) + y} \left(1+q^\prime(y)\right)\, dy -\delta^2\int_\mathbb{R}e^{q(y) + y} \mathcal{R}(y, \delta)\, dy. }$

İçin değişkenler değiştirme , aşağıdaki varsayım belirttiği gibi, bu sıfır olmalıdır sol yekpare gösterir . Sağ el integralinde değişkenlerin tekrar olarak değiştirilmesi $q(y)+y$ $(1)$ $x=e^y$

I_{p} (ϵ) = - δ^{2} \int_{R} p (x) R (\log (x), δ) d y = - δ^{2} E_{p} (R (\log (x), δ)) .

$\mathcal{I}_p(\epsilon) = - \delta^2 \int_\mathbb{R} p(x) \mathcal{R}(\log(x), \delta)\, dy = -\delta^2 \mathbb{E}_p\left(\mathcal{R}(\log(x), \delta)\right).$

Eşitsizlik (çeşitli teknik varsayımlarımıza göre) ve sadece sağ taraftaki katsayısı sonlu ise geçerlidir. $\delta^2$

yorumlama

: Esastır sorunu ortaya çıkarmaya görünür, çünkü bu, durdurmak için iyi bir nokta bir kuadratik fonksiyonu ile sınırlanan Taylor genişleme kuadratik hata tam olarak ne zaman değil patlaması (dağılıma göre) yaklaştıkça . $\mathcal{I}_p(\epsilon)$ $\epsilon$ $q$ $y$ $\pm\infty$

Şu soruda bahsedilen bazı durumları kontrol edelim: Üstel ve Gama dağılımları. (Üstel Gama'nın özel bir örneğidir.) Hiçbir zaman ölçek parametreleri hakkında endişelenmemize gerek yoktur, çünkü sadece ölçüm birimlerini değiştirirler. Sadece ölçek dışı parametreler önemlidir.

Burada, için için , Keyfi çevresinde Taylor genişleme olanTaylor'ın Remainder ile Teoremi, yeterince küçük için baskın olduğu anlamına gelir . beklentisi sonlu olduğu için eşitsizlik Gama dağılımları için geçerlidir. $p(x) = x^k e^{-x}$ $k \gt -1$

q (y) = - e^{y} + k y - \log Γ (k + 1) .

$q(y) = -e^y + k y - \log\Gamma(k+1).$

y

$y$

Constant + (k - e^{y}) δ - \frac{e^{y}}{2} δ^{2} + \dots .

$\text{Constant} + (k-e^y)\delta - \frac{e^y}{2}\delta^2 + \cdots.$

R (\log (x), δ)

$\mathcal{R}(\log(x),\delta)$

e^{y + δ} / 2 < x

$e^{y+\delta}/2 \lt x$

δ

$\delta$

x

$x$

Benzer hesaplamalar, Weibull dağılımları, Yarı-Normal dağılımları, Lognormal dağılımları, vb. İçin eşitsizliği ima eder. Aslında, karşı numuneler elde etmek için, en azından bir varsayımı ihlal etmemiz gerekir , bu da belirli bir aralıkta yok olduğu veya sürekli iki kez farklılaştırılamaz veya sonsuz sayıda modu vardır. Bunlar, istatistiksel modellemede yaygın olarak kullanılan herhangi bir dağıtım ailesine uygulamak için kolay testlerdir. $p$

— whuber
kaynak