«kullback-leibler» etiketlenmiş sorular

İki Gauss'lu arasındaki KL ayrılığını belirlemeliyim. Sonuçlarımı bunlarla karşılaştırıyorum , ancak sonuçlarını çoğaltamıyorum. Sonucum açıkça yanlıştır, çünkü KL, KL için 0 değildir (p, p). Nerede hata yaptığımı merak ediyorum ve kimsenin tespit edip edemediğini soruyorum. Let p(x)=N(μ1,σ1)p(x)=N(μ1,σ1)p(x) = N(\mu_1, \sigma_1) ve q(x)=N(μ2,σ2)q(x)=N(μ2,σ2)q(x) = N(\mu_2, \sigma_2) . Piskopos'un PRML’sinden bunu biliyorum. …

79 normal-distribution  kullback-leibler 

KL diverjansının arkasındaki sezgiyi, bir model dağılım fonksiyonunun verinin teorik / doğru dağılımından ne kadar farklı olduğunu öğrendim. Okuyorum kaynak bu iki dağılım arasındaki 'mesafeye' sezgisel anlayış yararlıdır, ancak iki dağılımlar için çünkü tam anlamıyla alınması gerektiğini söylemeye devam ediyor ve , KL Iraksama içinde simetrik değildir ve .PPPQQQPPPQQQ Son …

47 distributions  distance  intuition  kullback-leibler 

İki değişkenli normal dağılım varsayarsak KL diverjans formülünü türetmekte sorun yaşıyorum. Tek değişkenli vakayı oldukça kolay bir şekilde yaptım. Ancak, matematik istatistiklerini aldığımdan bu yana epey zaman geçti, bu yüzden çok değişkenli olaya genişletmekte zorlanıyorum. Eminim basit bir şeyi özlüyorumdur. İşte sahip olduğum şey ... Her iki varsayalım ve aracı …

46 normal-distribution  kullback-leibler  proof 

Aklımda, KL örnek dağılımından gerçek dağılıma ayrışma sadece çapraz entropi ve entropi arasındaki farktır. Neden bir çok makine öğrenme modelinde maliyet fonksiyonu olarak çapraz entropiyi kullanıyoruz, ancak t-sne'de Kullback-Leibler farklılığını kullanıyoruz? Öğrenme hızında herhangi bir fark var mı?

39 kullback-leibler  tsne  cross-entropy 

Kullback-Leibler ile Kolmogorov-Smirnov arasındaki mesafe ölçütleri arasında çok sayıda resmi fark olduğunu görebiliyorum. Ancak, her ikisi de dağılımlar arasındaki mesafeyi ölçmek için kullanılır. Birinin diğeri yerine kullanılması gereken tipik bir durum var mı? Bunu yapmak için gerekçe nedir?

37 distributions  distance-functions  kolmogorov-smirnov  kullback-leibler 

Aşağıdaki sorular için sezgisel bir açıklama arıyorum: İstatistik ve bilgi teorisinde, iki ayrı olasılık dağılımı arasındaki farkın ölçütleri olarak Bhattacharyya uzaklık ile KL ayrışması arasındaki fark nedir? Kesinlikle hiçbir ilişkileri yok mu ve iki olasılık dağılımı arasındaki mesafeyi tamamen farklı bir şekilde ölçtüler mi?

33 mathematical-statistics  information-theory  kullback-leibler  bhattacharyya 

İki simetrik kovaryans matrisi arasında benzerlik veya mesafe ölçütleri var mı (ikisi de aynı boyutlara sahip)? Burada, iki olasılık dağılımının KL farklılığına veya matrislere uygulanmadıkları sürece vektörler arasındaki Öklid mesafesine analogları düşünüyorum. Bir kaç benzerlik ölçümü olacağını hayal ediyorum. İdeal olarak, iki kovaryans matrisinin aynı olduğu gibi boş hipotezi test …

28 distributions  hypothesis-testing  covariance-matrix  kullback-leibler  information-theory 

Bu resme bak: Kırmızı yoğunluktan bir örnek alırsak, o zaman bazı değerlerin 0.25'ten düşük olması beklenirken, mavi dağılımdan böyle bir örnek üretmek mümkün değildir. Sonuç olarak, Kullback-Leibler kırmızı yoğunluktan mavi yoğunluğa olan mesafe sonsuzdur. Ancak, iki eğri, bazı "doğal anlamda", o kadar belirgin değildir. İşte benim sorum: Bu iki eğri …

28 kullback-leibler 

Wasserstein metriği ve Kullback-Leibler sapması arasındaki pratik fark nedir ? Wasserstein metriği, ayrıca Dünya'ya taşınanların mesafesi olarak da adlandırılır . Wikipedia'dan: Wasserstein (veya Vaserstein) metriği, belirli bir metrik uzay M üzerindeki olasılık dağılımları arasında tanımlanan bir mesafe fonksiyonudur. ve Kullback - Leibler ayrışması, bir olasılık dağılımının ikinci beklenen olasılık dağılımından …

25 distributions  kullback-leibler  metric  wasserstein 

Cross Validated'in trollenmesinden sonra hala, KL bilgi ayrıntısını bilgi teorisi dünyasının dışında anlamaya daha yakın olduğumu hissetmiyorum. Bilgi teorisi açıklamasını daha kolay anlayabilmeniz için Matematik kökenli biri olarak oldukça garip. Anlayışımı bir bilgi teorisi altyapısından özetlemek için: Sınırlı sayıda sonuç içeren rastgele bir değişkenimiz varsa, sonucu ortalama olarak en kısa …

23 inference  entropy  information-theory  kullback-leibler  compression 

Sınıflandırma ve regresyon ağaçlarını inceliyorum ve ayrık konum için alınacak önlemlerden biri GINI puanı. Şimdi iki dağıtım arasında aynı verinin olabilirlik oranının günlüğü sıfır olduğunda en iyi bölünme konumunu belirlemeye alışkınım, yani üyelik olasılığının eşit olması muhtemel. Sezgim, GINI'nin matematiksel bir bilgi teorisinde iyi bir temele sahip olması gerektiğini (Shannon) …

21 cart  likelihood-ratio  information-theory  kullback-leibler  gini 

Birisi Fisher bilgi metriği ile bağıl entropi (veya KL diverjansı) arasındaki aşağıdaki bağlantıyı tamamen matematiksel bir titizlikle kanıtlayabilir mi? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) burada a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n) , gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) dxgi,j=∫∂i(log⁡p(x;a))∂j(log⁡p(x;a)) p(x;a) dxg_{i,j}=\int \partial_i (\log p(x;a)) \partial_j(\log p(x;a))~ …

20 mathematical-statistics  kullback-leibler  fisher-information 

Aşağıdaki iki olasılık dağılımını ele alalım P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 eşit olan Kullback-Leibler ıraksamasını , genel olarak bu sayı bana ne gösteriyor? Genel olarak, Kullback-Leibler ıraksaması bana, birinin olasılık dağılımının diğerinden ne kadar uzak …

18 interpretation  information-theory  kullback-leibler 

KL sapması neden negatif değildir? Bilgi teorisi açısından, bu kadar sezgisel bir anlayışa sahibim: Diyelim ki etiketlenmiş aynı elemanlardan oluşan iki ve topluluğu var . ve , sırasıyla ve topluluğu üzerinde farklı olasılık dağılımlarıdır .AAABBBxxxp(x)p(x)p(x)q(x)q(x)q(x)AAABBB Bilgi teorisi perspektifinden bakıldığında, , topluluğu için bir elemanını kaydetmek için gereken en az miktarda …

18 information-theory  kullback-leibler 

Gama dağılımını Γ(b,c)Γ(b,c)\Gamma(b,c) pdf g ( x ; b , c ) = 1 ile parametreleştirmeyi seçmeull(bq,cq)veΓ(bp,cp) arasındaki Kullback-Leibler sapması[1]g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b}Γ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)Γ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p) KLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−logbq−cq−logΓ(cq)+logΓ(cp)+cplogbp−(cp−1)(Ψ(cq)+logbq)+bqcqbpKLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−log⁡bq−cq−log⁡Γ(cq)+log⁡Γ(cp)+cplog⁡bp−(cp−1)(Ψ(cq)+log⁡bq)+bqcqbp\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align} Bunu tahmin ediyorum olan …

15 kullback-leibler  gamma-distribution  exponential-family