«information-theory» etiketlenmiş sorular

Ortak entropi üzerinde karşılıklı bilgi olabilir mi: 0 ≤ Ben( X, Y)'H( X, Y)≤ 10≤ben(X,Y)'H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 "X'den Y'ye bir parça bilgi aktarma olasılığı" olarak tanımlanabilir mi? Çok naif olduğum için üzgünüm, ama hiçbir zaman bilgi teorisi üzerinde çalışmadım ve sadece bununla ilgili bazı kavramları anlamaya çalışıyorum.

11 information-theory  mutual-information 

Çok temel bir şüphem var. Bu çok az rahatsız ederse özür dilerim. Karşılıklı Bilgi değerinin 0'dan büyük, ancak 1'den küçük olması gerektiğini biliyorum. Herhangi bir üst değer tarafından sınırlanmış mı? Teşekkürler Amit.

11 information-theory  mutual-information 

Bilgi teorik CLT'nin en basit şekli şudur: Let ortalama ile istatistiksel bağımsız olması ve varyansı . Let normalleştirilmiş toplam yoğunluğu olması ve standart Gauss yoğunluğu. Daha sonra bilgi teorisi CLT, bazı n için sonlu olduğunu , sonra D (f_n \ | \ phi) \ 'nin n olarak 0 olduğunu belirtir. …

11 mathematical-statistics  information-theory  central-limit-theorem 

Yukarıdan kart karıştırmayı simüle etmek için bir program yazdım . Her kart numaralandırılır, takım elbise başlar CLUBS, DIAMONDS, HEARTS, SPADESve İki ila On arası, ardından Jack, Kraliçe, Kral ve As. Bu yüzden Kulüplerin İkiü 1'e, Kulüpler Üçü 2'ye sahiptir ... Kulüplerin Ası 13'tür ... Maça Ası 52'dir. Kartların ne kadar …

11 correlation  pearson-r  information-theory 

Temel bileşen analizinin (PCA) kalitesini değerlendirmek için iyi bir ölçüm nedir? Bu algoritmayı veri kümesinde gerçekleştirdim. Amacım özellik sayısını azaltmaktı (bilgi çok gereksizdi). Tutulan varyans yüzdesinin ne kadar bilgi tuttuğumuzun iyi bir göstergesi olduğunu biliyorum, gereksiz bilgileri kaldırdığımı ve bu tür bilgileri 'kaybetmediğimden emin olmak için kullanabileceğim başka bilgi metrikleri …

10 machine-learning  pca  data-mining  information-theory 

Başlığın dediği gibi, boyut küçültme her zaman bazı bilgileri kaybediyor mu? Örneğin PCA'yı düşünün. Sahip olduğum veriler çok seyrek ise, "daha iyi bir kodlama" bulunabileceğini varsayabilirim (bu bir şekilde verilerin sıralamasıyla mı ilgili?) Ve hiçbir şey kaybolmazdı.

10 pca  information-theory  information 

Biraz kafam karıştı. Birisi bana iki terim arasındaki karşılıklı bilginin, ikili terim olarak ağırlıklar içeren bir terim belgesi matrisine dayalı olarak nasıl hesaplanacağını açıklayabilir mi? D e c u m e n t 1D e c u m e n t 2D e c u m e n t 3'Wh …

10 python  information-theory  mutual-information  numpy  pandas 

Karşılıklı bilgi fikrini bu ders notlarında (sayfa 5) açıklandığı gibi özellik seçimine uygulamaya çalışıyorum . Platformum Matlab. Ampirik verilerden karşılıklı bilgi hesaplarken bulduğum bir problem, sayının her zaman yukarıya doğru eğimli olmasıdır. Matlab Central'da MI değerini hesaplamak için yaklaşık 3 ~ 4 farklı dosya buldum ve bağımsız rastgele değişkenlerle beslendiğimde …

10 matlab  feature-selection  information-theory  mutual-information 

Araştırmamda şu genel sorunla karşılaştım: Aynı alan üzerinde iki PPP ve dağılımı ve QQQbu dağılımlardan çok sayıda (ancak sonlu) örnek var. Örnekler bu iki dağılımdan birinden bağımsız ve özdeş olarak dağıtılır (dağılımlar ilişkili olsa da: örneğin, QQQ , PPP ve diğer bazı dağılımların bir karışımı olabilir .) Boş hipotez, numunelerin …

10 hypothesis-testing  mathematical-statistics  kullback-leibler  information-theory  bounds 

Derin Öğrenme ve Bilgi Darboğaz Prensibi adlı makalede yazarlar bölüm II A) 'da belirtilmektedir: Tek nöronlar, yalnızca lineer olarak ayrılabilir girdileri sınıflandırır, çünkü giriş alanlarında sadece hiper düzlemler uygulayabilirler u=wh+bu=wh+bu = wh+b. Girişler koşullu olarak bağımsız olduğunda hiper düzlemler verileri en iyi şekilde sınıflandırabilir. Bunu göstermek için aşağıdakileri elde ederler. …

10 bayesian  neural-networks  information-theory 

Veya hangi koşullar bunu garanti eder? Genel olarak (ve sadece normal ve binom modelleri değil), bu iddiayı bozan temel nedenin, örnekleme modeli ile önceki model arasında tutarsızlık olduğunu varsayıyorum, ama başka ne var? Bu konuyla başlıyorum, bu yüzden kolay örnekleri gerçekten takdir ediyorum

10 bayesian  variance  information-theory 

Karşılıklı bilgiler kullanarak A ve B değişkenleri arasındaki ilişkiyi ölçmek istiyorum. Bunu hesaplamanın yolu gözlemleri bölmektir (aşağıdaki örnek Python koduna bakınız). Ancak, hangi sayıda kutunun makul olduğunu hangi faktörler belirler? Hızlı olmak için hesaplamaya ihtiyacım var, bu yüzden güvenli tarafta olmak için çok fazla kutu kullanamıyorum. from sklearn.metrics import mutual_info_score …

10 information-theory  mutual-information  binning 

Sorum, Wikipedia sayfasında verimli kodlama ve sinir ağı öğrenme algoritmaları hakkında özetlenen verimli kodlama hipotezi arasındaki ilişki ile ilgilidir . Etkili kodlama hipotezi ile sinir ağları arasındaki ilişki nedir? Etkili kodlama hipotezinden açıkça ilham alan herhangi bir sinir ağı modeli var mı? Yoksa tüm sinir ağı öğrenme algoritmalarının en azından …

9 neural-networks  information-theory 

Bugün James Stone'un "Bilgi teorisi: Bir öğretici tanıtımı" kitabına rastladım ve uygulamalı veri biliminde bilgi teorisinin kullanım derecesi hakkında bir iki dakika düşündüm (bu hala biraz bulanık terimden memnun değilseniz, IMHO veri biliminin yüceltilmiş bir versiyonu olduğu veri analizini düşünün ). Bilgi teorisi temelli yaklaşımların , yöntemlerin ve önlemlerin , …

9 information-theory 

Normalleştirilmiş karşılıklı bilgi formunu anlamaya çalışıyorum. npmi=pmi(x,y)log(p(x,y))npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Günlük eklemi olasılığı, noktasal karşılıklı bilgiyi neden [-1, 1] arasında normalleştiriyor? Noktasal karşılıklı bilgi: pmi=log(p(x,y)p(x)p(y))pmi=log(p(x,y)p(x)p(y))pmi = log(\frac{p(x,y)}{p(x)p(y)}) p (x, y) [0, 1] ile sınırlıdır, bu nedenle log (p (x, y)) (, 0] ile sınırlıdır. pay, ama tam olarak nasıl olduğunu anlamıyorum.Ayrıca …

9 entropy  information-theory  mutual-information