«shannon-entropy» etiketlenmiş sorular

Lemma: Eta denkliği varsayalım (\x -> ⊥) = ⊥ :: A -> B. İspat: ⊥ = (\x -> ⊥ x)eta-denklik ve (\x -> ⊥ x) = (\x -> ⊥)lambda altında azalma ile. Haskell 2010 raporu, bölüm 6.2 seqfonksiyonu iki denklemle belirtir : seq :: a -> b -> b seq …

14 domain-theory  haskell  extensionality  cc.complexity-theory  counting-complexity  fl.formal-languages  automata-theory  cc.complexity-theory  arithmetic-circuits  it.information-theory  shannon-entropy  graph-theory  pr.probability  graph-theory  approximation-algorithms  approximation-hardness  multicommodity-flow  cc.complexity-theory  ds.algorithms  np-hardness  polynomial-time  dynamic-programming  lo.logic  terminology 

İki bağımsız ayrık rasgele değişken X ve Y toplamının entropi üzerinde bir bağ arıyorum . Doğal olarak, H ( X + Y ) ≤ H ( X ) + H ( Y ) ( ∗ ) Ancak, n bağımsız Bernoulli rasgele değişken Z 1 , … , Z n toplamına …

12 it.information-theory  shannon-entropy 

Genellikle Shannon entropisi kanal kodlama sonuçlarını kanıtlamak için kullanılır. Kaynak-kanal ayırma sonuçları için bile shannon entropisi kullanılır. Shannon (küresel) ve Kolmogorov (yerel) bilgi kavramları arasındaki eşdeğerlik göz önüne alındığında, bu sonuçlar için Kolmogorov karmaşıklığını kullanmak için bir çalışma yapıldı mı (veya en azından kaynak kanal ayırma sonuçlarındaki kaynak kodlama parçasını …

12 it.information-theory  kolmogorov-complexity  shannon-entropy 

Shannon'ın entropi ile çalışmasını biliyorum, ancak son zamanlarda ampirik entropinin sıklıkla depolama analizinin bir parçası olarak kullanıldığı özlü veri yapıları üzerinde çalıştım . Shannon, ayrı bir bilgi kaynağı tarafından üretilen bilgilerin entropisini −∑ki=1pilogpi−∑i=1kpilog⁡pi-\sum_{i=1}^k p_i \log{p_i}, nerede pipip_i olayın olasılığı iii örneğin belirli bir karakter üretilir ve kkk olası olaylar. MCH'nin …

9 reference-request  shannon-entropy  succinct