«it.information-theory» etiketlenmiş sorular

Bilgi teorisinin temiz bir birleşimsel ifadeyi basit bir şekilde kanıtlamak için kullanıldığı favori örnekleriniz nelerdir? Düşünebildiğim bazı örnekler, yerel olarak kodlanabilen kodlar için daha düşük sınırlarla ilgilidir, örneğin, bu yazıda: bir dizi ikili uzunluğundaki her için farklı olduğunu çiftleri { }Öyleyse, m en azından n , burada üs, doğrusal olarak …

54 co.combinatorics  big-list  it.information-theory 

Gayri olarak, bir zincir Kolmogorov karmaşıklığı çıktıları bir kısa programı uzunluktadır . Kullanarak 'rastgele dize' kavramını tanımlayabiliriz ( ) eğer rastgeledir . Dizelerin çoğunun rastgele olduğunu görmek kolaydır (çok fazla kısa program yoktur).xxxxxxxxxK(x)≥0.99|x|K(x)≥0.99|x|K(x) \geq 0.99 |x| Kolmogorov karmaşıklığı teorisi ve algoritmik bilgi teorisi günümüzde oldukça gelişmiştir. Kolmogorov karmaşıklığını, ifadelerinde Kolmogorov …

44 cc.complexity-theory  big-list  co.combinatorics  it.information-theory 

Bu soru, PCAST'ın bilgisayar bilimi konusundaki sunumundan sonra Jeannette Wing'e soruldu . “Fizik perspektifinden, sahip olabileceğimiz maksimum bilgi hacmi var mı?” (Teorik bilgisayar bilimleri topluluğu için “bilgi nedir?” Sorusunu düşündüğü için güzel bir soru. "Bilgi Nedir?" Ötesinde bir de bu bağlamda "hacim" ne anlama geldiğini bulmak gerekir? Belki de maksimum …

33 it.information-theory  physics 

Kolmogorov ön ek karmaşıklığı (yani , çıktısını alan minimum kendiliğinden sınırlayan programın boyutudur ) birkaç hoş özelliğe sahiptir:K(x)K(x)K(x)xxx Bu, yamalı olan ya da olmayan dizelere göre daha düşük bir karmaşıklığa sahip olan dizeleri verme sezgisine karşılık gelir. Bazı oracle için koşullu karmaşıklığı , hatta daha iyi tanımlamamızı sağlar .K(x|y)K(x|y)K(x|y)K(x|O)K(x|O)K(x|O)OOO Alt …

28 it.information-theory  kolmogorov-complexity  formal-modeling 

Aşağıdaki tür hata düzeltme kodları arıyorum: Sabit oranlı ikili kodlar, bazı sabit hata fraksiyonlarından, büyüklüğünde bir Boole devresi olarak uygulanabilen bir kod çözücü tarafından çözülebilmektedir , burada , kodlama uzunluğudur.NO ( N)O(N)O(N)N-NN Bazı arka plan: Spielman, Doğrusal Zamanlı Kodlanabilir ve Kodlanabilir Hata Düzeltme Kodlarında , logaritmik maliyetli RAM modelinde zamanda …

27 co.combinatorics  it.information-theory  coding-theory 

Bir olasılık dağılımı için Huffman kod en az ağırlıklı ortalama kod sözcüğü uzunluğuna sahip önek kodu , uzunluğu inci codword. Huffman kodunun sembol başına ortalama uzunluğunun ve arasında olduğu bilinen bir teoremdir , burada Shannon entropisidir. olasılık dağılımının.ppp∑piℓi∑piℓi\sum p_i \ell_iℓiℓi\ell_iiiiH(p)H(p)H(p)H(p)+1H(p)+1H(p)+1H(p)=−∑ipilog2piH(p)=−∑ipilog2⁡piH(p) = -\sum_i \, p_i \log_2 p_i Ortalama uzunluğun Shannon entropisini …

21 optimization  it.information-theory  coding-theory 

Kuantum bilgi teorisinde, iki kuantum kanalı arasındaki mesafe genellikle elmas normu kullanılarak ölçülür. İki kuantum durum arasındaki mesafeyi ölçmenin birkaç yolu vardır, örneğin iz mesafesi, sadakat, vb. Jamiołkowski izomorfizması kuantum kanalları ve kuantum durumları arasında bir dualite sağlar. Bu en azından benim için ilginç, çünkü elmas normunun hesaplanması çok zor …

19 quantum-computing  it.information-theory  quantum-information 

Bilgi karmaşıklığı iletişim karmaşıklığında çok yararlı bir araç olmuştur, esas olarak dağıtılmış sorunların iletişim karmaşıklığını azaltmak için kullanılır. Sorgu karmaşıklığı için bir bilgi karmaşıklığı analogu var mı? Sorgu karmaşıklığı ile iletişim karmaşıklığı arasında birçok paralellik vardır; çoğu zaman (ama her zaman değil!) bir modeldeki bir alt sınır diğer modeldeki bir …

15 it.information-theory  communication-complexity  query-complexity 

Bir Bloom filtresini uygularken, geleneksel yaklaşım birden fazla bağımsız hash fonksiyonu gerektirir. Kirsch ve Mitzenmacher aslında sadece iki taneye ihtiyacınız olduğunu ve gerisini bunların doğrusal kombinasyonları olarak üretebileceğini gösterdi. Benim sorum şu: iki karma fonksiyon ile iki kez entropi olan bir fonksiyon arasındaki fark nedir? Bu, karma işlevlerinizin çıktısıyla gerçekte …

15 ds.data-structures  it.information-theory  hash-function 

Çoğumuz rasgele bir değişkenin Shannon entropisine, ve tüm ilgili bağıl entropi, karşılıklı bilgi, vb. gibi bilgi-teorik önlemler. Rasgele bir değişkenin min-entropisi gibi teorik bilgisayar bilimi ve bilgi teorisinde yaygın olarak kullanılan birkaç başka entropi ölçüsü vardır.'H( X) = - E [ günlükp ( X) ]H(X)=−E[log⁡p(X)]H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr] …

14 it.information-theory  quantum-information 

Lemma: Eta denkliği varsayalım (\x -> ⊥) = ⊥ :: A -> B. İspat: ⊥ = (\x -> ⊥ x)eta-denklik ve (\x -> ⊥ x) = (\x -> ⊥)lambda altında azalma ile. Haskell 2010 raporu, bölüm 6.2 seqfonksiyonu iki denklemle belirtir : seq :: a -> b -> b seq …

14 domain-theory  haskell  extensionality  cc.complexity-theory  counting-complexity  fl.formal-languages  automata-theory  cc.complexity-theory  arithmetic-circuits  it.information-theory  shannon-entropy  graph-theory  pr.probability  graph-theory  approximation-algorithms  approximation-hardness  multicommodity-flow  cc.complexity-theory  ds.algorithms  np-hardness  polynomial-time  dynamic-programming  lo.logic  terminology 

Son zamanlarda sıkıştırma ile ilgili algoritmalar ile uğraşıyordum ve kayıpsız veri sıkıştırma ile elde edilebilecek en iyi sıkıştırma oranının hangisi olduğunu merak ediyordum . Şimdiye kadar, bu konuda bulabildiğim tek kaynak Wikipedia idi: Video, sayısallaştırılmış film ve ses gibi sayısallaştırılmış verilerin kayıpsız sıkıştırılması, tüm bilgileri korur, ancak verilerin gerçek entropisi …

14 it.information-theory  data-streams 

Popüler DEFLATE algoritması, Lempel-Ziv'in üstünde Huffman kodlamasını kullanır. Genel olarak, rastgele bir veri kaynağımız varsa (= 1 bit entropi / bit), Huffman dahil hiçbir kodlamanın ortalama olarak sıkıştırması olası değildir. Lempel-Ziv "mükemmel" olsaydı (uzunluk sonsuza kadar giderken çoğu kaynak sınıfı için yaklaşır), Huffman ile post kodlama yardımcı olmaz. Tabii ki, …

13 ds.algorithms  it.information-theory  coding-theory  encoding 

Silme bitinin enerji tüketmesi gerektiğini gösteren araştırmacılar var, şimdi hesaplama karmaşıklığı ile algoritmanın ortalama enerji tüketimi hakkında yapılmış herhangi bir araştırma var mı? Sanırım, hesaplama karmaşıklığı ortalama enerji tüketimi ile ilişkilidir, umarım burada biraz cevap alabilirim.F ( n )F(n)F(n)F(n)F(n)F(n)F(n)

12 cc.complexity-theory  reference-request  it.information-theory  quantum-information  statistical-physics 

İki bağımsız ayrık rasgele değişken X ve Y toplamının entropi üzerinde bir bağ arıyorum . Doğal olarak, H ( X + Y ) ≤ H ( X ) + H ( Y ) ( ∗ ) Ancak, n bağımsız Bernoulli rasgele değişken Z 1 , … , Z n toplamına …

12 it.information-theory  shannon-entropy