Bilgi Teorisi temiz birleşimsel ifadeler kanıtlamak için kullanılır?

Bilgi teorisinin temiz bir birleşimsel ifadeyi basit bir şekilde kanıtlamak için kullanıldığı favori örnekleriniz nelerdir?

Düşünebildiğim bazı örnekler, yerel olarak kodlanabilen kodlar için daha düşük sınırlarla ilgilidir, örneğin, bu yazıda: bir dizi ikili uzunluğundaki her için farklı olduğunu çiftleri { }Öyleyse, m en azından n , burada üs, doğrusal olarak oranına bağlıdır . n, i k i j 1 , J 2 , e i = x j 1 ⊕ x j 2 . k i /$x_1,...,x_m$$n$$i$$k_i$$j_1,j_2$

Başka bir (ilgili) örnek, Boole küpü üzerindeki izoperimetrik eşitsizliklerdir (cevaplarınızda bu konuda ayrıntılı bilgi vermekten çekinmeyin).

Daha güzel örneklerin var mı? Tercihen, kısa ve açıklaması kolaydır.

Moser'in yapıcı Lovasz Yerel Lemma kanıtı . Temel olarak, yerel lemin koşullarında, SAT için en basit ikinci algoritmanın işleri düşünebileceğini gösterir. (En basit olanı bir tanesi işe yarayana kadar rastgele bir ödev denemek olabilir. İkinci basit olan rastgele bir ödevi seçip tatminsiz bir madde bulmak, tatmin etmek, daha sonra hangi cümleleri kırdığınızı, tekrarlamanızı ve yapılana kadar tekrar etmenizi sağlamaktır.) Bunun polinom zamanında çalıştığının kanıtı belki de bilgi teorisinin en zarif kullanımıdır (ya da Kolmogorov karmaşıklığını, bu durumda ne demek istersen).

Bu türden en sevdiğim örnek, Shearer's Lemma'nın entropi temelli kanıtı. (Bu kanıtı ve Jaikumar Radhakrishnan'ın Entropy ve Saymasından çok hoş olanları öğrendim .)

İddia: Eğer olduğunu varsayalım noktaları olan üzerinde farklı çıkıntıları -plane, üzerinde farklı çıkıntıları -plane ve üzerinde farklı çıkıntıları -plane. Sonra .R ' 3 , n x Y Z N Y x Z , n z X Y , n 2 ≤ n- X , n , Y , n $n$$\mathbb{R}^3$$n_x$$yz$$n_y$$xz$$n_z$$xy$$n^2 \leq n_x n_y n_z$

İspat: noktalarından rasgele seçilen bir nokta olsun . Let , , üzerine projeksiyonlarını ifade , ve sırasıyla düzlem. n p x p y p z y z x z x $p = (x,y,z)$$n$$p_x$$p_y$$p_z$$yz$$xz$$xy$

Bir yandan, , , ve , entropinin temel özelliklerine göre.H [ p x ] ≤ log n x H [ p y ] ≤ log n y H [ p z ] ≤ log n $H[p] = \log n$$H[p_x] \leq \log n_x$$H[p_y] \leq \log n_y$$H[p_z] \leq \log n_z$

Öte yandan, ve ayrıca Son üç denklemi eklemek bize şunu verir: , burada şartlandırmanın entropiyi azalttığı gerçeğini kullandık (genel olarak, ) rastgele değişkenleri .H [ p x ] = H [ y ] + H [ z | y ] H [ p y ] = H [ x ] + 'H [ Z | x ] H

Böylece, veya .n 2 ≤ n x n y n $2 \log n \leq \log n_x + \log n_y + \log n_z$$n^2 \leq n_x n_y n_z$

Radhakrishnan en entropi dayanıklı mükemmel Eşleme sayısıdır Bregman Teoreminin, bir bipartit grafikte en olduğu . Kanıt iki çok zekice fikir kullanıyor. İşte kanıtın bir taslak:( L ∪ R , E ) ∏ v ∈ L ( d ( v ) ! ) 1 / d ( v $p$$(L\cup R, E)$$\prod_{v \in L} (d(v)!)^{1/d(v)}$

• Eşit bir şekilde mükemmel bir eşlemesi seçin . Bu değişkenin entropisi .H ( M ) = log $M$$H(M) = \log p$
• İçin , izin içinde tepe olmak ile eşleştirilir içinde .X v R v $v \in L$$X_v$$R$$v$$M$
• değişkeni aynı bilgiye sahiptir , bu yüzden .$X = (X_v : v \in L)$$M$$H(M) = H(X)$
• Akıllı Fikir 1: rasgele (ve eşit) bir sipariş seçerek üzerinde , Radhakrishnan, bir "randomize zincir kuralı" belirten içerir .$\leq$$L$$H(X) = \sum_{v\in L} H(X_v | { X_u : u < v }, \leq)$
• Koşullardaki bilgilerden ( )(kabaca: eşleşme için seçenek sayısı ).${X_u : u < v}, \leq$$N_v = |N(v) \setminus { X_u : u < v }|$$v$
• bu belirlendiğinden, koşullu entropi .$N_v$$H(X_v | { X_u : u < v }, \leq) = H(X_v | { X_u : u < v }, \leq, N_v)$
• Zekice bir fikir 2: bilgisini "unutarak", sadece entropiyi artırabiliriz: .${X_u : u < v}, \leq$$H(X_v | { X_u : u < v }, \leq, N_v) \leq H(X_v | N_v)$
• Crazy Fact: değişkeni , kümesinde eşit olarak dağılmıştır .$N_v$${1,\dots, d(v)}$
• Şimdi entropisini hesaplamak için , :$H(X_v | N_v)$$N_v$$H(X_v | N_v) = \sum_{i=1}^{d(v)} \frac{1}{d(v)}H(X_v|N_v=i) \leq \frac{1}{d(v)}\sum_{i=1}^{d(v)}\log i = \log((d(v)!)^{1/d(v)}).$
• Sonuç, tüm eşitsizliklerin bir araya getirilmesi ve üstlerin alınması ile sonuçlanır.

Bu eşitsizliğin genellemesi Kahn-Lovász Teoremi'dir: Herhangi bir grafiğindeki mükemmel eşleşme sayısı en fazla . Bu sonucun entropi kanıtı Cutler ve Radcliffe tarafından kanıtlandı .$G$$\prod_{v \in V(G)} (d(v)!)^{1/2d(v)}$

Kombinatoryal Teoride Pippenger A Bilgi-Teorik Bir Yöntem tarafından iki makalede çok güzel örnekler bulunmaktadır. J. Comb. Teori, Ser. A 23 (1): 99-104 (1977) ve Entropi ve boolean fonksiyonlarının sayımı. IEEE Bilgi Teorisi İşlemleri 45 (6): 2096-2100 (1999). Aslında, Pippenger'ın birkaç makalesinde entropi / karşılıklı bilgilendirme yoluyla sevimli birleşimsel gerçekler ispatları var. Ayrıca, iki kitap: Jukna, Bilgisayar Bilimi ve Aigner Uygulamaları ile Ekstrem Kombinatorik, Kombinatoryal Arama'nın bazı güzel örnekleri var. Madiman ve ark. Katkı Kombinatoriklerinde Bilgi Teorik Eşitsizlikler ve Entropy toplam kümesi tahminleri Terence Tao (bunları Google Akademik ile bulabilirsiniz). Umarım yardımcı olur.

Bir başka güzel örnek, Terry Tao'nun Szemerédi grafik düzenlilik lemasının alternatif kanıtıdır . Düzenlilik lemmasının güçlü bir versiyonunu kanıtlamak için bilgi teorik bir bakış açısı kullanır, bu da hipergrafiler için düzenlilik lemmasını kanıtlamasında son derece yararlı olduğu ortaya çıkar . Tao'nun kanıtı, şu ana kadar, hipergrafı düzenli lemması için en özlü kanıtıdır.

Bu bilgi-teorik bakış açısını çok yüksek düzeyde açıklamaya çalışayım.

Bir ikili grafik olduğunu varsayalım iki tepe setleri ile, ve ve kenar kümesi E bir alt . Kenar yoğunluğu olduğu. Bu demek olduğu tüm halinde -Normal ve tarafından indüklenen alt grafiği kenar yoğunluğu ve olan.$G$$V_1$$V_2$$V_1 \times V_2$$G$$\rho = |E|/|V_1||V_2|$$G$$\epsilon$$U_1 \subseteq V_1$$U_2 \subseteq V_2$$U_1$$U_2$$\rho \pm \epsilon |U_1||U_2|/|V_1||V_2|$

Şimdi, köşe seçmeyi düşünün gelen ve bir tepe gelen rastgele bağımsız ve eşit. Eğer küçük ve büyük, biz yorumlayabilir ait -regularity o şartlandırma şeklindeki olmak ve olmak o kadar olasılığını etkilemez bir oluşturur kenar . Başka bir deyişle, biz sonra bile bu bilgileri verilen içindedir ve$x_1$$V_1$$x_2$$V_2$$\epsilon$$U_1, U_2$$\epsilon$$G$$x_1$$U_1$$x_2$$U_2$$(x_1,x_2)$$G$$x_1$$U_1$$x_2$ içinde olan , biz olup olmadığı hakkında çok bilgi edinilen değil bir kenar ya da değildir.$U_2$$(x_1,x_2)$

Szemeredi'nin düzgünlüğü lemması (gayri) için garanti bir grafik, bir bir bölüm bulabilirsiniz ve bir bölümü sabit yoğunluktaki alt-grup halinde bu tür alt-en gibi çiftleri için , teşvik edilmiş ilgili alt grafiğinin olan -Normal. Yukarıdaki yorumu yaparak, herhangi bir iki yüksek entropi değişkeni ve verildiğinde ve herhangi bir olayına bakıldığında, düşük entropi değişkenleri ve - "düşük- entropi "çünkü alt gruplar ve$V_1$$V_2$$U_1 \subset V_1, U_2 \subset V_2$$U_1 \times U_2$$\epsilon$$x_1$$x_2$$E(x_1,x_2)$$U_1(x_1)$$U_2(x_2)$$U_1$$U_2$ sürekli yoğunluğa sahiptir - öyle ki , yaklaşık olarak ve veya değişkenler arasındaki karşılıklı bilginin çok küçük olması. Tao aslında bu düzeni kullanarak normalliğin lemmasının çok daha güçlü bir versiyonunu oluşturuyor. Örneğin, ve bağımsız değişkenler olmasını gerektirmez (bildiğim kadarıyla bu genellemenin bir uygulaması olmamasına rağmen). $E$$x_1 | U_1$$x_2 | U_2$$x_1$$x_2$

Temel olarak bu soruya adanmış bütün bir kurs var:

https://catalyst.uw.edu/workspace/anuprao/15415/86751

Kurs hala devam ediyor. Bu yüzden tüm notlar bu yazıdan itibaren kullanılamaz. Ayrıca, dersten bazı örnekler zaten belirtilmiştir.

Diyelim ki içinde noktamız var ve boyut küçültme yapmak istiyoruz. İkili mesafelerin en fazla değişmesini istiyorsak , boyutumuzu den azaltabiliriz . Bu Johnson-Lindenstrauss Lemma . On yıl boyunca, bir boyut için en iyi bilinen alt sınır , Alon tarafından idi, bu nedenle, boyutunda bir boşluk vardı. . Son zamanlarda, Jayram ve Woodruff kapandı$n$$\ell_2^d$$1 \pm \epsilon$$d$$O(\log n / \epsilon^2)$$\Omega(\log n / (\epsilon^2 \log(1 / \epsilon)))$$\sim \log(1 / \epsilon)$Alon'un alt sınırını iyileştirerek bu boşluk. Kanıtları zar zor geometrik yapıya dayanıyor. Yaptıkları şey, eğer daha iyi bir sınır mümkün olsaydı, belirli bir iletişim karmaşıklığı alt sınırını ihlal edeceğini ispatlıyorlar. Ve bu sınır bilgi teorik araçlar kullanılarak kanıtlanmıştır.

Veri yapıları dünyasında aşağıdaki temel problemi göz önünde bulundurun. beden bir evreniniz var . Bir öğeyi statik bir veri yapısı olarak bir öğesinde saklamak istiyorsunuz , böylece kullanıcı bilmek isterse olup olmadığını , veri yapısında yalnızca bit problarının gerekli olduğunu bilmek istersiniz. , burada sabit bir sabittir. Amaç, veri yapısının alan karmaşıklığını en aza indirmektir (depolanan bit sayısı açısından).$m$$u \in [m]$$x \in [m]$$x=u$$t$$t$

Kişi böyle bir veri yapısını . Fikir basit. Böl tarif etmek için ihtiyaç duyulan bit içine blok. Her ve her olası uzunluk uzunluğu , bloğunun o bitstring'e eşit olup olmadığını veri yapısında saklayın .$O(m^{1/t})$$\log m$$u$$t$$i \in [t]$$(\log m)/t$$i$$u$

Şimdi, alt sınır için. , den rastgele seçilen bir eleman olsun . Açıkçası, . Eğer olan bu sırayla (muhtemelen uyarlamalı) veri yapısında problanan bit, daha sonra: , burada veri yapısının büyüklüğüdür. Bu verir: .$X$$[m]$$H[X] = \log m$$X_1, \dots, X_t$$t$$H[X] = H[X_1] + H[X_2 | X_1] + \cdots + H[X_t | X_1, \dots, X_{t-1}] \leq t \log s$$s$$s \geq m^{1/t}$

İki eleman ve saklamak istiyorsak sıkı sınırlar bilinmemektedir . Bu yönde en iyi sonuçlar için buraya bakın .$t > 1$

Buna güzel bir örnek Kahn ve Kim tarafından " Sıralama ve Entropi ". Entropi yöntem, bilinen bir poşet verilen bir algoritma bulmak için kullanılan ve bir unknon doğrusal uzantısı , doğrusal uzantısı bulmak sorgular doğrusal uzantıları kümesidir .P O ( log | X | ) X $P$$P$$O(\log |X|)$$X$$P$

Jiang, Li, Vitanyi, Kolmogorov Karmaşıklığını Kullanan Algoritmaların Ortalama Durum Analizi .

“Algoritmaların ortalama durum karmaşıklığını analiz etmek, bilgisayar bilimlerinde çok pratik ama çok zor bir sorundur. Geçtiğimiz birkaç yılda, Kolmogorov karmaşıklığının, algoritmaların ortalama durum karmaşıklığını analiz etmek için önemli bir araç olduğunu gösterdik. Sıkıştırılamazlık yöntemini geliştirdik [7]. Bu yazıda, böyle bir yöntemin gücünü ve sadeliğini göstermek için birkaç basit örnek kullanıyoruz. Sıralı veya paralel Queueusort veya Stacksort'u sıralamak için gereken ortalama durum yığınlarının (sıraların) sınırlarını kanıtlarız. '

Ayrıca bakınız, örneğin Kolmogorov Karmaşıklığı ve Heilbronn Tipinin Üçgen Problemi .

Scott Aaronson tarafından örnekleme ve arama denkliği . Burada, Genişletilmiş Kilise Turing Tezi'nin geçerliliği ile ilgili karmaşıklık teorisindeki örnekleme ve arama probleminin denkliğini göstermektedir. Standart bilgi teorisi, algoritmik bilgi teorisi ve Kolmogorov karmaşıklığı temel olarak kullanılır.

“ Kolmogorov karmaşıklığını sadece teknik bir kolaylık ya da sayım argümanı için bir kısa yol olarak kullanmadığımızı vurgulayalım . Aksine, Kolmogorov karmaşıklığı bir arama problemini tanımlamak için bile gerekli görünüyor. ”

Bu basit ve aynı zamanda bir yaklaşım: 10 ^9'dan 10 ^6'nın kaç kombinasyonu, çoğaltmalara izin veriyor? Doğru formül

N = (10 ⁶ + 10 ⁹ )! / (10 ⁶ ! 10 ⁹ !) ~ = 2 ^{11409189.141937481}

Ancak, bir milyar kova boyunca dolaşmak için talimatlar vermeyi hayal edin ve bir yol boyunca milyonlarca misket bıraktığınızı düşünün. “ 10 ⁹ “ sonraki kovaya adım ”talimatı ve 10 ⁶ “ mermer atma ”talimatı olacaktır. Toplam bilgi

log ₂ (K) '= -10 ⁶ günlük ₂ (10 ⁶ / (10 ⁶ + 10 ⁹ 10 -)) ⁹ günlük ₂ (10 ⁹ / (10 ⁶ + 10 ⁹ ))' = 11409200,432742426

Bu komik, ama (log) saymak için oldukça iyi bir yoldur. Sevdim çünkü birleştirici yapmayı unutursam işe yarar. Bunu söylemek eşdeğerdir

(a + b)! / a! b! ~ = (a + b) ^{(a + b)} / a ^a b ^b

Stirling'in yaklaşımını kullanmak, iptal etmek ve bir şeyi kaçırmak gibi.

Linial ve Luria tarafından yüksek boyutlu permütasyonlar için üst sınırlar vermek için çok güzel bir yeni uygulama burada: http://www.cs.huji.ac.il/~nati/PAPERS/hd_permutations.pdf