Birden fazla denemede düşük bir entropi değerini tahmin etme

Varsayalım Alice dağılımına sahip bir sonlu (fakat muhtemelen çok büyük) alan, ve (Shannon) entropi bu şekilde fazla üst bir keyfi küçük sabiti ile sınırlanmaktadır . Alice değer çizer dan , ardından (kim bilir Bob sorar tahmin etmek) .$\mu$$\mu$$\varepsilon$$x$$\mu$$\mu$$x$

Bob'un başarı olasılığı nedir? Sadece bir tahmine izin verilirse, o zaman bu olasılığı aşağıdaki gibi sınırlandırabilirsiniz: entropi üst min-entropiyi sınırlar, bu nedenle en az olasılığı olan bir eleman vardır . Bob bu öğeyi tahmin ettiği gibi seçerse, başarı olasılığı .$2^{-\varepsilon}$$2^{-\varepsilon}$

Şimdi Bob, birden tahmin yapmak demek izin verildiğini varsayalım tahminler ve onun tahminlerin biri doğru ise Bob kazanır. Bob'un başarı olasılığını artıran bir tahmin şeması var mı? Özellikle, Bob'un başarısızlık olasılığının ile katlanarak azaldığını göstermek mümkün müdür ?$t$$t$

Bob'un en iyi bahisi değerlerini en büyük olasılıkla tahmin etmektir .$t$

Eğer varsa sizsiniz, Rényi Boztaş' in yerine Proposition 17 entropi kullanmak isteyen entropiler, Tahmin ve Kriptografi sonra hata olasılığı belirtiyor tahminler en fazla olduğu burada boyuttur etki alanı. Kabul edilirse, bağımlılık oldukça kötüdür ve belki de Boztaş, entropinin farklı bir rejimine odaklanmıştı.$t$

Shannon entropi için, ikili optimizasyon sorunu çözmek için deneyebilirsiniz: Sabit bir başarısızlık olasılığı verildiğinde , böyle bir dağılımın maksimal Entropiyi bulabilirsiniz. dışbükeyliğini kullanarak, dağılımının biçiminde olduğunu biliyoruz burada , ve . elde eden değerlerimiz var . Üzerinde Klima , biz bulmak için deneyebilirsiniz$\delta$$-x\log x$$\mu$$a,b,\ldots,b;b,\ldots,b,c$$a\geq b\geq c$$a+(t-1)b = 1-\delta$$c = \delta-\lfloor\frac{\delta}{b}\rfloor b$$t-1+\lfloor\frac{\delta}{b}\rfloor$$b$$s = \lfloor\frac{\delta}{b}\rfloor$$b$entropiyi en aza indirir. Doğru değeri için bu bir iç nokta olacaktır (türevin ortadan kalktığı). Bu yaklaşımı kullanarak asimtotik tahminlerin nasıl alınacağından emin değilim.$s$

Maalesef sorunuzun iyi bir cevabı yok. John Pliam [Doktora Tezi, LNCS serisinde 2 bildiri] Shannon entropisi ile beklenen tahmin sayısı arasındaki eşitsizliği ilk gözlemleyen kişiydi. Tezini online bulmak kolaydır. Bölüm 4.3'te, kendine benzer huffman ağaçlarından gelen (keyfi bir pozitif tamsayı bağlı) uygun bir olasılık dağılımı seçerek , azalan olasılık sırasını tahmin ederek daha fazlasını yapmak gerektiğini gösterir. başarı ulaşır olasılığı önce tahmin .$X$$N$$N+H(X)$$1/2$

Bu, insanların Renyi entropilerini incelemeye devam etmesinin nedeninin bir parçası.