Birden fazla denemede düşük bir entropi değerini tahmin etme


9

Varsayalım Alice dağılımına sahip bir sonlu (fakat muhtemelen çok büyük) alan, ve (Shannon) entropi bu şekilde fazla üst bir keyfi küçük sabiti ile sınırlanmaktadır . Alice değer çizer dan , ardından (kim bilir Bob sorar tahmin etmek) .μμεxμμx

Bob'un başarı olasılığı nedir? Sadece bir tahmine izin verilirse, o zaman bu olasılığı aşağıdaki gibi sınırlandırabilirsiniz: entropi üst min-entropiyi sınırlar, bu nedenle en az olasılığı olan bir eleman vardır . Bob bu öğeyi tahmin ettiği gibi seçerse, başarı olasılığı .2ε2ε

Şimdi Bob, birden tahmin yapmak demek izin verildiğini varsayalım tahminler ve onun tahminlerin biri doğru ise Bob kazanır. Bob'un başarı olasılığını artıran bir tahmin şeması var mı? Özellikle, Bob'un başarısızlık olasılığının ile katlanarak azaldığını göstermek mümkün müdür ?tt

Yanıtlar:


10

Bob'un en iyi bahisi değerlerini en büyük olasılıkla tahmin etmektir .t

Eğer varsa sizsiniz, Rényi Boztaş' in yerine Proposition 17 entropi kullanmak isteyen entropiler, Tahmin ve Kriptografi sonra hata olasılığı belirtiyor tahminler en fazla olduğu burada boyuttur etki alanı. Kabul edilirse, bağımlılık oldukça kötüdür ve belki de Boztaş, entropinin farklı bir rejimine odaklanmıştı.t

12H2(μ)(1logtlogn)ln2(1logtlogn)H2(μ),
nt

Shannon entropi için, ikili optimizasyon sorunu çözmek için deneyebilirsiniz: Sabit bir başarısızlık olasılığı verildiğinde , böyle bir dağılımın maksimal Entropiyi bulabilirsiniz. dışbükeyliğini kullanarak, dağılımının biçiminde olduğunu biliyoruz burada , ve . elde eden değerlerimiz var . Üzerinde Klima , biz bulmak için deneyebilirsinizδxlogxμa,b,,b;b,,b,cabca+(t1)b=1δc=δδbbt1+δbbs=δbbentropiyi en aza indirir. Doğru değeri için bu bir iç nokta olacaktır (türevin ortadan kalktığı). Bu yaklaşımı kullanarak asimtotik tahminlerin nasıl alınacağından emin değilim.s


Cevap için teşekkürler! Önerdiğiniz optimizasyon yaklaşımını denedim, ancak iyi tahminler alamadım.
Veya Meir

Merhaba Yuval, biraz daha çalıştıktan sonra, bu optimizasyon yaklaşımının çözümü sağladığı görülüyor. Ne yazık ki, bu durumda da hata, tahmin sayısında sadece ters-logaritmik olarak azalır. Teşekkürler!
Veya Meir

7

Maalesef sorunuzun iyi bir cevabı yok. John Pliam [Doktora Tezi, LNCS serisinde 2 bildiri] Shannon entropisi ile beklenen tahmin sayısı arasındaki eşitsizliği ilk gözlemleyen kişiydi. Tezini online bulmak kolaydır. Bölüm 4.3'te, kendine benzer huffman ağaçlarından gelen (keyfi bir pozitif tamsayı bağlı) uygun bir olasılık dağılımı seçerek , azalan olasılık sırasını tahmin ederek daha fazlasını yapmak gerektiğini gösterir. başarı ulaşır olasılığı önce tahmin .XNN+H(X)1/2

Bu, insanların Renyi entropilerini incelemeye devam etmesinin nedeninin bir parçası.

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.