Renyi entropilerinin faydası?

14

Çoğumuz rasgele bir değişkenin Shannon entropisine, ve tüm ilgili bağıl entropi, karşılıklı bilgi, vb. gibi bilgi-teorik önlemler. Rasgele bir değişkenin min-entropisi gibi teorik bilgisayar bilimi ve bilgi teorisinde yaygın olarak kullanılan birkaç başka entropi ölçüsü vardır. $H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr]$

Bu sözde Renyi entropilerini literatüre göz atarken daha sık görmeye başladım . Shannon entropisini ve min-entropiyi genelleştirir ve aslında rastgele bir değişkenin bütün entropik ölçümlerini sağlarlar. Çoğunlukla Renyi entropisinin kuantum versiyonunun da oldukça sık olduğu kuantum bilgileri alanında çalışıyorum.

Gerçekten anlamadığım şey neden faydalı olduklarıdır. Çoğu zaman analitik olarak çalışmanın Shannon / von Neumann entropisi veya min entropisi demekten daha kolay olduğunu duydum. Ama aynı zamanda Shannon entropisi / min-entropisi ile de ilişkilendirilebilirler.

Herkes, Renyi entropilerini kullanırken "yapılacak doğru şey" olduğuna dair örnekler (klasik veya kuantum) sağlayabilir mi? Aradığım şey, Renyi entropilerini ne zaman kullanmak isteyebileceğimi bilmek için bazı "zihinsel kanca" veya "şablon".

Teşekkürler!

it.information-theory quantum-information

— Henry Yuen
kaynak

Cevabımın eki: Görünüşe göre q-Renyi entropisinin olasılıksal bir tanımı var (q ) i, e . Daha sonra ve bu `` Shannon Entropy '' denir. Biri diğer limiti de tanımlar yani Bu fikirler, burada görüldüğü gibi genişletici yapımında kullanım bulmuş gibi görünüyor, math.rutgers.edu/~sk1233/courses/topics-S13, math.ias. edu / ~ avi / YAYINLAR / MYPAPERS / CRVW01 / crvw01.pdf, arxiv.org/pdf/math/0406038.pdf

q \in Z^{+}

$q \in \mathbb{Z}^+$

H_{q} ({p_{i}}_{i = 1}^{n}) = \frac{1}{1 - q} l n [\sum_{k = 1}^{n} p_{k}^{q}]

$H_q (\{ p_i \}_{i=1}^n )= \frac{1}{1-q} ln [ \sum_{k=1}^n p_k^q ]$

l i m_{q \to 1} H_{q} = - \sum p_{k} l n (p_{k})

$lim_{q \rightarrow 1} H_q = - \sum p_k ln (p_k)$

H_{\infty} (X) = l n [\frac{1}{m a x_{a} P r [X = a]}]

$H_{\infty} (X) = ln [\frac{1}{ max_{a} Pr[X=a]} ]$

— Anirbit

15

Bazı sonlu kümesine dağılmış bilinmeyen rasgele bir değişken için atomik tahminler yapmayı deneyin Shannon entropisinde, yavaş yavaş sorgulayabileceğiniz varsayılır, yani şu soruları sorabilirsiniz: $X$ $A.$ $A=\{1,\ldots,N\}$

Mı ? $X\in \{1,\ldots,N/2\}$ ( çift olduğunu varsayalım veya yer / tavan işlevlerini kullanın) $N$

Kripto ve bazı kod çözme senaryolarında bu gerçekçi değildir. Bilinmeyen bir parolayı tahmin etmeye çalışırken atom sorguları yapmanız gerekir, yani belirli bir değer olup olmadığını sorgulayın . $X$

Bu sorgu beklenen sayı rastgele değişken tahmin etmek çıkıyor sonra düzenin Renyi entropi üzerine sıkıca bağlıdır Yani bazı yüksek anlar yapmak. Örneğin $X$ $1/2.$

E [G] \leq \frac{(\sum_{x \in A} P_{X} (x)^{1 / 2})^{2}}{2}

$E[G]\leq \frac{(\sum_{x \in A} P_X(x)^{1/2})^2}{2}$

ve pay esas düzenin Renyi entropi logaritmasıdır , aynı zamanda tahminleri sayısı Renyi entropi ve beklenti çok küçük ise Shannon çok büyük entropi yapabilir biri. Eğer güvenlik için Shannon entropisine güvenirseniz, bu durumda başınız derde girer. $1/2.$

Lütfen ayrıca ilgili soruya bakın Birden fazla denemede düşük bir entropi değerini tahmin etme

Bazı referanslar:

JO Pliam, Kaba Kuvvet Saldırılarında Entropi ve Marjinal Tahmin Çalışmasının Karşılaştırılamazlığı Üzerine. INDOCRYPT 2000: 67-79
E. Arikan, Tahminte eşitsizlik ve ardışık kod çözmeye uygulanması. Bilgi Teorisi IEEE İşlemleri 42 (1): 99-105,1996.
S. Boztaş, On Renyi entropileri ve kriptografide saldırı tahminlerine uygulamaları, IEICE Elektronik, Haberleşme ve Bilgisayar Bilimleri Temelleri İşlemleri 97 (12): 2542-2548, 2014.

— kodlu
kaynak

Bu S.Boztas belgesine erişemiyorum. Herkese açık bir bağlantınız var mı?

— Anirbit

@Anirbit RMIT araştırma deposu, bkz researchbank.rmit.edu.au

— kodlu

Bu bağlantıyı araştırdım. Beni sadece daire içine aldı. Herkese açık bir pdf dosyası bulamadım!

— Anirbit

@Havuz, özür dilerim, gerçekten orada yatırıldığını düşündüm!

— kodlu

18

Renyi entropi Bir anlamda, hiç de temelde aynıdır bu normlar yararlı olmasının nedeni diyelim ilk hatırlama yüzden, -norms. $\ell_p$

Sayılardan oluşan bir vektör olduğunu varsayalım . Bir anlamda tipik görünüşün nasıl olduğunu temsil eden tek bir sayıya sahip olmak istiyoruz. $a \in \mathbb{R}^n$ $a$

$a$ $\ell_1$ $\mathbb{E}_{1 \le i \le n}[|a_i|]$ $\ell_1$ $a$ $\ell_1$ $\ell_1$ $a$ $a$

$a$ $\ell_\infty$ $\ell_0$ $a$

$\ell_p$ $p$

$\ell_1$

Örneğin, birçok kez Renyi-2 entropisi yararlıdır, çünkü bir yandan Shanon'un entropisine yakındır ve bu nedenle dağıtımdaki tüm elementler hakkında bilgi içerir ve diğer yandan en büyük elementler hakkında daha fazla bilgi verir. olasılık. Özellikle, Renyi-2 entropisindeki sınırların min-entropide sınırlar verdiği bilinmektedir, bakınız, örneğin, Ek A'ya bakınız: http://people.seas.harvard.edu/~salil/research/conductors-prelim .ps

— Veya Meir
kaynak

11

Renyi entropisi (2. sıradan) kriptografide çarpışma olasılığını analiz etmek için kullanışlıdır.

$X$

H_{2} (X) = - \log_{2} \sum_{x} Pr [X = x]^{2} .

$H_2(X) = - \log_2 \sum_x \Pr[X=x]^2.$

$H_2(X)$ $X$ $2^{-H_2(X)}$ $n$ $n$ $C(n,2) 2^{-H_2(X)}$

Bu gerçekler, çarpışmaların bazen sorunlu olabileceği ve saldırıları mümkün kıldığı kriptografide yararlıdır.

Şifrelemede diğer kullanımların bazı analizleri için, aşağıdaki doktora tezini tavsiye ederim:

Christian Cachin. Kriptografide Entropi Önlemleri ve Koşulsuz Güvenlik . Doktora tezi, ETH Zürih, Mayıs 1997.

— DW
kaynak

Herhangi bir q-Renyi entropisinin doğrudan olasılıklı bir tanımı var mı? (

— cevabımdan da görebileceğiniz gibi, bunu keyfi q'da

@Anbit, bilmiyorum. Gördüğüm hiçbirini hatırlamıyorum (q-Renyi entropisinin umursadığımız diğer sınırlarda sınırlara yol açmasına rağmen ...)

— DW

Ayrıca "bilgi entropisi" temelde "termodinamik entropi" gibi görünmektedir. Öyleyse (q = 1) -Renyi entropisinde, yani dolaşık entropide bile, karmaşıklık yorumuyla ilgili kavramsal bir boşluk var mı?

— Anirbit

- \infty

$-\infty$

@DW Olasılıksal bir yorum var gibi görünüyor. Orijinal soru hakkındaki yorumuma bakın.

— Anirbit

3

Bu diğer stackexchange yanıtı ve bu blog gönderisi, temel bir örneği hızlı bir şekilde hissetmek için çok yararlı olabilir.

Kabaca konuşmak gerekirse Renyi entropileri bir kuantum sisteminin heyecanlı durumlarını bilirler ama dolaşıklık entropisi temel durumları bilir. UYARI: Bu sezgi çok kaba olabilir ama sadece iyi bir "zihinsel kanca" olabilir: DI bunu söylemenin daha iyi ve kesin bir yolunu bilmek ÇOK mutlu olurdu!

$S_1$ $S_q$ $q \in \mathbb{Z}^+$ $S_1 = limit_{q \rightarrow 1} S_q$ $S_q$ $q \in \mathbb{R}$ $q \rightarrow 1$ $q \in \mathbb{R}$ $S_q$

$q>1$ $q-$ $q$

Biri bu anaylitik süreklilikleri yapmaya çalıştığında varlık ve iyi pozlama ile ilgili her zaman birçok sorun vardır - ama benim gibi Feynman'ın günlük diyetinde yetiştirilen biri için başa çıkmak için çok yaygın bir konudur ve biz bunları ele almak için birçok araç var. Bu konular için üç güzel makale http://arxiv.org/pdf/1306.5242.pdf , http://arxiv.org/pdf/1402.5396.pdf , http://arxiv.org/pdf/1303.7221 .pdf (bu makalelerin sonuncusu daha kolay bir başlangıç noktası olabilir) Bu sunum aynı zamanda yardımcı olabilir, https://www.icts.res.in/media/uploads/Talk/Document/Tadashi_Takayanagi.pdf

Renyi entropisinin kuantum karmaşıklık teorisi açısından söyledikleri heyecan verici bir soru olabilir! Renyi endeksini bir şekilde karmaşıklık sınıfları hiyerarşisini parametrelendiren bir şey düşünebilir mi? Eğer doğruysa eğlenceli olmalı! Bana bildirin :)

— Anirbit
kaynak

0

Renyi entropi, nicel bilgi akışı , bir alan veya güvenlik araştırması tanımlarına girmiştir . Bkz. G. Smith'in anket kağıdı .

— Kai
kaynak