“Ampirik entropi” terimini kim icat etti?

Shannon'ın entropi ile çalışmasını biliyorum, ancak son zamanlarda ampirik entropinin sıklıkla depolama analizinin bir parçası olarak kullanıldığı özlü veri yapıları üzerinde çalıştım .

Shannon, ayrı bir bilgi kaynağı tarafından üretilen bilgilerin entropisini $-\sum_{i=1}^k p_i \log{p_i}$ , nerede $p_i$ olayın olasılığı $i$ örneğin belirli bir karakter üretilir ve $k$ olası olaylar.

MCH'nin yorumlarda belirttiği gibi, ampirik entropi bu olayların ampirik dağılımının entropisidir ve bu nedenle $-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}$ nerede $n_{i}$ olayın gözlenen olaylarının sayısıdır $i$ ve $n$ toplam gözlemlenen olay sayısıdır. Buna sıfırıncı dereceden ampirik entropi denir . Shannon'ın koşullu entropi kavramı benzer yüksek dereceli ampirik versiyona sahiptir.

Shannon, ampirik entropi terimini kullanmadı, ancak bu kavram için kesinlikle bir miktar krediyi hak ediyor. Bu fikri ilk kim kullanmış ve ilk olarak (çok mantıklı) ampirik entropiyi tanımlamak için kim kullanmıştır ?

reference-request shannon-entropy succinct

— silinmiş kullanıcı 42
kaynak

"Her bir dize için noktadan tanımlanmış" kulağa Kolmogorov karmaşıklığı gibi geliyor: bahsettiğiniz şey bu mu? Değilse, onu tanımlayan bir bağlantıya işaret edebilir misiniz, yoksa sorunun kendisinde hala bir defn sağlayabilir misiniz?

— Suresh Venkat

Buna denir çünkü ampirik entropi, bir dizinin ampirik dağılımının entropisidir.

— Mehdi Cheraghchi

@SureshVenkat Soruyu ayrıntılandırmaya çalıştım.

— silinen kullanıcı 42

Kosaraju S. Rao'ya bakın, Manzini G., "Düşük entropi dizelerinin Lempel-Ziv algoritmaları ile sıkıştırılması" (1998) da. Lempel-Ziv algoritmalarının performansını " ampirik entropi " denilen analizi kullanarak analiz ederler .

— Marzio De Biasi

"Ampirik dağılımın" belirli bir frekans sayımı seti için ML dağılımı olduğunu unutmayın. Acaba bu Bayes'e mi dayanıyor? Laplace bile deneysel sayımlardan bir dağılım tanımlama sorununu düşünmüştü.

— Suresh Venkat

Senin gibi "ampirik entropi" ile ilgileniyorum ve bulduğum en eski kağıt Kosaraju kullanıcı gibi "Marzio De Biasi" yaptığı açıklamada söyledi.

Ancak bence "ampirik entropinin" gerçek tanımları daha sonra eski kavramların genelleştirilmesiyle yapılır:

"Büyük Alfabeler ve Sıkıştırılamaz" yazan Travis Gagie (2008)
Paul Emp Vitányi tarafından "Emprik entropi" (2011)

Gagie tanımını tanımı $k$ emir ampirik entropisi:

$H_{k}(w)=\frac{1}{|w|}\min\limits_{Q}\left\{\log\large\frac{1}{P(Q=w)}\right\}$

burada a, dereceden Markov işlemi inci. Ayrıca bu tanımın öncekine eşdeğer olduğunu gösterdi. Vitányi'nin bir sonraki adımı, rasgele süreç sınıflarına genelleme idi (sadece Markov süreçleri değil): $Q$ $k$

$H(w|\mathcal{X})=\min\limits_{X}\left\{K(X)+H(X):\;\left|H(X)-\log\large\frac{1}{P(X=w)}\right|\normalsize\;is\;minimal!\right\}$

burada izin verilen süreçlerin sınıfı ve Kolmogorov karmaşıklığıdır. Biz seçerseniz sınıfı olmak emri Markov inci dizisi üreten süreçlerrastgele değişkenler ve Kolmogorov karmaşıklığını görmezden gelmek, bundan daha fazla Gagie tanımına yol açar ( ile çarpılır ). $\mathcal{X}$ $K(X)$
$\mathcal{X}$ $k$ $|w|$ $|w|$

— Danny
kaynak