Farklı entropi türlerine iyi giriş

18

Sample Entropy ve Shannon Entropy gibi farklı entropi türlerini ve bunların avantajlarını ve dezavantajlarını açıklayan bir kitap veya çevrimiçi kaynak arıyorum. Birisi beni doğru yönde gösterebilir mi?

references entropy

— Hristiyan
kaynak

9

Cover and Thomas'ın Bilgi Teorisi Unsurları kitabı entropi ve uygulamaları hakkında iyi bir kaynaktır, ancak aklınızdaki sorunları tam olarak ele aldığını bilmiyorum.

— Mark Meckes
kaynak

4

Ayrıca Dembo Cover ve Thomas'ın "Bilgi Teorik Eşitsizlikleri" başlıklı makalesinde birçok derin yön ortaya çıkıyor

— robin girard

1

Yine de, bu kitapların hiçbiri birden fazla entropi olduğunu iddia etmiyor.

5

O. Johnson'un bilgi teorisi hakkındaki bu ders notları , farklı entropi türlerine iyi bir giriş içerir.

— Alekk
kaynak

4

Entropi etrafındaki matematiksel istatistikle ilgileniyorsanız, bu kitaba danışabilirsiniz.

http://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf

serbestçe kullanılabilir!

— robin girard
kaynak

2

Entropi sadece birdir (kavram olarak) - bazı sistemi tanımlamak için gerekli bilgi miktarı; genellemeleri çok fazla. Numune entropisi, kalp atış hızı analizinde kullanılan entropi benzeri bir tanımlayıcıdır.

Ancak, bunun örnek entropi veya shannon entropi veya başka bir entropi kullanmanın çalıştığım veriler için uygun olup olmadığına karar vermeme yardımcı olmadığını biliyorum.

— Christian

2

Yazımda yazdığım şey, belirli bir veri / süreç / sistem türü için yalnızca bir gerçek entropi tanımı olmasıdır. Örnek Entropi bir entropi ölçüsü değildir , sadece kafa karıştırıcı bir isme sahip bazı istatistiklerdir. Entropiyi hesaplamak istediğiniz verileri tanımladığınız ve formülü alacağınız bir soru sorun.

Gerçeğe ilgi duymuyorum ama işe yarayan bir işlev elde etmekle ilgileniyorum . Ben bir biyoinformatikçiyim ve dogmatik gerçeği aramayı değil , işe yarayan istatistikleri aramayı öğrettim . Entropinin en iyi sonucu veren özelliklerle çalışmak istediğim veri türleriyle yapılan bir çalışma olduğunu sanmıyorum. Verilerle çalışmak istediğim nokta bu.

— Christian

2

Doğru, ama bu dogmatik gerçekler hakkında değil, kelimeler hakkında bir tartışma. Entropiyi sordunuz, bu yüzden entropiyi yanıtladım. Şimdi görüyorum ki, zaman serisi tanımlayıcıları hakkında gerçekten bir cevaba ihtiyacınız var, zaman serisi tanımlayıcıları hakkında bir soru yazın, ancak o zaman yararlı bir cevap alırsınız.

2

Jaynes , Shannon'ın entropisinin kitabındaki temel ilkelerden nasıl türetileceğini gösterir .

Bir fikir, yaklaşık ile , entropi aşağıdaki miktar yeniden olduğu $n!$ $n^n$

\frac{1}{n} \log \frac{n!}{(n p_{1})! \dots (n p_{d})!}

$\frac{1}{n}\log \frac{n!}{(n p_1)!\cdots (n p_d)!}$

$d$ $p$

— Yaroslav Bulatov
kaynak

1

n^{n}

$n^n$

n!

$n!$

\log (n!) \sim n \log n - n + O (1)

$\log(n!) \sim n \log n - n + O(1)$ de en azından büyükler için istenen sonuca yol açar

n

$n$ , Çünkü

p_{1} + \dots + p_{d} = 1

$p_1 + \cdots+ p_d = 1$ .

— whuber

2

Grünwald ve Dawid'in makalesi Oyun teorisi, maksimum entropi, minimum tutarsızlık ve sağlam Bayesçi karar teorisi geleneksel entropi kavramının genellemelerini tartışıyor. Bir kayıp göz önüne alındığında, ilişkili entropi fonksiyonu, bir dağıtımdan o dağıtım için elde edilebilecek minimum beklenen kayıpla eşleşmedir. Genel entropi fonksiyonu log kaybıyla ilişkili genel entropidir. Diğer kayıp seçenekleri, Rényi entropisi gibi farklı entropi verir.

— Mark Reid
kaynak

1

Öyleyse sigma, karesel hataya karşılık gelen N (0, sigma) entropisidir ve min (p, 1-p), 0,1 tahmin kaybına karşılık gelen Bernoulli (p) entropisidir? Oldukça genelleme gibi görünüyor!

— Yaroslav Bulatov

Evet. Kare kaybı için entropi sabittir ve 0-1 kaybı için entropi min'dir (p, 1-p). Ayrıca ilginç olan, bunların da diverjanslarla güçlü yazışmaları olması. Hellinger ıraksamasına kare kaybı ve varyasyonel ıraksamaya 0-1 kaybı. Entropiler bu şekilde tanımlandığından, mutlaka içbükey işlevlerdir ve f (p) = -entropi (p) kullanılarak oluşturulan f-diverjansını ortaya çıkarır. Bob Williamson ve ben bu makalede bazılarını araştırdık: arxiv.org/abs/0901.0356 . Eğlenceli şeyler.

— Mark Reid

1

İşte son zamanlarda sapmalar hakkında bulduğum ilginç bir şey - İnanç Yayılımının her adımı bir Bregman Projeksiyonu olarak görülebilir ece.drexel.edu/walsh/Walsh_TIT_10.pdf

— Yaroslav Bulatov