Neden 1'den büyük bilgi entropisi alıyorum?

Entropiyi hesaplamak için aşağıdaki işlevi uyguladım:

from math import log

def calc_entropy(probs):
    my_sum = 0
    for p in probs:
        if p > 0:
            my_sum += p * log(p, 2)

    return - my_sum

Sonuç:

>>> calc_entropy([1/7.0, 1/7.0, 5/7.0])
1.1488348542809168
>>> from scipy.stats import entropy # using a built-in package 
                                    # give the same answer
>>> entropy([1/7.0, 1/7.0, 5/7.0], base=2)
1.1488348542809166

Anladığım kadarıyla entropi 0 ile 1 arasında, 0 çok kesin ve 1 çok belirsiz. Neden 1'den büyük entropi ölçümü alıyorum?

Günlük tabanının boyutunu artırırsam entropi ölçüsü daha küçük olur, ancak taban 2'nin standart olduğunu düşündüm, bu yüzden sorun olduğunu düşünmüyorum.

Açık bir şeyi özlemeliyim, ama ne?

Entropi olduğu değil aynı olasılık .

Entropi rastgele bir değişkenin "bilgisini" veya "belirsizliğini" ölçer. Taban 2'yi kullanırken, bit cinsinden ölçülür; ve bir değişkente birden fazla bilgi biti olabilir.

Bu örnekte, bir örnek yaklaşık 1.15 bit bilgi içerir. Başka bir deyişle, bir dizi numuneyi mükemmel bir şekilde sıkıştırabilseydiniz, ortalama olarak, örnek başına çok sayıda bite ihtiyacınız olurdu.

Entropinin maksimum değeri $\log k$, nerede $k$kullandığınız kategori sayısıdır. Sayısal değeri doğal olarak kullandığınız logaritmaların tabanına bağlı olacaktır.

Soru 2'deki gibi temel 2 logaritmalarını örnek olarak kullanmak: $\log_2 1$ dır-dir $0$ ve $\log_2 2$ dır-dir $1$, yani daha büyük bir sonuç $1$ kategori sayısı kesinlikle yanlışsa $1$ veya $2$. Değerinden büyük bir değer$1$ aşarsa yanlış olur $\log_2 k$.

Bu bağlamda entropinin ölçeklendirilmesi oldukça yaygındır. $\log k$, böylece sonuçlar daha sonra $0$ ve $1$,

Bunu deneyin (üsse dikkat edin) $e$):

from math import log

def calc_entropy(probs):
    my_sum = 0
    for p in probs:
        if p > 0:
            my_sum += p * log(p)

    return - my_sum

Giving:

>>> calc_entropy([1/7.0, 1/7.0, 5/7.0])
0.796311640173813