Entropi yere ve ölçeğe nasıl bağlıdır?

Entropi yoğunluk fonksiyonu sürekli bir dağılım beklentisine negatif olarak tanımlanır ve bu yüzden eşit$f$$\log(f),$

$$H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x.$$

Ayrıca dağılımı yoğunluğuna sahip herhangi bir rastgele değişken entropi (Bu integral, sıfırları olduğunda bile iyi tanımlanmıştır , çünkü bu değerlerde sıfıra alınabilir.)$X$$f$$H_f.$$f$$\log(f(x))f(x)$

Zaman ve bu rastgele değişkenlerin ( bir sabittir), bir versiyonu olduğu söylenir kaydırılır Benzer şekilde, ( pozitif bir sabit olduğunda), tarafından ölçeklendirilmiş bir sürümü olduğu söylenirBir ölçeği vardiya ile birleştirmek$X$$Y$$Y = X+\mu$$\mu$$Y$$X$ $\mu.$$Y = X\sigma$$\sigma$$Y$$X$ $\sigma.$$Y=X\sigma + \mu.$

Bu ilişkiler sık ​​görülür. Örneğin, ölçü birimlerini değiştirmek onu değiştirir ve ölçeklendirir.$X$

entropisi entropisi ile nasıl ilişkilidir$Y = X\sigma + \mu$$X?$

Olasılığı elemanı yana $X$ bir $f(x)\mathrm{d}x,$ değişken değişim $y = x\sigma + \mu$ eşdeğerdir $x = (y-\mu)/\sigma,$ sevk edilen

$$f(x)\mathrm{d}x = f\left(\frac{y-\mu}{\sigma}\right)\mathrm{d}\left(\frac{y-\mu}{\sigma}\right) = \frac{1}{\sigma} f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$$

yoğunluğu izler $Y$ olduğu

$$f_Y(y) = \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right).$$

Sonuç olarak entropi $Y$ olduğu

$$H(Y) = -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right)\right) \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$$

değişken, tekrar $x = (y-\mu)/\sigma,$ ,

$$\eqalign{ H(Y) &= -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= -\int_{-\infty}^{\infty} \left(\log\left(\frac{1}{\sigma}\right) + \log\left(f\left(x\right)\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log\left(\sigma\right) \int_{-\infty}^{\infty} f(x) \mathrm{d}x -\int_{-\infty}^{\infty} \log\left(f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log(\sigma) + H_f. }$$

Bu hesaplamalar, logaritmanın temel özelliklerini, entegrasyonun doğrusallığını ve $f(x)\mathrm{d}x$ birliğe (Toplam Olasılık Kanunu ) entegre olduğu gerçeğini kullandı .

Sonuç şudur:

Entropisi $Y = X\sigma + \mu$ entropisidir $X$ artı $\log(\sigma).$

Bir değişken (ölçekleme ederken bir deyişle, onun entropi değişmez rastgele değişkeni kayması, (biz ancak bu değerler ortaya nerede, olasılık yoğunluk değerlerine bağlı olarak olarak entropi düşünebilir), hangi için $\sigma \ge 1$ " uzanır "veya" bulaşır "entropisini $\log(\sigma).$ arttırır . Bu, yüksek entropi dağılımlarının düşük entropi dağılımlarından "daha fazla yayıldığı" sezgisini destekler.

---

Bu sonucun bir sonucu olarak, herhangi bir dağılımın entropisini hesaplarken uygun $\mu$ ve $\sigma$ değerlerini seçmekte özgürüz . Örneğin, Normal $(\mu,\sigma)$ dağılımının entropisi $\mu=0$ ve $\sigma=1.$ ayarlanarak bulunabilir . Bu durumda yoğunluğun logaritması

$$\log(f(x)) = -\frac{1}{2}\log(2\pi) - x^2/2,$$

nereden

$$H = -E[-\frac{1}{2}\log(2\pi) - X^2/2] = \frac{1}{2}\log(2\pi) + \frac{1}{2}.$$

Sonuç olarak, Normal $(\mu,\sigma)$ dağılımının entropisi, basitçe bu sonuca $\log\sigma$ eklenerek elde edilir.

$$H = \frac{1}{2}\log(2\pi) + \frac{1}{2} + \log(\sigma) = \frac{1}{2}\log(2\pi\,e\,\sigma^2)$$

Wikipedia tarafından bildirildiği gibi .