Ampirik entropi nedir?

Birlikte tipik kümelerin tanımında ("Bilgi Teorisinin Unsurları", ch. 7.6, s. 195),

olarakampirik entropibir bölgesininile tanıyan sekans. Bu terminolojiye daha önce hiç rastlamadım. Kitabın dizinine göre hiçbir yerde açıkça tanımlanmamıştır.

- \frac{1}{n} \log p (x^{n})

$-\frac{1}{n} \log{p(x^n)}$

n

$n$

p (x^{n}) = \prod_{i = 1}^{n} p (x_{i})

$p(x^n) = \prod_{i=1}^{n}{p(x_i)}$

Benim sorum temelde: Neden ampirik entropi olduğunu burada $-\sum_{x}{\hat p (x) \log(\hat p(x))}$ $\hat p(x)$ olan ampirik dağılım?

Bu iki formül arasındaki en ilginç farklar ve benzerlikler nelerdir? (paylaştıkları / paylaşmadıkları özellikler açısından).

information-theory entropy

— blubb
kaynak

İki ifade cebirsel olarak eşit değil mi?

— whuber

@whuber: Hayır, onlar farklı miktarlarda, farklı amaçlarla, inanıyorum. İlki, bir a priori olduğu varsayılan gerçek ölçü

kullanır . İkincisi değil.

p

$p$

— kardinal

Birincisi zamanla entropi birikimi ve sistemin gerçek entropisi ile nasıl karşılaştırıldığı ile ilgilidir. SLLN ve CLT, birine nasıl davrandığı hakkında çok şey anlatır. İkincisi, entropinin verilerden tahmin edilmesiyle ilgilidir ve özelliklerinden bazıları, aynı zamanda bahsedilen iki araçla da elde edilebilir. Ancak, birincisi tarafsız iken, ikincisi

altında değildir . Yararlı olursa bazı detayları doldurabilirim.

p

$p$

— kardinal

@cardinal: Eğer cevap olarak yukarıdaki yorum sağlamak istiyorsanız (belki de SLLN ve CLT ne anlatmak - Bunları bilmiyorum?) Ben upvote memnuniyetle ediyorum ...

— blubb

Tamam, daha sonra yayınlamaya çalışacağım. Bu arada, SLLN = "Büyük sayıların güçlü kanunu" ve CLT = "Merkezi limit teoremi". Bunlar muhtemelen tekrar karşılaşacağınız oldukça standart kısaltmalardır. Şerefe. :)

— kardinal

Yanıtlar:

Veri ise , olduğu, bir bir örnek uzay gelen tanıyan sekans , deneysel noktası olasılıklar vardır $x^n = x_1 \ldots x_n$ $n$ $\mathcal{X}$ için. Burada,ise sıfır ve aksi halde sıfırdır. nispi frekansıgözlenen sırayla. Entropiampirik noktası olasılıkları ile Belirli bir olasılık dağılımı ait

\hat{p} (x) = \frac{1}{n} | {i ∣ x_{i} = x} | = \frac{1}{n} \sum_{i = 1}^{n} δ_{x} (x_{i})

$\hat{p}(x) = \frac{1}{n}|\{ i \mid x_i = x\}| = \frac{1}{n} \sum_{i=1}^n \delta_x(x_i)$

x \in X

$x \in \mathcal{X}$

δ_{x} (x_{i})

$\delta_x(x_i)$

x_{i} = x

$x_i = x$

\hat{p} (x)

$\hat{p}(x)$

x

$x$

'H (\hat{p}) = - \underset{x \in X}{Σ} \hat{p} (x) günlük \hat{p} (x) = - \underset{x \in X}{Σ} \frac{1}{n} Σ_{ben = 1}^{n} δ_{x} (x_{ben}) günlük \hat{p} (x) = - \frac{1}{n} Σ_{ben = 1}^{n} günlük \hat{p} (x_{ben}) .

$H(\hat{p}) = - \sum_{x \in \mathcal{X}} \hat{p}(x) \log \hat{p}(x) = - \sum_{x \in \mathcal{X}} \frac{1}{n} \sum_{i=1}^n \delta_x(x_i) \log \hat{p}(x) = -\frac{1}{n} \sum_{i=1}^n \log\hat{p}(x_i).$

\underset{x \in X}{Σ} δ_{x} (x_{ben}) günlük \hat{p} (x) = günlük \hat{p} (x_{ben}) .

$\sum_{x \in \mathcal{X}} \delta_x(x_i) \log\hat{p}(x) = \log\hat{p}(x_i).$

'H (\hat{p}) = - \frac{1}{n} günlük \hat{p} (x^{n})

$H(\hat{p}) = - \frac{1}{n} \log \hat{p}(x^n)$

\hat{p} (x^{n}) = \prod_{i = 1}^{n} \hat{p} (x_{i})

$\hat{p}(x^n) = \prod_{i=1}^n \hat{p}(x_i)$ ve sorudaki terminolojiyi kullanarak bu, ampirik olasılık dağılımının ampirik entropisidir . Bir yorumda @cardinal tarafından belirtildiği gibi,

- \frac{1}{n} \log p (x^{n})

$- \frac{1}{n} \log p(x^n)$ nokta olasılıkları ile verilen olasılık dağılımının ampirik entropisidir

p

$p$ .

— NRH
kaynak

(+1) Bu, Cover ve Thomas'ın entropinin "garip kendini referans karakteri" olarak adlandırdığı şeyin güzel bir örneğini sunar. Ancak, cevabın aslında OP'nin belirgin endişelerini (doğrudan) ele aldığından emin değilim. :)

— kardinal

@cardinal, biliyorum, ve cevap bu özel noktayı vurgulamak için sadece uzun bir yorumdu. Puanlarınızı tekrarlamak istemedim.

— NRH

Yorumlarımda veya başkalarının yanıtlarında genişleme dahil olmak üzere kendi yanıtınızı göndermekten çekinmeyin veya tereddüt etmemelisiniz. Yanıtları gönderme konusunda özellikle yavaş ve kötüyüm ve siz veya başkaları daha önce kısaca yorumladığım şeylerin yönlerini içeren cevaplar yayınlarsanız asla rahatsız olmaz. Aslında tam tersine. Şerefe.

— kardinal

Entropi olasılık dağılımları için tanımlanmıştır. Bir veriye sahip değilsiniz, sadece verileriniz varsa ve olasılık dağılımının naif bir tahmincisini taktığınızda ampirik entropi elde edersiniz. Bu, başka bir cevapta gösterildiği gibi ayrık (multinomial) dağılımlar için en kolay olanıdır, ancak binning vb. Yoluyla diğer dağıtımlar için de yapılabilir.

Ampirik entropi ile ilgili bir sorun, küçük numuneler için önyargılı olmasıdır. Olasılık dağılımının naif tahmini, örnekleme gürültüsü nedeniyle fazladan değişkenlik gösterir. Tabii ki, daha iyi bir tahminci, örneğin, multinomiyal parametreler için uygun bir öncü kullanabilir, ancak gerçekten tarafsız olmasını sağlamak kolay değildir.

Yukarıda belirtilenler koşullu dağılımlar için de geçerlidir. Ayrıca, her şey binning (veya çekirdekleşme) ile ilgilidir, bu yüzden aslında bir çeşit diferansiyel entropiye sahipsiniz.

— scellus
kaynak

Burada ampirik entropi olarak bahsettiğimiz şeye dikkat etmeliyiz . Eklenti tahmin edicisinin tüm örnek boyutları için her zaman düşük eğilimli olduğunu unutmayın, ancak örnek boyutu arttıkça önyargı azalacaktır. Sadece değil zor entropi için yansız tahminler almak için değil, imkansız genel durumda. Son yıllarda, özellikle sinirbilim literatüründe, bu alanda oldukça yoğun bir araştırma yapılmıştır. Aslında birçok olumsuz sonuç var.

— kardinal