Görünmeyen verilerde log-ortalamalı ters olasılık anlamına gelen şaşkınlık terimi ile karşılaştım. Şaşkınlık konusundaki Wikipedia makalesi sezgisel bir anlam ifade etmiyor.

Bu karışıklık ölçüsü pLSA makalesinde kullanılmıştır .

Şaşkınlık ölçüsünün gerekliliği ve sezgisel anlamını açıklayabilen var mı?

Şaşkınlık hakkındaki Wikipedia makalesine baktınız . Kesikli bir dağılımın karışıklığını verir.

$$2^{-\sum_x p(x)\log_2 p(x)}$$

hangi olarak da yazılabilir

$$\exp\left({\sum_x p(x)\log_e \frac{1}{p(x)}}\right)$$

yani olasılıkların tersinin ağırlıklı geometrik bir ortalaması olarak. Sürekli bir dağıtım için, toplam bir integral haline gelirdi.

Makale ayrıca adet test verisi kullanan bir model için kafa karışıklığını tahmin etmenin bir yolunu sunar$N$

$$2^{-\sum_{i=1}^N \frac{1}{N} \log_2 q(x_i)}$$

hangi da yazılabilir

$$\exp\left(\frac{{\sum_{i=1}^N \log_e \left(\dfrac{1}{q(x_i)}\right)}}{N}\right) \text{ or } \sqrt[N]{\prod_{i=1}^N \frac{1}{q(x_i)}}$$

veya çeşitli başka şekillerde ve bu "günlük ortalama ters olasılık" ın nereden geldiğini daha da netleştirmelidir.

Bunu oldukça sezgisel buldum:

Neyi değerlendirdiğinizin, onu değerlendirdiğiniz verilerdeki şaşkınlık, size “bu şeyin bir x-taraflı kalıbın olacağı kadar doğru olduğunu” söyler.

http://planspace.org/2013/09/23/perplexity-what-it-is-and-what-yours-is/

Bunu da merak ettim. İlk açıklama fena değil, ama işte benim için değerim.

---

Her şeyden önce, şaşkınlığın doğru bir şeyi ne sıklıkta tahmin edeceğinizi karakterize etmekle ilgisi yoktur. Stokastik bir dizinin karmaşıklığını karakterize etmekle daha fazlası var.

$$2^{-\sum_x p(x)\log_2 p(x)}$$

İlk önce kütüğü ve üsleri iptal edelim.

$$2^{-\sum_{x} p(x)\log_2 p(x)}=\frac{1}{\prod_{x} p(x)^{p(x)}}$$

Bence şaşkınlığın entropiyi tanımlamak için kullandığınız tabanla değişmez olduğunu belirtmeye değer. Dolayısıyla bu anlamda, şaşkınlık, bir ölçüm olarak entropiden ziyade, sınırsızca daha eşsiz / daha az keyfidir.

Zar İlişkisi

$$\frac{1}{\frac{1}{2}^\frac{1}{2}\times\frac{1}{2}^\frac{1}{2}}=2$$

$N$

$$\frac{1}{\left(\frac{1}{N}^\frac{1}{N}\right)^N}=N$$

Bu yüzden şaşkınlık, adil bir kalıbın kenarlarının sayısını temsil eder, yuvarlandığında, sizin verilen olasılık dağılımınızla aynı entropiye sahip bir sekans üretir.

Devletlerin sayısı

$N$$N+1$$N$$\epsilon$$N$$N + 1$$\epsilon$$N$$x$$p_x$$N$

$$p^\prime_x=p_x\left(1-\epsilon\right)$$

$$\frac{1}{\epsilon^\epsilon\prod_x^N {p^\prime_x}^{p^\prime_x}}=\frac{1}{\epsilon^\epsilon\prod_x^N {\left(p_x\left(1-\epsilon\right)\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon\prod_x^N p_x^{p_x\left(1-\epsilon\right)} {\left(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon{\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}\prod_x^N p_x^{p_x\left(1-\epsilon\right)}}$$

$\epsilon\rightarrow 0$

$$\frac{1}{\prod_x^N {p_x}^{p_x}}$$

Böylece, kalıbın bir tarafını yuvarlanma olasılığını giderek düşürürken, şaşkınlık taraf yokmuş gibi görünmeye başlar.

$X$$X'$

$P(X=X') \ge 2^{-H(X)} = \frac{1}{2^{H(X)}} = \frac{1}{\text{perplexity}}$

Açıklamak gerekirse, tek biçimli bir dağılımın şaşkınlığı sadece | X |, elemanların sayısıdır. Numunelerin eşit dağılımlı bir dağılımdan örneklerini veren değerleri tahmin etmeye çalışırsak, X, basitçe X'den kimliğin tahminlerini yaparak alacaktır, zamanın 1 / | X | = 1 / şaşkınlığı doğru olacaktır. Tekdüze dağılım, değerleri tahmin etmek en zor olduğu için, tahminlerimizin ne sıklıkta doğru olacağı konusunda 1 / şaşkınlığı daha düşük bir sınır / sezgisel yaklaşım olarak kullanabiliriz.