N-gram modeller için şaşkınlık ve çapraz entropi

10

Çapraz entropi ve şaşkınlık arasındaki ilişkiyi anlamaya çalışmak. Model için genel olarak M , Şaşkınlık (M) 2 ^ entropi (M) = . Bu ilişki tüm farklı n-gramları, yani unigram, bigram vb.

natural-language entropy perplexity

— Margalit
kaynak

Aslında şaşkınlığın tanımı budur ;

\sqrt[N]{Π_{i = 1}^{N} \frac{1}{P (w_{i} | w_{1}, . . . w_{i - 1})}}

$\sqrt[N]{\Pi^N_{i=1} \frac{1}{P(w_i|w_1, ... w_{i-1})}}$ şey ondan türetilmiştir;)

— WavesWashSands

9

Evet, şaşkınlık her zaman entropinin gücüne ikiye eşittir. Ne tür bir modeliniz olduğu, n-gram, unigram veya sinir ağınızın önemi yoktur.

İnsanların dil modellemesinin sadece entropi kullanmak yerine şaşkınlıktan hoşlanmasının birkaç nedeni vardır. Birincisi, üssü nedeniyle, şaşkınlıktaki iyileşmeler entropideki eşdeğer iyileşmeden daha önemliymiş gibi "hissetmek" tir. Bir diğeri, şaşkınlık kullanmaya başlamadan önce, bir dil modelinin karmaşıklığının, entropi olmaktan çok şaşkınlığa benzeyen basit bir dallanma faktörü ölçümü kullanılarak bildirilmesidir.

— Aaron
kaynak

1

@Aaron cevabını hafif bir değişiklikle kabul etti:

Entropinin gücü her zaman ikiye eşit değildir. Aslında, entropinin gücüne (günlük için temel) olacaktır. Tabanı olarak e'yi kullandıysanız, e ^ entropi olur.

— Prashant Gupta
kaynak