KL sapması neden negatif değildir?
Bilgi teorisi açısından, bu kadar sezgisel bir anlayışa sahibim:
Diyelim ki etiketlenmiş aynı elemanlardan oluşan iki ve topluluğu var . ve , sırasıyla ve topluluğu üzerinde farklı olasılık dağılımlarıdır .
Bilgi teorisi perspektifinden bakıldığında, , topluluğu için bir elemanını kaydetmek için gereken en az miktarda bittir . Böylece, beklentisi , bir öğeyi ortalama olarak kaydetmek için en az kaç bit gerektiğimiz şeklinde yorumlanabilir .
Bu formül, ortalama olarak ihtiyacımız olan bitlere bir alt sınır koyduğundan, farklı bir olasılık dağılımı getiren farklı bir topluluğu için, her bir elemanı için verdiği sınır kesinlikle verilen , yani beklenti almak anlamına gelir,
p(x)veq(x)farklı olduğu içinburaya≥
Bu benim sezgisel anlayışım, KL diverjansının negatif olmadığını kanıtlamanın tamamen matematiksel bir yolu var mı? Sorun şu şekilde ifade edilebilir:
Verilen ve q ( x ) hem gerçek çizgi üzerinde pozitiftir ve ∫ + ∞ - ∞ p ( x ) d x = 1 , ∫ + ∞ - ∞ q ( x ) d x = 1 . Kanıtlamak ∫ + ∞ - ∞ p ( x ) ln p ( x ) negatif değildir.
Bu nasıl kanıtlanabilir? Yoksa bu ekstra koşullar olmadan kanıtlanabilir mi?