Log olasılığı, olasılıkların çarpımı

Buna göre wikipedia makalesinde , tek olasılıkların ürünü temsil edebilir x⋅yolarak -log(x) - log(y)sayısal olarak daha optimal olan hesaplamasını yaparak. Ama bir örnek denerseniz şunu söyleyin:

p1 = 0.5
p2 = 0.5
p1 * p2 = 0.25
-log(p1) - log(p2) = 2

p3 = 0.1
p4 = 0.1
p3 * p4 = 0.01
-log(p3) - log(p4) = 6.64

Olasılıklar ait ürün p1ve p2ardından bir yüksek p3ve p4ancak günlük olasılığı daha düşüktür.

Nasıl olur?

Makalenin niyetini yanlış anladığınızdan korkuyorum. Biraz belirsiz yazılmış olduğu için bu büyük bir sürpriz değil. İki farklı şey oluyor.

Birincisi, günlük ölçeğinde çalışmaktır.

$p_{AB} = p_A\cdot p_B$$\log(p_{AB}) = \log(p_A)+ \log(p_B)$". If you need the actual probability, you can exponentiate at the end to get back $p_{AB}$: $\qquad p_{AB}=e^{\log(p_A)+ \log(p_B)}\,,$ but if needed at all, the exponentiation would normally be left to the last possible step. So far so good.

The second part is replacing $\log p$ with $-\log p$. This is so that we work with positive values.

Personally, I don't really see much value in this, especially since it reverses the direction of any ordering ($\log$ is monotonic increasing, so if $p_1<p_2$, then $\log(p_A)< \log(p_2)$; this order is reversed with $-\log p$).

This reversal seems to concern you, but it's a direct consequence of the negation - it should happen with negative log probabilities. Think of negative log probability as a scale of "rarity" - the larger the number, the rarer the event is (the article refers to it as 'surprise value', or surprisal, which is another way to think about it). If you don't like that reversal, work with $\log p$ instead.

To convert negative-log-probabilities back to probabilities, you must negate before exponentiating. If we say $s_i = -\log(p_i)$ ($s$ for 'surprise value'), then $p_{AB}=e^{-[s_A+ s_B]}\,.$ As you see, that reverses direction a second time, giving us back what we need.