Günlük olasılıklarını eklemek neden olasılıkları çarpmaktan daha hızlı?

Soruyu çerçevelemek için, bilgisayar biliminde sıklıkla birkaç olasılığın ürününü hesaplamak istiyoruz:

P(A,B,C) = P(A) * P(B) * P(C)

En basit yaklaşım basitçe bu sayıları çarpmaktır ve yapacağım da buydu. Ancak, patronum olasılıkların günlüğünü eklemenin daha iyi olduğunu söyledi:

log(P(A,B,C)) = log(P(A)) + log(P(B)) + log(P(C))

Bu, günlük olasılığını verir, ancak gerekirse daha sonra olasılığı elde edebiliriz:

P(A,B,C) = e^log(P(A,B,C))

Günlük ekleme iki nedenden dolayı daha iyi kabul edilir:

1. Olasılıkların çarpımı sıfıra yuvarlanacak şekilde "küçük" akışı önler. Olasılıklar çok küçük olduğu için bu genellikle bir risk olabilir.
2. Daha hızlıdır, çünkü birçok bilgisayar mimarisi çarpma işleminden daha çabuk toplama yapabilir.

Benim sorum ikinci nokta. Ben böyle tarif gördüm, ama günlük alma ek maliyet dikkate almaz! "Günlük maliyeti + toplama maliyeti" ile "çarpma maliyeti" ni karşılaştırmalıyız. Bunu dikkate aldıktan sonra hala daha mı küçük?

Ayrıca, Wikipedia sayfası ( Günlük olasılığı ) bu açıdan kafa karıştırıcıdır: "Günlük formuna dönüşüm pahalı, ancak yalnızca bir kez gerçekleşiyor." Bunu anlamıyorum, çünkü eklemeden önce her dönemin kaydını bağımsız olarak almanız gerektiğini düşünüyorum. Neyi kaçırıyorum?

Son olarak, "bilgisayarlar çarpma işleminden daha hızlı toplama yapar" gerekçesi belirsizdir. Bu x86 komut setine özgü mü, yoksa işlemci mimarilerinin daha temel bir özelliği mi?

Ayrıca, Wikipedia sayfasının ( https://en.wikipedia.org/wiki/Log_probability ) bu açıdan kafa karıştırıcı olduğunu belirterek, "Günlük formuna dönüştürme pahalıdır, ancak yalnızca bir kez yapılır." Bunu anlamıyorum, çünkü eklemeden önce her dönemin kaydını bağımsız olarak almanız gerektiğini düşünüyorum. Neyi kaçırıyorum?

kez hesaplamak istiyorsanız, haklısınız. N logaritması ve n - 1 eklemelerini hesaplamanız gerekecekken naif yöntem n - 1 gerektirir$P(A_1)\ldots P(A_n)$$n$$n-1$$n-1$ çarpımını .

Ancak, formun sorgularını yanıtlamak çok yaygındır:

{ 1 , … n } ' nin bazı alt kümeleri I için hesaplayın .$\prod_{i \in I} P(A_i)$$I$$\{1, \ldots n\}$

Bu durumda, tüm yalnızca bir kez hesaplamak için verilerinizi önceden işleyebilir ve | I | eklemeler.$\log P(A_i)$$|I|$

Son olarak, "bilgisayarlar çarpma işleminden daha hızlı toplama yapar" gerekçesi belirsizdir. Bu x86 komut setine özgü mü, yoksa işlemci mimarilerinin daha temel bir özelliği mi?

Bu daha geniş bir soru. Genel olarak çarpmayı hesaplamak toplama işleminden (muhtemelen?) Daha zordur. Bilgisayar boyutunda doğrusal bir ve b şu anda hesaplamak için nasıl bilmiyorum, oysa (önemsiz bir algoritma kullanarak) bir × b aynı zaman karmaşıklığı (en iyi algoritmalar kontrol ile burada ).$a+b$$a$$b$$a\times b$

Elbette kesin bir cevap yoktur: örneğin sadece tamsayılarla uğraşıyorsanız ve gücüyle çarpıyorsanız , vardiyayı ekleme işlemleriyle karşılaştırmalısınız.$2$

Bununla birlikte, bu, tüm yaygın bilgisayar mimarileri için makul bir ifadedir: kayan nokta sayıları ile çarpma toplama işleminden daha yavaş olacaktır.

$N$$p_1,...p_N$$p_i$ bunları ekleyerek günlük alanında olasılık çarpımları gerçekleştirirsiniz (ki bu daha az zaman alır) ve daha sonra üs kullanarak ilk boşluğunuza geri dönersiniz.

$N$

$O(n)$$n$$O(n^2)$

Bu arada, bu fikir Montgomery modüler çarpımına benzer, burada çarpımlar Montgomery formunda gerçekleştirilir, bu da normal çarpma ve daha sonra indirgemeden oldukça hızlıdır.