Çok küçük olasılık değerlerini olasılık olasılığına dönüştürme (normalleştirme)

Bir model verildiğinde, veri setleri listesi için olasılıkları hesapladığım ve sonra olasılıkların her birini normalleştirme (olasılık) gerektiren bir algoritma yazıyorum. Böylece [0.00043, 0.00004, 0.00321] gibi bir şey [0.2, 0.03, 0.77] gibi olabilir.

Benim sorunum, çalışmakta olduğum log olasılıklarının oldukça küçük olması (örneğin, log alanında, değerler -269647.432, -231444.981 vb.). C ++ kodumda ikisini eklemeye çalıştığımda (üslerini alarak) "Inf" cevabını alıyorum. Onları kütük boşluğuna eklemeye çalıştım ( kütüğün Toplanması / Çıkarılması) , fakat yine aynı problem üzerine tökezledi.

Birileri bu konuda uzman fikrini paylaşabilir mi?

Tüm loglardan maksimum logaritmayı çıkarın. O kadar negatif olan tüm sonuçları atın ki bunlar üstelden aşağı akacak. (Olasılıkları, tüm pratik amaçlar için sıfırdır.)

Aslında, göreceli hassasiyetini istiyorsanız $\epsilon$(örneğin, d basamak haneleri için gibi ) ve n olasılıklarınız varsa, ϵ / n logaritmasından daha az bir sonuç atarsınız . Ardından ortaya çıkan değerleri üstelleştirmek ve her birini üstellerin toplamına bölmek için her zamanki gibi devam edin.$\epsilon = 10^{-d}$$d$$n$$\epsilon/n$

Formüller gibi, logaritma olalım olanlar için ile $\lambda_1, \lambda_2, \ldots, \lambda_n$ . B > 1 tabanına logaritmalar içintanımlayın.$\lambda_n = \max(\lambda_i)$$b\gt 1$

Normalleştirilmiş olasılıklar , i = 1 , 2 , … , n'ye eşittir . Aksi underflowing tüm değiştirilmesi Bu çalışmalar için α i sıfır ile en toplam hata yapar ( n - 1 ) ε / n < £ değerinin ise, çünkü α n bir = Σ j α j ≥ $\alpha_i / \sum_{j=1}^n \alpha_j$$i = 1, 2, \ldots, n.$$\alpha_i$$(n-1)\epsilon/n\lt \epsilon$ ve tümü α i negatif değildir,, sıfır değiştirme kuralı nedeniyletoplamgörecelihata kesinlikledeğerinden daha küçüktür., istediğiniz gibi.$\alpha_n=b^{\lambda_n-\lambda_n}=b^0=1$$\alpha_i$$A = \sum_j \alpha_j \ge 1$$\left((n-1)\epsilon/n \right) / A \lt \epsilon$

Çok fazla yuvarlama hatasından kaçınmak için, en küçük değerleriyle başlayan toplamı hesaplayın . Bu, λ i önce artan düzende sıralandığında otomatik olarak yapılacaktır . Bu yalnızca çok büyük bir husustur n .$\alpha_i$$\lambda_i$$n$

BTW, bu reçete günlüklerinin taban büyüktür varsayılır . Bazlar için b az taban eşit sanki ve birinci negate tüm günlükleri devam .$1$$b$1 /$1$$1/b$

Örnek

Logaritma ile üç değer olmasına izin verin (doğal loglar, diyelim) - $-269647.432,$ ve - 231.444,699. Sonuncusu en büyüğüdür; Her değer çıkarılmadan verir - 38202.733 , - 0.282 , ve$-231444.981,$$-231444.699.$$-38202.733,$ $-0.282,$$0.$

Eğer, IEEE çift (16 hakkında ondalık hane) ile karşılaştırılabilir hassasiyet istiyoruz varsayalım böylece ve ve n = 3 olur . (Bu hassasiyeti gerçekten başaramazsınız, çünkü - 0.282 yalnızca üç önemli rakama verilir, ancak sorun değil: biz sadece istediğiniz hassasiyeti ve gerçekte hassasiyetinizi daha iyi etkilememesi garanti edilen değerleri atarız. var.) Hesaplama günlüğü ( ϵ / n ) = log ( 10 - 16 ) - log ( 3 ) =$\epsilon=10^{-16}$$n=3$$-0.282$$\log(\epsilon/n)$$\log(10^{-16}) - \log(3)$ , üç farklılıkların ilk - 38202,733 , az bundan daha, bu nedenle sadece bırakarak at gitsin - $-37.93997.$$-38202.733,$$-0.282$ Bunları üstelleştirmek , exp ( - 0.282 ) = 0.754 ve exp ( 0 ) = 1 (elbette) verir. Normalleştirilmiş değerler - sırayla--$0.$$\exp(-0.282) = 0.754$$\exp(0)=1$ uzağa attı biri için, 0.754 / ( 1 + 0.754 ) = 0.430 ve 1 / ( 1 $0$$0.754 / (1 + 0.754) = 0.430$ .$1/(1+0.754)=0.570$