Neden olasılık yerine maksimum log olasılığını optimize etmek

66

En üst düzeye çıkması gereken bazı olasılıkları formüle edebileceğiniz çoğu makine öğrenme görevinde , bazı parametreler için olasılık yerine günlük olasılık optimize ederiz . Örneğin, en yüksek olabilirlik eğitiminde, genellikle günlük olabilir. Bunu bazı gradyan yöntemleriyle yaparken, bu bir faktör içerir: $p$ $\log p$ $\theta$

\frac{\partial \log p}{\partial θ} = \frac{1}{p} \cdot \frac{\partial p}{\partial θ}

$\frac{\partial \log p}{\partial \theta} = \frac{1}{p} \cdot \frac{\partial p}{\partial \theta}$

Bazı örnekler için buraya veya buraya bakın .

Tabii ki, optimizasyon eşdeğerdir, ancak gradyan farklı olacaktır, bu nedenle herhangi bir gradyan tabanlı yöntem farklı davranacaktır (özellikle stokastik gradyan yöntemleri). Herhangi bir gerekçe olduğunu var mı degrade daha iyi çalışır gradyan? $\log p$ $p$

probability optimization log-likelihood

— köstek
kaynak

3

türev kullanma olasılığını en üst düzeye çıkardığımızı fark etmeniz gerekir. Öte yandan, birçok durumda bağımsızlık koşulu uygulanır, yani Olabilirliğin bazı kimliği olasılık yoğunluk fonksiyonlarının ürünüdür. Ayrıca, birçok küçük değerin ürünü ([0,1] aralıklarla) çok küçük bir değere yol açar. Bu hesaplama zorluğuna neden olur.

— TPArrow 28:15

Benim kontrol @AlejandroRodriguez cevabı daha fazla ayrıntı için buraya.

— Paul,

65

Gradyan yöntemler genel olarak daha iyi optimize çalışır göre gradyanı, çünkü genellikle daha edilir iyi ölçekli . Yani, objektif fonksiyonun geometrisini tutarlı ve yararlı bir şekilde yansıtan bir boyuta sahiptir, uygun bir adım boyutu seçmeyi ve daha az adımda optimum hale getirmeyi kolaylaştırır. $\log p(x)$ $p(x)$ $\log p(x)$

Ne demek istediğimi görmek için, ve için degrade optimizasyon işlemini karşılaştırın . Herhangi bir noktada , gradyanı iseBunu çarparsak , başlangıçtaki küresel optimuma ulaşmak için gereken tam adım boyutunu elde ederiz, ne olursa olsun $p(x) = \exp(-x^2)$ $f(x) = \log p(x) = -x^2$ $x$ $f(x)$

f^{'} (x) = - 2 x .

$f'(x) = -2x.$

1 / 2

$1/2$

x

$x$ dır-dir. Bu, iyi bir adım büyüklüğü (veya ML jargonunda "öğrenme oranı") elde etmek için çok çalışmak zorunda olmadığımız anlamına gelir. İlk noktamız nerede olursa olsun, adımımızı sadece degradenin yarısına ayarladık ve tek adımda başlangıç noktasında olacağız. Ve tam olarak gereken faktörü bilmiyorsak, sadece 1 civarında bir adım boyutu seçebiliriz, biraz satır araştırması yapabiliriz ve nerede olursa olsun iyi sonuç veren, çok hızlı bir şekilde harika bir adım boyutu bulacağız. . Bu özellik, çevrilmesi ve ölçeklendirilmesi için sağlamdır . ölçeklendirmesi, optimal adım ölçeklendirmesinin 1/2 den farklı olmasına neden olurken , en azından adım ölçekleme, ne olduğu fark etmeksizin aynı olacaktır , bu nedenle verimli bir gradyan tabanlı optimizasyon elde etmek için sadece bir parametre bulmamız gerekir. düzeni.

x

$x$

f (x)

$f(x)$

f (x)

$f(x)$

x

$x$

Buna karşılık, gradyanı optimizasyon için çok zayıf global özelliklere sahiptir. BizBu, mükemmel, iyi davranışlı gradyan , arttıkça üssel olarak azalan (daha hızlı bir faktör ile . En , zaten var böylece gradyan vektör boyunca adım ilgili, süreleri çok az. Optimum seviyeye doğru makul bir adım büyüklüğü elde etmek için, gradyanı bunun karşılığını, muazzam bir sabit ile ölçeklendirmeliyiz. $p(x)$

p^{'} (x) = f^{'} (x) p (x) = - 2 x \exp (- x^{2}) .

$p'(x) = f'(x) p(x)= -2x \exp(-x^2).$

- 2 x

$-2x$

\exp (- x^{2})

$\exp(-x^2)$

x

$x$

x = 5

$x = 5$

\exp (- x^{2}) = 1.4 \cdot 10^{- 11}

$\exp(-x^2) = 1.4 \cdot 10^{-11}$

10^{- 11}

$10^{-11}$

\sim 10^{11}

$\sim 10^{11}$ . Böyle kötü bir şekilde ölçeklendirilmiş bir gradyan, optimizasyon amaçları için işe yaramaz olandan daha kötü - bir üniteyi yokuş yukarı yönde denemekten, adımımızı göre ölçekleyerek ayarlamaktan daha iyidir ! (Pek çok değişkende biraz daha kullanışlı olur, çünkü en azından gradyandan yön bilgisi alıyoruz, ancak ölçekleme sorunu devam ediyor.)

p^{'} (x)

$p'(x)$

p^{'} (x)

$p'(x)$

Genel olarak, özellikle birden fazla değişkenimiz olduğunda, bu oyuncak örneğinde olduğu gibi mükemmel degrade ölçeklendirme özelliklerine sahip olacağının garantisi yoktur . Bununla birlikte, hemen hemen hiç önemsiz bir sorun için, , den daha iyi bir yol olacak . Bunun nedeni, olasılığın bir sürü terimde büyük bir ürün olması ve kayıt kütüğünün diğer birçok cevabında da belirtildiği gibi bir toplama dönmesidir. Olasılıktaki terimlerin bir optimizasyon bakış açısından iyi davranılması koşuluyla, günlükleri genellikle iyi davranılmakta ve iyi davranılmış işlevlerin toplamı iyi davranılmaktadır. Tarafından uslu Yani $\log p(x)$ $\log p(x)$ $p(x)$ $f''(x)$ çok fazla veya çok hızlı bir şekilde değişmez ve gradyan yöntemleriyle optimize edilmesi kolay neredeyse ikinci dereceden bir işleve yol açar. Bir türevin toplamı, türevin emri ne olursa olsun, bu, büyük toplam terimler kümesinin çok makul bir ikinci türev olmasını sağlamaya yardımcı olur!

— Paul
kaynak

4

+1 Bu cevap, konunun özüne çıkan noktaları ortaya çıkarıp vurgular.

— whuber

47

Boşalma

Bilgisayar, kesirlerin sınırlı bir basamaklı kayan nokta gösterimini kullanır, bu kadar çok olasılığı çarparak sıfıra çok yakın olması garanti edilir.

ile bu konuda bir sorunumuz yok. $log$

— Uri Goren
kaynak

3

Sayısal stabilite için +1 - Bu ve Yuril'in cevabı bir olmalı!

— Alec Teal

1

Ürünü log-space'de hesaplayabilirsiniz, böylece bir toplam olur ve sonra geri aktarın. Veya eşittir . Yani, sayısal kararlılık sorun değil.

\frac{\partial \log p}{\partial θ} \cdot p

$\frac{\partial \log p}{\partial \theta} \cdot p$

\frac{\partial p}{\partial θ}

$\frac{\partial p}{\partial \theta}$

— Albert

1

Unutmayın Bahsettiğiniz, numunedeki bütün olayların olasılıklarının çoğalmasıdır ve Yetersizlik için eleman tabidir.

p

$p$

p

$p$

— Uri Goren

5

@Filip Bu konudaki terminoloji biraz kötü tavsiye edilir. Olasılık yoğunluklarını tartışıyoruz, olasılıkları değil. Yoğunluklar keyfidir: ölçüm birimlerine bağlıdırlar. Ayrıca, yeterli numune boyutları için, parametrik bir modelden basit bir numunenin olasılık yoğunluğu, sonunda den daha az olacaktır . Büyük problemlerde (milyonlarca veri ile), olasılık yoğunlukları rutin olarak veya daha küçüktür. Standart Normal dağılımdan bir örnek bile , olasılıkları den daha düşük bir olasılık yoğunluğuna sahip olduğu neredeyse kesindir .

2^{- 127}

$2^{-127}$

2^{- 1000000}

$2^{-1000000}$

80

$80$

2^{- 127}

$2^{-127}$

— whuber

4

@FilipHaglund: whuber doğrudur, ancak yoğunlukları olduğu gerçeği buradaki önemli gözlem değildir. Ayrık bir süreci tartışıp, gerçek olasılıklardan bahsedebiliriz (ve aslında, OP bu davayı dışlayan hiçbir şey söylemedi). Ancak çok özel sonuçlar için olasılıklardan bahsediyoruz (örneğin, belirli bir yöne giden bir milyon gözlem). Tek bir kesin sonuç muhtemel değildir, ancak Bayesian'deki çıkarımlarda olasılık oranları önemlidir, bu yüzden diğerinden küçük bir olasılık ne kadar büyük olduğunu bilmemiz gerekir.

— Meni Rosenfeld

34

Çoklu ortak olasılık olasılığının logaritması, bireysel olasılıkların logaritmalarının toplamını kolaylaştırır (ve toplam kuralı, farklılaşma için ürün kuralından daha kolaydır)

$\log \left(\prod_i P(x_i)\right) = \sum_i \log \left( P(x_i)\right)$
Üstel olasılık dağılımları ailesinin bir üyesinin logaritması ( her yerde normal olanı içerir) parametrelerde polinomdur (yani , normal dağılım için maksimum olasılık, en küçük karelere indirgenir )

$\log\left(\exp\left(-\frac{1}{2}x^2\right)\right) = -\frac{1}{2}x^2$
İkinci form, daha Sayısal olarak kararlı ve sembolik olarak eski daha ayırt etmek kolay olur.
Son fakat en az değil, logaritma, ekstremin yerlerini koruyan monotonik bir dönüşümdür (özellikle, maksimum olasılıktaki tahmini parametreler, orijinal ve log-dönüştürülmüş formülasyon için aynıdır)

— TemplateRex
kaynak

5

Sebep 2 yeterince gergin olamaz. Gauss gürültüsü olan lineer bir model için log olasılığını en üst düzeye çıkarmak için, doğrusal bir denklem sistemini çözme anlamına gelen en küçük kareler problemini çözmeniz yeterlidir.

— Paul,

Sebep 1 ve 3 sadece nasıl hesaplanacağını açıklar. Bu şekilde hesaplayabilir ve sonra tekrar geri dönüştürebilirsiniz ( çarpın ) . Sayısal kararlılık için log-alanda hesaplama yapmak oldukça yaygındır. Ancak bu neden bu degradeyi kullandığınızı açıklamıyor. Sebep 4, degradesinin daha iyi olmasının bir nedeni değildir . Bunu birçok başka dönüşümle de yapabilirsiniz. Sebep 2 ilginç ama hala bir polinomun gradyanının neden başka bir fonksiyonun gradyanından daha iyi olduğundan emin değilim.

p

$p$

\frac{\partial p}{\partial θ}

$\frac{\partial p}{\partial \theta}$

\log p

$\log p$

— Albert

@Albert, bir polinomun türevi bir derece düşük polinomdur (özellikle kuadratik doğrusaldır), üsteller basitçe farklılaşma altında değildir

— TemplateRex

@TemplateRex: Evet, açık. Fakat stokastik gradyan yönteminde yakınsaklık özelliklerini soruyorum.

— Albert

25

Logaritma toplamı türevini almak, yani 100 çarpanı içeren bir ürünün türevini almaktan çok daha kolaydır.

— yurii
kaynak

10

Ayrıca, terimler çok küçük veya büyük olduğunda potansiyel sayısal problemleri azaltırsınız.

— Björn

8

Aksine, OP dolaylı olarak olumsuz olmayan fonksiyonların herhangi bir ürününün türevini hesaplamak için mükemmel bir yol sağlar: logların türevlerinin toplamını ürünün kendisi ile çarpın. (Bu çarpma en iyisi @ Björn'in yorumunda da belirtilen sayısal problemleri ortadan kaldıran logaritmalar şeklinde gerçekleştirilir.) Bu nedenle, "kolaylık" gerçek bir açıklayıcı güç sunmaz ve gradyanları karşılaştırmayla ilgili daha anlamlı bir soruya yönelmez. .

— whuber

10

Genel bir kural olarak, en temel ve kolay optimizasyon problemi ikinci dereceden bir işlevi optimize etmektir. Nereden başlarsanız başlayın, böyle bir fonksiyonun optimumunu kolayca bulabilirsiniz. Bunun tezahürü, belirli bir yönteme bağlıdır, ancak işleviniz ikinci dereceye ne kadar yakınsa o kadar iyidir.

TemplateRex'in belirttiği gibi, çok çeşitli problemlerde, olasılık fonksiyonunu hesaplamaya giren olasılıklar normal dağılımdan gelir veya buna yaklaşır. Eğer kütük üzerinde çalışırsanız, iyi bir ikinci dereceden işlev görürsünüz. Oysa eğer olasılıklar üzerinde çalışırsan, şu fonksiyonun

Dışbükey değil (her yerde optimizasyon algoritmalarının esası)
Çok sayıda teraziyi hızlı bir şekilde geçer ve bu nedenle, işlev değerlerinin aramanızı nereye yönlendireceğinizin göstergesi olduğu çok dar bir aralığa sahiptir.

Bunun yerine, optimize hangi işlevi bu ya bu ?

(Bu aslında kolay bir şeydi; pratik uygulamalarda, aradığınız değer, sayısal olarak hesaplayabilseniz bile, fonksiyon değerleri ve degradeler 0'dan ayırt edilemez olacak ve optimizasyon amaçları için kullanılamaz hale gelecektir. fakat ikinci dereceden bir işleve dönüştürmek bunu bir parça kek yapar.)

Bunun, daha önce bahsedilen sayısal stabilite sorunları ile tamamen tutarlı olduğuna dikkat edin. Günlük ölçeğinin bu işlevle çalışması için gerekenin nedeni, günlük olasılığının orijinalden çok daha iyi davranılmasının (optimizasyon ve diğer amaçlar için) aynı nedenidir.

Buna başka bir yoldan da yaklaşabilirsiniz. Kütükten hiçbir avantajı olmasa bile (ki var olan) - türetme ve hesaplama için kütük ölçeğini yine de kullanacağız, öyleyse exp dönüşümünü sadece gradyanı hesaplamak için uygulamak için sebep ne olabilir? Günlükle de uyumlu kalabiliriz.

— Meni Rosenfeld
kaynak

@TemplateRex: (Aşağı doğru) dışbükey pozitif işlevinin günlüğü dışbükeydir, ancak sohbet doğru değildir. Olasılıklar dışbükey değildir, dolayısıyla korunacak hiçbir şeyleri yoktur, ancak kütük dışbükeydir. Bağladığım grafiklere bakın - exp (-10x ^ 2) kesinlikle dışbükey değil ama -10x ^ 2.

— Meni Rosenfeld

4

kullanarak optimizasyon algoritmasının dinamik aralığını arttırırız. Uygulamalardaki genellikle fonksiyonların bir ürünüdür. Örneğin, en yüksek olabilirlik tahmininde , burada Yoğunluk işlevidir. 1'den büyük veya daha az, btw. $\ln p$ $p$ $L(x|\theta)=\Pi_{i=1}^n f(x_i|\theta)$ $f(.)$

Bu nedenle, çok büyük, yani büyük örneklem olduğunda, olasılık fonksiyonunuz Genellikle 1'den çok uzaktır: ya çok küçük ya da çok büyüktür, çünkü güç fonksiyonu . $n$ $L(.)$ $L\sim f(.)^n$

Günlük alarak, aynı şekilde son derece büyük veya küçük değerlerle çalışmasına izin vererek, herhangi bir optimizasyon algoritmasının dinamik aralığını geliştiririz.

— Aksakal
kaynak

0

Bazı güzel cevaplar çoktan verildi. Ancak son zamanlarda yeni bir taneyle karşılaştım:

Genellikle, kümesine çok büyük bir eğitim verisi verilir ve bazı olasılıksal model tanımlarsınız ve olasılığını en üst düzeye çıkarmak istersiniz . Bağımsız oldukları varsayılır, yani Şimdi, sık sık her adımda yani stokastik (mini toplu) gradyan tabanlı eğitim, çeşit yapın kaybı için , optimize için , yani $\mathcal{X}$ $p(x|\theta)$ $x \in \mathcal{X}$

p (X | θ) = \prod_{x \in X} p (x | θ) .

$p(\mathcal{X}|\theta) = \prod_{x\in\mathcal{X}} p(x|\theta) .$

L

$L$

L (X^{'} | θ)

$L(\mathcal{X'}|\theta)$

X^{'} \subset X

$\mathcal{X'} \subset \mathcal{X}$

θ^{'} := θ - \frac{\partial \sum_{x \in X^{'}} L (x | θ)}{\partial θ} .

$\theta' := \theta - \frac{\partial \sum_{x\in\mathcal{X'}} L(x|\theta)}{\partial \theta} .$ Şimdi, bu stokastik adımlar ek olarak toplanmıştır. Bu nedenle, genel olarak özelliğini istiyorsunuz Bu,

L (X | θ) = \sum_{x \in X} L (x | θ) .

$L(\mathcal{X}|\theta) = \sum_{x\in\mathcal{X}} L(x|\theta) .$

L (x | θ) = - \log p (x | θ) .

$L(x|\theta) = -\log p(x|\theta) .$

— köstek
kaynak