Derin Öğrenme için Adam optimizatörü için bir önyargı düzeltme terimi eklemek neden önemlidir?

Derin Öğrenme için Adam optimizer hakkında okuyordum ve Begnio, Goodfellow ve Courtville'in yeni Deep Learning kitabında şu cümle ile karşılaştım:

Adam, başlangıç noktasındaki başlangıçlarını hesaplamak için hem birinci dereceden momentlerin (momentum terimi) hem de (merkezsiz) ikinci dereceden momentlerin tahminlerine önyargı düzeltmeleri içerir.

bu önyargı düzeltme terimlerini dahil etmenin temel nedeni, bir şekilde ve başlatma önyargılarını kaldırmasıdır . $m_t = 0$ $v_t = 0$

Bunun ne anlama geldiğinden% 100 emin değilim ama bana göre muhtemelen 1. ve 2. anın sıfırdan başlaması ve bir şekilde sıfırdan başlaması, haksız (veya yararlı) bir eğitim için sıfıra yakın değerleri sıfırlamak anlamına geliyor. ?
Yine de bunun ne anlama geldiğini ve öğrenmeye nasıl zarar verdiğini bilmek isterim. Özellikle, optimize edicinin sapmasının optimizasyon açısından ne gibi avantajları vardır?
Bu derin öğrenme modellerinin eğitimine nasıl yardımcı olur?
Ayrıca, tarafsız olduğunda ne anlama geliyor? Tarafsız standart sapmanın ne anlama geldiğini biliyorum, ancak bu bağlamda ne anlama geldiğini net değil.
Önyargı düzeltmesi gerçekten büyük bir sorun mu yoksa Adam optimizer gazetesinde bir şey mi abartılıyor?

Sadece insanlar orijinal kağıdı anlamak için çok uğraştığımı biliyorlar ama orijinal kağıdı okumaktan ve yeniden okumaktan çok az şey aldım. Bu soruların bazılarının orada yanıtlanabileceğini varsayıyorum ama cevapları ayrıştıramıyorum.

— Charlie Parker
kaynak

Bağlantı: arxiv.org/pdf/1412.6980v8.pdf 1. ve 2. moment gradyan tahminleri hareketli ortalama ile güncellenir ve her iki tahmin de sıfır ile başlar, dolayısıyla gerçek değerin sıfır olmadığı ilk değerler sonuçlara ağırlık verir , çünkü sıfırın ilk tahminleri yavaş yavaş ölüyor. Ne anlamıyorum neden ilk noktada degrade bu şeylerin ilk değerleri ve sonra ilk parametre güncelleştirmesi için kullanılmıyor olmasıdır. Daha sonra, geri alınması gereken ilk sıfır değerleri ile kontaminasyon olmazdı, bu yüzden önyargı düzeltmesine gerek kalmazdı.

— Mark L. Stone

Öyleyse, yazarlar ilk iterasyon için özel bir koda sahip olmak yerine, bir önyargı olacağını ve sonra onu geri alarak matematiksel olarak eşdeğer bir şey yapmaya karar verdiler. Bu, tüm yinelemelerde hızlı, ancak gereksiz hesaplamalar ekler. Bunu yaparken, tüm iterasyonlarda aynı görünen bir kod saflığını korudular. Bunun yerine ilk degrade değerlendirmesiyle yeni başlamış olurum ve degrade moment güncelleme formülü yalnızca 2. yinelemede başlar.

— Mark L. Stone

@ MarkL.Stone yazarlar, önyargı düzeltmesini o kadar çok vurguladılar ki, makalelerinde yeni veya önemli olan şey bana geldi. Yani "önyargıları düzeltmediler" ve aynı algoritmaya sahip olabilirler miydi? Eğer bu doğruysa, adam'ın neden bu kadar önemli bir optimize edici olduğunu ya da büyük anlaşmanın ne olduğunu göremiyorum. Her zaman önyargı düzeltmesi olduğunu düşündüm.

— Charlie Parker

Bir önyargı ortaya koyuyorlar ve sonra düzeltiyorlar, benim için iyi bir neden yok. Bu, 2 ile çarpmak gibi (oh my, sonuç taraflı) ve sonra 2'yi "düzeltmek" için bölmek gibi. Önyargı tanıtımı ve kaldırılmasıyla ilgili her şey gereksiz bir yan gösteri gibi görünüyor. Belki kağıt bunu yapmadan yeterince uzun değildi, bu yüzden daha uzun yapmak için bu spiel'i eklediler :) Adem'in esası olabilir, ancak önerdiğim gibi yapmaları aynı olurdu. Yazarların buraya gelip açıklamasını isterim. Belki ince bir noktayı kaçırıyorum ya da bir şeyi yanlış anlıyorum.

— Mark L. Stone

Yanlılığı düzeltmeme sorunu
Kağıda göre

Seyrek degradeler söz konusu olduğunda, ikinci anın güvenilir bir tahmini için, gra2 küçük bir değer seçerek birçok degradenin ortalamasını almak gerekir; bununla birlikte, başlatma önleme düzeltmesinin eksikliğinin çok daha büyük başlangıç adımlarına yol açacağı tam olarak bu küçük β2 vakasıdır.

Normal uygulamada çok daha yakın 1 olarak ayarlanır (yazar tarafından önerilen , ), güncelleştirme katsayılarını, çok daha küçüktür . $\beta_2$ $\beta_1$ $\beta_2=0.999$ $\beta_1=0.9$ $1-\beta_2=0.001$ $1-\beta_1=0.1$

Eğitim ilk aşamasında , , doğrudan yanlı kestirimi kullanılmıştır Parametre güncelleme terimi çok büyük olabilir. $m_1=0.1g_t$ $v_1=0.001g_t^2$ $m_1/(\sqrt{v_1}+\epsilon)$

Öte yandan önyargı düzeltmeli tahmin, ve , terimi ve karşı daha az duyarlıdır . $\hat{m_1}=g_1$ $\hat{v_1}=g_1^2$ $\hat{m_t}/(\sqrt{\hat{v_t}}+\epsilon)$ $\beta_1$ $\beta_2$

Sapma nasıl düzeltilir
Algoritma, birinci ve ikinci momentleri tahmin etmek için hareketli ortalama kullanır. Önyargılı tahmin, keyfi bir tahmin ile başlar ve tahmini aşamalı olarak . Bu nedenle, ilk birkaç adımda hareketli ortalamamızın ilk doğru . $m_0$ $m_t=\beta m_{t-1}+(1-\beta)g_t$ $m_0$

Bunu düzeltmek için, ilk tahminin (sapma) etkisini hareketli ortalamadan kaldırabiliriz. Örneğin, 1, , terimini ve ile böleriz , bu da . Tüm , . Tam kanıt makalenin 3. Bölümünde verilmiştir. $m_1=\beta m_0+(1-\beta)g_t$ $\beta m_0$ $m_1$ $(1-\beta)$ $\hat{m_1}=(m_1- \beta m_0)/(1-\beta)$ $m_0=0$ $\hat{m_t}=m_t/(1-\beta^t)$

Mark L. Stone'un yorumladığı gibi

Bu, 2 ile çarpmak gibi (oh my, sonuç taraflı) ve sonra 2'yi "düzeltmek" için bölmek gibi.

Bir şekilde bu tam olarak eşdeğer değil

başlangıç noktasındaki gradyan, bu şeylerin başlangıç değerleri için ve ardından ilk parametre güncellemesi için kullanılır

(elbette güncelleme kuralını değiştirerek aynı forma dönüştürülebilir (cevabın güncellenmesine bakınız) ve bu çizginin temel olarak önyargı getirmenin gereksizliğini göstermeyi amaçladığına inanıyorum, ancak belki de farkı fark etmeye değer)

Örneğin, 2. sırada düzeltilmiş ilk an

\hat{m_{2}} = \frac{β (1 - β) g_{1} + (1 - β) g_{2}}{1 - β^{2}} = \frac{β g_{1} + g_{2}}{β + 1}

$\hat{m_2}=\frac{\beta(1-\beta)g_1+(1-\beta)g_2}{1-\beta^2}=\frac{\beta g_1+g_2}{\beta+1}$

Kullanılıyorsa aynı güncelleştirme kural ile başlangıç değeri olarak olan olacak önyargı doğru yerine ilk birkaç adımda. $g_1$

m_{2} = β g_{1} + (1 - β) g_{2}

$m_2=\beta g_1+(1-\beta)g_2$

g_{1}

$g_1$

Önyargı düzeltmesi gerçekten büyük bir
mesele mi Sadece eğitimin ilk birkaç adımını etkilediğinden, çok büyük bir sorun gibi görünmüyor, birçok popüler çerçevede (örn. Keras , caffe ) sadece önyargılı tahmin uygulanmaktadır.

Deneyimlerime dayanarak, önyargılı tahmin bazen kaybın düşmeyeceği istenmeyen durumlara yol açar (bunu tam olarak test etmedim, bu yüzden bunun önyargılı tahmin veya başka bir şeyden kaynaklanıp kaynaklanmadığından tam olarak emin değilim) ve bir hile kullandığım ilk adım boyutlarını denetlemek için daha büyük bir kullanıyor . $\epsilon$

Güncelleme
Özyinelemeli güncelleme kurallarını açarsanız, esasen degradelerin ağırlıklı ortalamasıdır, Payda geometrik toplam formülü ile hesaplanabilir, bu nedenle aşağıdaki güncellemeye eşdeğerdir kural (bir önyargı terimi içermez) $\hat{m}_t$

{\hat{m}}_{t} = \frac{β^{t - 1} g_{1} + β^{t - 2} g_{2} + . . . + g_{t}}{β^{t - 1} + β^{t - 2} + . . . + 1}

$\hat{m}_t=\frac{\beta^{t-1}g_1+\beta^{t-2}g_2+...+g_t}{\beta^{t-1}+\beta^{t-2}+...+1}$

$m_1\leftarrow g_1$
yakınsama yaparken do (ağırlıklı toplam) (ağırlıklı ortalama)
$\qquad m_t\leftarrow \beta m_t + g_t$
$\qquad \hat{m}_t\leftarrow \dfrac{(1-\beta)m_t}{1-\beta^t}$

Bu nedenle muhtemelen bir önyargı terimi girmeden ve düzeltmeden yapılabilir. Bence kağıt diğer algoritmalarla (örneğin RmsProp) karşılaştırmak için önyargı düzeltme formuna koydu.

— dontloo
kaynak

Soru hakkındaki 2. yorumuma katılıyor musunuz? Bana göre, sonuçta bu. 2 ile çarpma ve bölme ile ilgili şeyin, sadece eldeki maddede kullanılan matematik değil, "anlaşılması daha kolay" bir benzetme olması gerekiyordu. bakmadığım, aynı mekanizma ile bir önyargı getiren, ADAM durumunda tamamen önlenebilir görünüyor, ancak düzeltmediyse, o zaman tamamen STUPID (eğer bir şekilde önyargı yoksa) algoritmanın performansına yardımcı oldu).

— Mark L. Stone

@ MarkL.Stone evet! Aslında ben, İngilizce benim için üzgünüm. ve yanlılığı düzeltmeyen algoritmanın rmsprop olduğunu düşünüyorum, ancak adam rmsprop'ın aksine önyargı ile iyi çalışıyor.

— dontloo

@dontloo, cevabınız Mark L. Stone'un önyargı düzeltmesinin neden gereksiz göründüğüne dair yorumunu içeriyor mu? (Sanırım oldukça önemli, belki de orijinal makalenin söylediklerini açıklamaktan daha fazlası).

— Charlie Parker

@CharlieParker, önyargı düzeltmesinin neden gereksiz olduğunu veya yazarın neden gereksiz görünmesini sağladığını kastediyorsunuz?

— dontloo

@dontloo Yazarların gereksiz olduğunu sanmıyorum. Gerçekten ihtiyaçları olduğunu düşündüm (özel koşulları göz önüne alındığında). Ancak Mark'ın önerisine göre bunun gerekli olmadığını düşündüm. Sanırım şu anda yorumlar bölümündeki sorumu gerçekten düzeltme terimine ihtiyaçları olup olmadığı.

— Charlie Parker