Düzenleme: neden 1 / 2m ile çarpalım?

10

In hafta 3 ders notları arasında Andrew Ng adlı Coursera Machine Learning sınıfının bir terim düzene bağlama uygulamak için maliyet fonksiyonu eklenir:

J^{+} (θ) = J (θ) + \frac{λ}{2 m} Σ_{j = 1}^{n} θ_{j}^{2}

$J^+(\theta) = J(\theta) + \frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2$

Ders notları şunları söylüyor:

Ayrıca tüm teta parametrelerimizi tek bir özetle düzenleyebiliriz:

$m ben n_{θ} \frac{1}{2 m} [Σ_{ben = 1}^{m} (h_{θ} (x^{(ben)}) - y^{(ben)})^{2} + λ Σ_{j = 1}^{n} θ_{j}^{2}]$ $min_\theta\ \dfrac{1}{2m}\ \left[ \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})^2 + \lambda\ \sum_{j=1}^n \theta_j^2 \right]$

$\frac 1 {2m}$ daha sonra sinir ağlarının düzenlenme terimine uygulanır :

Düzenli lojistik regresyon için maliyet fonksiyonunun:

$J (θ) = - \frac{1}{m} Σ_{ben = 1}^{m} [y^{(ben)} günlük (h_{θ} (x^{(ben)})) + (1 - y^{(ben)}) günlük (1 - h_{θ} (x^{(ben)}))] + \frac{λ}{2 m} Σ_{j = 1}^{n} θ_{j}^{2}$ $J(\theta) = - \frac{1}{m} \sum_{i=1}^m [ y^{(i)}\ \log (h_\theta (x^{(i)})) + (1 - y^{(i)})\ \log (1 - h_\theta(x^{(i)}))] + \frac{\lambda}{2m}\sum_{j=1}^n \theta_j^2$
Sinir ağları için biraz daha karmaşık olacaktır:
$\begin{matrix} J (Θ) = - \frac{1}{m} Σ_{ben = 1}^{m} Σ_{k = 1}^{K} [y_{k}^{(ben)} günlük ((h_{Θ} (x^{(ben)}))_{k}) + (1 - y_{k}^{(ben)}) günlük (1 - (h_{Θ} (x^{(ben)}))_{k})] + \frac{λ}{2 m} Σ_{l = 1}^{L - 1} Σ_{ben = 1}^{s_{l}} Σ_{j = 1}^{s_{l + 1}} (Θ_{j, ben}^{(l)})^{2} \end{matrix}$ $\begin{gather*} J(\Theta) = - \frac{1}{m} \sum_{i=1}^m \sum_{k=1}^K \left[y^{(i)}_k \log ((h_\Theta (x^{(i)}))_k) + (1 - y^{(i)}_k)\log (1 - (h_\Theta(x^{(i)}))_k)\right] + \frac{\lambda}{2m}\sum_{l=1}^{L-1} \sum_{i=1}^{s_l} \sum_{j=1}^{s_{l+1}} ( \Theta_{j,i}^{(l)})^2\end{gather*}$

Neden sabit bir buçuk burada kullanılıyor? Böylece türevinde iptal edilir mi? $J'$
Neden eğitim örnekleri ile bölünme ? Eğitim örneklerinin miktarı şeyleri nasıl etkiler? $m$

regularization

— Tom Hale
kaynak

1 / m'nin J (teta) AFAIK @DikranMarsupial'ın cevabının bu varsayımı yaptığına emin misiniz ...... veya J (teta) 'nın kendisinin 1 / m terimi var mı?

— seanv507

Bu varsayım yanlıştır - hem normalleştirilmemiş maliyet fonksiyonuna hem de normalleştirme süresine uygulanır. Tam formülleri vermek için soruyu güncelledim.

\frac{1}{2 m}

$1 \over 2m$

— Tom Hale

5

Diyelim ki 10 örneğiniz var ve L2 düzenleme maliyetini örnek sayısı m'ye bölmüyorsunuz . Daha sonra, çapraz entropi maliyetine kıyasla L2 düzenlenme maliyetinin "baskınlığı" 10: 1 gibi olacaktır, çünkü her eğitim örneği toplam maliyete 1 / m = 1/10 oranında orantılı olarak katkıda bulunabilir .

Daha fazla örneğiniz varsa, diyelim ki, 100, o zaman L2 düzenleme maliyetinin "baskınlığı" 100: 1 gibi bir şey olacaktır, bu nedenle uygun bir şekilde λ'yı azaltmanız gerekir . Parti boyutundan bağımsız olarak λ sabitine sahip olmak daha iyidir .

Güncelleme: Bu argümanı daha güçlü hale getirmek için bir jupyter not defteri oluşturdum .

— grez
kaynak

1

Hmm, ancak her eğitim örneğinin maliyet işlevine eşit katkıda bulunduğu maliyet işlevinden önceki 1 / m faktörünün amacı değil mi? Dolayısıyla, zaten bireysel maliyetleri ortaladığımız için, bu L2 teriminin baskınlığının nedeni olmamalıdır. Bununla birlikte, büyük simülasyonunuzdan L2 teriminden önce de 1 / m faktörünün yardımcı olduğunu görüyorum. Sadece sezgiyi arkamda göremiyorum (henüz).

— Milania

Neden sakıncalı? L2 maliyetini örnek sayısına bölmek kolaydır. Bence yanlış bir şekilde ifade etmişsinizdir. Sanırım L2 maliyetini her seferinde manuel olarak ölçeklendirmenin elverişsiz olduğunu söylemek istediniz, otomatik olarak ölçeklemek için formülün bir parçası olarak örnek sayısına bölünmek daha iyidir.

— SpaceMonkey

6

Egzersiz setindeki kayıp fonksiyonu $J(\theta)$ genellikle eğitim setini içeren kalıpların toplamıdır, bu nedenle eğitim seti büyüdükçe, ilk terim esas olarak doğrusal olarak ölçeklenir. $m$ . İyi bir değer için seraching aralığını daraltabiliriz $\lambda$ Düzenleme terimini ilk önce bölersek $m$ bağımlılığını dengelemek $J(\theta)$ üzerinde $m$ . Tabii ki 2, optimali belirlemek için kullanılan optimizasyon algoritması için gerekli türevleri basitleştirmek için gerçekten paydada $\theta$ .

— Dikran Keseli
kaynak

İle normalleştirilmemiş maliyet ölçeklendirmesini açıkladığınız için teşekkürler

m

$m$ . Hala nasıl bölündüğümü anlamıyorum

m

$m$ tek bir yardım edecek

λ

$\lambda$ çok farklı değerlerle daha iyi çalışır

m

$m$ . Düzenlenmemiş maliyet zaten büyük ölçüde

m

$m$ , neden bağımlı

n

$n$ parametreleri değil

m

$m$ örnekler? Daha fazla eğitim örneğiyle, aynı sayıda parametre verildiğinde varyans azalacağı için mi?

— Tom Hale

Sorudaki kayıp işlevi, bir örnek değil, tüm örneklerin (yani m'ye bölünmesi) ortalamadır, bu yüzden bu cevabın nasıl çalıştığını gerçekten görmüyorum.

— Denziloe

@ Denziloe de normalleştirme terimine uygulanır.

— Dikran Marsupial

2

Bu dersi alırken aynı şeyi merak ettim ve bunu biraz araştırdım. Burada kısa bir cevap vereceğim, ancak yazdığım bir blog yazısında daha ayrıntılı bir genel bakış okuyabilirsiniz .

Ölçeklendirme katsayılarının nedeninin en azından bir kısmının, L² düzenlileşmesinin muhtemelen ilgili olmayan ancak aynı olmayan kilo kaybı kavramının tanıtılmasıyla derin öğrenme alanına girmesi olduğuna inanıyorum.

0.5 faktörü degradedeki ağırlık azalması için sadece güzel bir λ katsayısı elde etmek için var ve m ile ölçeklendirme ... iyi, bulduğum veya bulduğum en az 5 farklı motivasyon var:

Yığın gradyan alçalmasının bir yan etkisi: Degrade inişin tek bir tekrarı bunun yerine tüm eğitim seti üzerinde resmileştirildiğinde, maliyet fonksiyonunu karşılaştırılabilir hale getirmek için tanıtılan 1 / m'lik ölçeklendirme faktörü olarak adlandırılan algoritma bazen 1 / m ölçeklendirme faktörü olarak ortaya çıkar. farklı boyut veri kümelerinde, ağırlık azaltma terimine otomatik olarak uygulanır.
Tek bir örneğin ağırlığına yeniden ölçeklendirin : Bkz. Grez'in ilginç sezgileri.
Eğitim seti temsili: Eğitim setinin boyutu büyüdükçe, normalleşmeyi ölçeklendirmek mantıklıdır, çünkü istatistiksel olarak genel dağılımın temsili de büyür. Temel olarak, ne kadar fazla veriye sahip olursak, daha az düzenli hale getirme gerekir.
Λ'yı karşılaştırılabilir yapma: m değiştiğinde λ'yı değiştirme gereksinimini umarım azaltarak, bu ölçeklendirme λ'yı farklı boyut veri kümelerinde karşılaştırılabilir hale getirir. Bu, λ'yı, belirli bir öğrenme probleminde belirli bir model için gereken gerçek düzenlenme derecesinin daha temsili bir tahmincisi yapar.
Ampirik değer: Müthiş not defteri grez, bunun uygulamadaki performansı artırdığını gösterir.

— ShayPal5
kaynak

0

Bu konuda da kafam karıştı, ama sonra derin öğrenme için bir derste.ai Andrew bunun sadece bir ölçek sabiti olduğunu öne sürüyor:

http://www.youtube.com/watch?v=6g0t3Phly2M&t=2m50s

Belki de 1 / 2m kullanmak için daha derin bir neden var, ancak bunun sadece bir hiperparametre olduğundan şüpheleniyorum.

— Keyan P
kaynak

Bu soruya cevap vermiyor.

— Michael R. Chernick