Degrade İnişe sahip öğrenme oranını Optimize Edici olarak nasıl (sistematik olarak) ayarlayabilirsiniz?

ML / DL alanından bir yabancı; Tensorflow'a dayanan Udacity Derin Öğrenme kursuna başladı; ödev 3 problemini yapmak 4; öğrenme hızını aşağıdaki yapılandırma ile ayarlamaya çalışmak:

• Parti büyüklüğü 128
• Adım sayısı: 2 dönemi doldurmak için yeterli
• Gizli katmanların boyutları: 1024, 305, 75
• Ağırlık başlatma: std ile normal kesildi. sqrt (2 / n) sapması; burada n, önceki katmanın boyutudur
• Bırakma olasılığı olasılığı: 0.75
• Düzenleme: uygulanmadı
• Öğrenme Oranı algoritması: üstel bozunma

öğrenme hızı parametreleri ile oynanan; çoğu durumda etkili görünmüyorlar; burada kod ; Sonuçlar:

Accuracy    learning_rate   decay_steps     decay_rate      staircase
93.7        .1              3000            .96             True
94.0        .3              3000            .86             False
94.0        .3              3000            .96             False
94.0        .3              3000            .96             True
94.0        .5              3000            .96             True

• Öğrenme hızını sistematik olarak nasıl ayarlamalıyım?
• Öğrenme oranı adım sayısı ile nasıl ilişkilidir?

Degrade iniş optimize edici kullanın. Bu çok iyi bir genel bakış.

Kod ile ilgili olarak, bu eğiticiye bir göz atın . Bu ve bu bazı örnekler.

Şahsen ben ADAM veya RMSprop kullanmanızı öneririm. Hala ayarlanacak bazı hiperparametreler var, ancak zamanın% 99'unda çalışan bazı "standart" olanlar var. ADAM için, bakabilirsiniz onun kağıt ile ve RMSprop için bu slaytlar .

DÜZENLE

Tamam, zaten bir degrade optimize edici kullanıyorsunuz. Ardından, en iyi öğrenme oranını seçmek için bazı hiperparametreler optimizasyonu yapabilirsiniz. Son zamanlarda, otomatik bir yaklaşım önerilmiştir . Ayrıca, otomatik hiperparametrelerin ayarlanması konusunda Frank Hutter tarafından umut verici birçok çalışma var .

Daha genel olarak, ekiplerin kaynak kodlarını da bulabileceğiniz AutoML Mücadelesine bir göz atın . Bu zorlukta amaç, hiperparametrelerin ayarlanması dahil olmak üzere makine öğrenmesini otomatikleştirmektir.

Son olarak, LeCun bu kağıt ve DeepMin bu çok yeni öğretici (çek Bölüm 8) Sorunuza kullanışlı olabilecek bazı bilgiler vermek.

Her neyse, (özellikle kolay problemler için), bir degrade iniş optimize edici kullanırken öğrenme oranının öğrenmeyi fazla etkilememesi normaldir. Genellikle, bu optimize ediciler çok güvenilirdir ve farklı parametrelerle çalışırlar.

Bir çok makine öğrenme algoritmasının kendisinde hiper parametrelerin ayarlanmasını veya sadece Gradient Descent optimizer yani öğrenme hızı için hiperparametreleri otomatikleştirebilirsiniz.

Bunu yapmak için popüler olan bir kütüphane nane.

https://github.com/JasperSnoek/spearmint

Hipergradyan İniş ile Çevrimiçi Öğrenme Oranı Adaptasyonunda çok yeni bir otomatik öğrenme oranı ayarlayıcısı verilir

Bu yöntemin uygulanması çok basittir, SGD için temel sonuç şu şekilde verilir:

$\alpha_{t} = \alpha_{t-1} + \beta \nabla f(\theta_{t-1})^T\nabla f(\theta_{t-2})$

$\beta$$\textit{e.g.}$$\nabla f(\theta_{t-2})$$\alpha$

$\beta$$\alpha_0$

Hiperparametreleri ayarlamak için (öğrenme hızı, bozulma hızı, düzenlenme veya başka bir şey olsun), bir heldout veri kümesi oluşturmanız gerekir; bu veri kümesi, eğitim veri kümenizden ayrılır. Farklı konfigürasyonlara sahip birkaç modeli ayarladıktan sonra (burada bir yapılandırma = her bir hiperparametrenin belirli bir seçimi), heldout doğruluğunu en üst düzeye çıkaran modeli seçerek yapılandırmayı seçersiniz.