Derin sinir ağını eğitmek için erken durdurma nasıl düzgün kullanılır?

Derin bir sinir ağı modelim var ve bunu yaklaşık 100.000 örnekten oluşan veri kümemde eğitmem gerekiyor, doğrulama verilerim yaklaşık 1000 örnek içeriyor. Her bir örneği eğitmek zaman aldığından (her örnek için yaklaşık 0,5s) ve aşırı sığmayı önlemek için, gereksiz hesaplamayı önlemek için erken durdurma uygulamak istiyorum. Ancak sinir ağımı erken durdurma ile nasıl düzgün bir şekilde eğiteceğimi bilmiyorum, şimdi tam olarak anlamadığım birkaç şey:

• İyi bir doğrulama sıklığı nedir? Modelimi her dönemin sonunda doğrulama verileri açısından kontrol etmeli miyim? (Parti büyüklüğüm 1)

• İlk birkaç dönemin daha iyi bir değere yaklaşmaya başlamadan önce daha kötü sonuç verebileceği bir durum mu? Bu durumda, erken durdurmayı kontrol etmeden önce ağımızı birkaç dönem için eğitmeli miyiz?

• Doğrulama kaybının yukarı ve aşağı gidebileceği durum nasıl ele alınır? Bu durumda, erken durma modelimin daha fazla öğrenmesini engelleyebilir, değil mi?

Şimdiden teşekkür ederim.

İyi bir doğrulama sıklığı nedir? Modelimi her dönemin sonunda doğrulama verileri açısından kontrol etmeli miyim? (Parti büyüklüğüm 1)

Altın bir kural yoktur, her çağdan sonra doğrulama hatasını hesaplamak oldukça yaygındır. Doğrulamanız eğitim setinizden çok daha küçük olduğundan, eğitimi çok yavaşlatmaz.

İlk birkaç dönemin daha iyi bir değere yaklaşmaya başlamadan önce daha kötü sonuç verebileceği bir durum mu?

Evet

Bu durumda, erken durdurmayı kontrol etmeden önce ağımızı birkaç dönem için eğitmeli miyiz?

Yapabilirsiniz, ancak sorun kaç dönemi atlamanız gerektiğidir. Yani pratikte, insanlar çoğu zaman hiçbir dönemi atlamazlar.

Doğrulama kaybının yukarı ve aşağı gidebileceği durum nasıl ele alınır? Bu durumda, erken durma modelimin daha fazla öğrenmesini engelleyebilir, değil mi?

İnsanlar tipik olarak bir sabır tanımlar, yani doğrulama setinde ilerleme olmazsa erken durmadan önce bekleyecek dönem sayısı. Sabır genellikle 10 ile 100 arasında bir yere ayarlanır (10 veya 20 daha yaygındır), ancak gerçekten veri kümenize ve ağınıza bağlıdır.

Sabırlı örnek = 10:

Kısa bir süre önce "Erken Durma - ama ne zaman?" Lutz Prechelt'in, her birinin ne yaptığına dair net açıklamalar ve onlar için formüller ile erken durdurmanın nasıl kullanılacağına dair birçok harika örneği var.

Umarım buna bir göz atmak yardımcı olabilir.

Diğer mükemmel cevaplara eklemek için de durduramazsınız. Ben genelde:

• NN'yi çok daha uzun bir süre çalıştırmak mantıklı olduğunu düşünürdüm,
• her N çağında model ağırlıklarını kaydedin ve
• Eğitim kaybının dengelendiğini gördüğümde, sadece en düşük doğrulama kaybına sahip modeli seçiyorum.

Tabii ki bu sadece dakika başına ödeme yapmadığınızda (veya maliyet yeterince küçük olduğunda) ve eğitimi manuel olarak durdurabildiğinizde anlamlıdır. Bunun tersi, arka plandaki en düşük doğrulama hatasını belirlemenin çok daha kolay olmasıdır.