Sinir ağları tasarlamak için bir başparmak kuralı var mı?

12

Bir sinir ağı mimarisinin çoğunlukla problemin kendisine ve girdi / çıktı türlerine dayandığını biliyorum, ama yine de - bir tane inşa etmeye başlarken her zaman "kare bir" var. Benim sorum - MxN'nin girdi veri kümesi (M kayıt sayısı, N özellik sayısıdır) ve C olası çıktı sınıfları verildiğinde - kaç katman / birim ile başlamamız gerektiğine dair bir başparmak kuralı var mı?

neural-network

— shakedzy
kaynak

Bu sorunun olası cevapları soruna özeldir. Görüntü nesnesi tanıma için bazı yararlı kurallar olabilir, ancak bu kurallar farklı bir veri kümesinde çalışmayabilir.

— horaceT

10

Bu soru CrossValidated hakkında ayrıntılı olarak cevaplanmıştır: İleriye dönük bir sinir ağındaki gizli katman ve düğüm sayısı nasıl seçilir ?

Ancak, kendi iki sentimi ekleyeyim:

En iyi sinir ağı mimarisini seçmek için sihirli bir kural yoktur, ancak birisinin benzer bir sorunu çözmek için kullandığı bir mimari bulabilirseniz, bu genellikle mükemmel bir başlangıç noktasıdır.

Bakılacak en iyi yerler, Keras, PyTorch veya Tensorflow gibi popüler sinir ağı kütüphanelerini kullanan resmi veya gayri resmi örnekler ve akademik literatürde açıklanan mimarilerdir. keras / github'daki örnekler harika bir kaynaktır.

Bu mimariler muhtemelen birçok deneme yanılma sonrasında seçildi, bu yüzden işin çoğu sizin için yapılmış olacak.

— İmran
kaynak

6

CrossValidated cevabına bir uyarı, şu anda 7 yaşın üstündedir ve gizli katmanlarınızı yapılandırmanın "mükemmel bir özeti" için 15 yaş üstü bir SSS'ye işaret ediyor. Son 7-15 yılda NN konfigürasyonu üzerinde çok fazla çalışma olduğunu söylemek biraz yetersiz kalıyor. " Tek gizli katman yeterli " rejiminin dışında kalan uygulama sayısı giderek artmaktadır . - Bununla birlikte, bir dizi problem için derin bir öğrenme yaklaşımı aşırı olabilir. Tek bir gizli katmanla başlamak ve sadece gerektiğinde derinlere inmek sağlam bir stratejidir.

— RM

1

İyi puanlar, RM - İkinci cevap daha yeni.

— İmran

@ Bence OP sorusuna asla tam olarak cevap vermiyorsunuz. Gizli düğümlerin ve mimarinin seçimi, hala çok iyi anlaşılmayan çok derin bir sorudur. ResNet'e ve çapraz katman bağlantılarına sahip geniş ResNet'e tanık olun.

— horaceT

Yorumunuz için teşekkürler, @horaceT. Girişim cevabım, "Temel kural yok, ancak uygulanabilecek buluşsal yöntemler var" anlamına geliyordu. Res Nets'in farkındayım. Lütfen cevabımı nasıl geliştirebileceğimi bana bildirin.

— İmran

3

Hangi düğümlerin ve katmanların yapılandırmasının en verimli olduğunu araştırarak diğer sinir ağlarını tasarlamak için sinir ağlarını kullanma fikrini araştıran bir makale okudum. PDF'yi indirebileceğiniz sayfa https://arxiv.org/abs/1611.02120

— Daniel Ephrat
kaynak

2

Imran cevabı @ takiben buldum bu kağıt o bağlantılı CrossValidated yayındaki yorumları birinde. Genetik Modeller kullanarak doğru mimariyi bulma girişiminin yanı sıra (genel bir kural kullanmak yerine), bölüm 2.1, bir / iki gizli katman sisteminde kaç gizli birimin olması gerektiğine dair bazı teorik sınırlar verir.

DÜZENLEME: Bu teoremi test ettim ve Genetik Modeller kullanmanın rastgele bir mimari seçmek kadar iyi olduğunu öğrendim.

— shakedzy
kaynak