Bazı bağlantıları kaldırarak daha iyi bir YSA elde etmek mümkün mü?

11

Bazı koşullarda ANN'lerin daha iyi performans göstermesinin mümkün olup olmadığını merak ediyordum, örneğin bazı bağlantıları budanırsanız:

A ve B'nin gizli katmanları arasına birkaç "iletişim" bağlantısı ekleyerek iki çok katmanlı ANN'nin A ve B'yi paralel (aynı giriş ve çıkış düğümleri) alarak bir YSA oluşturmak?

Daha iyi genelleme sonuçları elde edilebilir mi?

Bu bir şekilde pratikte kullanılıyor mu veya her zaman sadece çok katmanlı tam bağlantılı ağlar mı kullanılıyor?

classification neural-networks

— İnce Jim
kaynak

7

Evet mümkün. Bazı insanlar bu soruna ayrıntılı bir şekilde baktı. İşte bunu yapmak için bir yöntem hakkında eski bir makale: Optimal beyin hasarı

— carlosdc
kaynak

Düğümleri ayırmak neden normalleştirmeden daha iyidir? Düzenlemeyle bağlantıların budamasına gerek olmadığını düşündüm - "gereksiz" olanlar sadece çok küçük ağırlıklara sahip olacaklar ve hepsi bu.

— andreister

@andreister Düzenlemeden daha iyi olduğunu düşünmüyorum. Bence bu normalleşmeye (erken) bir alternatif. Çok eski bir kağıttır, doksanların ortasında ve geç saatlerde düzenli olarak ML'de ana akım haline gelmiştir.

— carlosdc

7

Genel bir kural olarak, küçük ve / veya seyrek ağlar daha iyi genelleme yapar. Eğitim algoritmanızın, bir tür ağırlık azalması uygulayarak sabit boyutlu bir ağ içindeki gereksiz bağlantıları ayıklamasına izin verebilir veya gereksiz girdileri, gizli düğümleri veya bağlantıları kaldırarak ağ mimarisini / topolojisini en iyi duruma getirmeyi amaçlayan bir algoritma uygulayabilirsiniz.

Daha fazla araştırma için fikirler ve başlangıç noktaları için bu referanslara bir göz atın veya mimarileri tasarlamak, budamak ve optimize etmek için evrimsel algoritmaların kullanımına bakın.

Castellano, G., Fanelli, AM (2000) 'Nöral ağ modellerini kullanarak değişken seçim', Neurcomputing (31)
Ji C., Psaltis D. (1997) 'Veriye Dayalı Büyüme ve Bozunma Yoluyla Ağ Sentezi', Neural Networks Vol. 10, No. 6, sayfa 1133-1141
Narasimha PL ve diğerleri (2008) 'İleri beslemeli ağ eğitimi için entegre bir büyüyen budama yöntemi', Neurocomputing (71), s. 2831-2847
Schuster, A. (2008) 'Sağlam Sanatsal Sinir Ağı Mimarileri', Uluslararası Hesaplamalı İstihbarat Dergisi (4: 2), s. 98-104

— Graham Jones
kaynak

Cevabın "mimarileri tasarlamak, budamak ve optimize etmek için evrimsel algoritmaların kullanımına bakmak" bölümü hakkında daha fazla bilgi almak istiyorum. Belki bu konuda bir soru soracağım!

— Artem Kaznatcheev

6

Çoğu durumda gereksiz bağlantıları kaldırırsanız daha iyi bir ağ elde edersiniz. Ağı aşırı zorlamak (overfit) kolaydır - bu durumda doğrulama veri kümesinde düşük performans gösterir.

Gereksiz bağlantıları budama, muhtemelen aşırı eğitim olasılığını azaltacaktır. Lütfen bakınız: http://en.wikipedia.org/wiki/Overfitting .

— jb.
kaynak

5

Evet mümkün. Hesaplamalı birimler arasındaki bağlantı, gizli katman sayısı, gizli katman başına birim vb. Hiper-parametre olarak düşünülebilir. Bir dizi deney yaparak bu parametreler için en uygun değerleri bulmak mümkündür.

Örneğin:

Veri kümenizi şu şekilde bölebilirsiniz: Eğitim seti verilerin% 60'ı, Çapraz doğrulama verilerin% 20'si, Verilerin% 20'sini test etme,

Ardından, çapraz veri doğrulama veri setini kullanarak eğitim veri setini ve ayarlama parametresini kullanarak NN'nizi eğitin.

Son olarak NN'nizin performansını değerlendirmek için test veri kümenizi kullanabilirsiniz.

— Upul
kaynak