Geri dönüş sırasında CNN'nin filtre ağırlıklarını değiştirmemenin etkisi

Geri çoğaltma sırasında bir CNN'nin filtre ağırlıklarını DEĞİŞTİRMEMENİN etkisi nedir? MNIST veri seti üzerinde eğitim yaparken sadece tamamen bağlı katman ağırlıklarını değiştirdim ve neredeyse yüzde 99 oranında doğruluk elde ettim.

machine-learning cnn mnist

— Abhisek Dash
kaynak

İlginç, rastgele ağırlıklar ile mi başladınız, yoksa önceki bir ağdaki ağırlıkları mı kullandınız? Ayrıca, doğruluk ölçümünüz egzersiz setinden mi, yoksa bir tutma testi setinden mi?

— Neil Slater

@Neil Slater: Rastgele gauss ağırlıklarıyla başladım. Doğruluk ölçüsü test setinde.

— Abhisek Dash

@Neil Slater: Filtrelerin farklı başlatmalarında bile doğruluk neredeyse aynı kalır. 2 gizli ve maksimum havuz katmanı ve 256 gizli

— nöronlu

Bir CNN'nin evrişimsel katmanlarının ağırlıklarını değiştirmemekle, esasen sınıflandırıcıya (tamamen bağlı katman) rastgele özellikler beslersiniz (yani eldeki sınıflandırma görevi için en uygun özellikler değil ).

MNIST, giriş piksellerini herhangi bir özellik çıkarması olmadan bir sınıflandırıcıya hemen besleyebileceğiniz ve hala 90'larda yüksek puan elde edeceğiniz kadar kolay bir görüntü sınıflandırma görevidir. Bunun yanı sıra, belki de havuz katmanları biraz yardımcı olur ...

Giriş görüntüsünde bir MLP (konv / havuz katmanları olmadan) eğitmeyi deneyin ve nasıl sıralandığını görün. Burada bir MLP (1 gizli ve 1 çıkış tabakası) bir ön işleme / özellik çıkarma olmadan 98 +% ulaştı bir örnektir.

Düzenle:

Ayrıca yazdığım başka bir cevaba da işaret etmek istiyorum , bu da MNIST'in bir görüntü sınıflandırma görevi olarak neden bu kadar kolay olduğu konusunda daha ayrıntılı .

— Djib2011
kaynak