Konvolüsyonel sinir ağları ve derin öğrenme arasındaki fark nedir?

Projemde derin öğrenme kullanmak istiyorum. Birkaç kağıt okudum ve bana bir soru geldi: evrişim sinir ağı ile derin öğrenme arasında bir fark var mı? Bunlar aynı mı, yoksa büyük farkları var mı ve hangisi daha iyi?

Derin Öğrenme, Derin Sinir Ağları (DNN'ler) temelli Makine Öğrenimi'nin dalıdır, yani sinir ağları en az 3 veya 4 katmanla (giriş ve çıkış katmanları dahil) anlamına gelir. Fakat bazı insanlar için (özellikle teknik olmayan), herhangi bir sinir ağı, derinliğinden bağımsız olarak Derin Öğrenme olarak nitelendirilir. Diğerleri ise 10 katmanlı bir sinir ağını sığ olarak görüyor.

Konvolüsyonel Sinir Ağları (CNN'ler) en popüler sinir ağı mimarilerinden biridir. Görüntü işlemede son derece başarılıdırlar, ancak diğer birçok görevde (konuşma tanıma, doğal dil işleme ve daha fazlası). Son teknoloji CNN'ler oldukça derindir (en azından onlarca katman), bu nedenle Derin Öğrenmenin bir parçasıdır. Ancak basit bir görev için sığ bir CNN oluşturabilirsiniz, bu durumda (gerçekten) Derin Öğrenme değildir.

Fakat CNN'ler yalnız değildir, Tekrarlayan Sinir Ağları (RNN), Otomatik Kodlayıcılar, Transformatörler, Derin İnanç Ağları (DBN = Kısıtlı Boltzmann Makineleri, RBM yığını) ve daha fazlası dahil olmak üzere birçok başka sinir ağı mimarisi vardır. Sığ veya derin olabilirler. Not: Sığ RNN'ler bile Derin Öğrenmenin bir parçası olarak görülebilir, çünkü onları eğitmek zamanla onları açmayı gerektirir, bu da derin bir ağ oluşturur.

Uyarlanabilir sinyal işleme / makine öğrenmesi alanlarında, derin öğrenme (DL) , makinelerin karmaşık temsillerini eğitebileceğimiz özel bir metodolojidir.

$\mathbf{x}$$\mathbf{y}$$W_i$$f_i$

Şimdi DL içerisinde, birçok farklı mimari var : Bu tür bir mimari, evrişimsel bir sinir ağı (CNN) olarak bilinir . Başka bir mimari, çok katmanlı bir algılayıcı (MLP), vb. Olarak bilinir .

Bir MLP belki de bulabileceği en geleneksel DL mimarisi türlerinden biridir ve bu, bir önceki katmanın her elemanı bir sonraki katmanın her elemanına bağlandığı zamandır. Bu gibi görünüyor:

$\mathbf{W}_i$$\mathbf{W} \in R^{10 \text{x} 20}$$\mathbf{v} \in R^{10 \text{x} 1}$$\mathbf{u} \in R^{1 \text{x} 20}$$\mathbf{u} = \mathbf{v}^T \mathbf{W}$$\mathbf{W}$ Bir sonraki katmanın elemanlarının.

MLP'ler, kısmen, eğitilmesi zor olduğu için iyilikten düştü. Bu zorluğun birçok nedeni olsa da, bunlardan biri de yoğun bağlantılarının çeşitli bilgisayarlı görme sorunları için kolayca ölçeklenmelerine izin vermemesiydi. Başka bir deyişle, içine fırında çeviri eşdeğeri olmadı. Bu, görüntünün bir kısmında hassas olmaları gerektiğine dair bir sinyal olsaydı, duyarlı olmaları gerektiğinde yeniden öğrenmeleri gerekeceği anlamına geliyordu. bu sinyal etrafta dolaştı. Bu, ağın kapasitesini boşa harcadı ve böylece eğitim zorlaştı.

CNN'lerin girdiği yer burası! İşte biri neye benziyor:

$\mathbf{W_i}$

"CNN" lerin ağ boyunca konvolüsyon tabakaları olduğu ve en sonunda da MLP'lerin olduğu ağlara atıfta bulunmak yaygındır, bu yüzden farkında olunması gereken bir uyarıdır.

Derin öğrenme = derin yapay sinir ağları + diğer derin modeller .

Derin yapay sinir ağları = 1 kattan fazla yapay sinir ağları. ( daha fazla tartışma için derin bir sinir ağındaki veya Wikipedia'daki minimum katman sayısına bakın …)

Evrişim Sinir Ağı = Bir tür yapay sinir ağı

Yann LeCun tarafından Bu slayt bir özellik hiyerarşi sadece modelleri (alt düzey özellikleri bir bir modelin tabakasının ve ardından bu özellikleri bir sonraki seviyede birleştirildiği de öğrenilir) bu noktayı vardır yapar derin .

Bir CNN derin veya sığ olabilir; bu durum, bu "özellik hiyerarşisi" yapısını izleyip izlememesine bağlıdır, çünkü 2 katmanlı modeller de dahil olmak üzere bazı sinir ağları derin değildir.

Deep learningBirden fazla katmanı olan karmaşık bir sinir ağı ile başa çıkmak için kullanılan genel bir terimdir. Tam olarak ne olduğuna dair standart bir tanım yoktur deep. Genellikle, derin bir ağın dizüstü bilgisayarınız ve PC'nizin eğitmesi için çok büyük bir şey olduğunu düşünebilirsiniz. Veri seti o kadar büyük olur ki, hafızanıza sığamazsınız. Eğitiminizi hızlandırmak için GPU'ya ihtiyacınız olabilir.

Deep bir şeyi diğerlerinden daha profesyonel hale getirmek için bir pazarlama terimi gibidir.

CNNbir tür derin sinir ağıdır ve başka birçok tür vardır. CNN'ler popülerdir çünkü görüntü tanımada çok faydalı uygulamalara sahiptirler.