İleri beslemeli ve tekrarlayan sinir ağları arasındaki fark nedir ?
Neden birini diğerine aldın?
Başka ağ topolojileri var mı?
Yanıtlar:
İleri beslemeli YSA, sinyallerin yalnızca tek yönlü hareket etmesine izin verir: girdiden çıktıya. Geri bildirim yoktur (döngüler); yani , herhangi bir katmanın çıktısı aynı katmanı etkilemez. İleri beslemeli YSA, girdileri çıktılarla ilişkilendiren basit ağlar olma eğilimindedir. Örüntü tanımada yaygın olarak kullanılırlar. Bu tür bir organizasyona aşağıdan yukarıya veya yukarıdan aşağı olarak da adlandırılır.
Geri bildirim (veya tekrarlayan veya etkileşimli) ağlar, ağa döngüler ekleyerek her iki yönde de hareket eden sinyallere sahip olabilir. Geri bildirim ağları güçlü ve son derece karmaşık olabilir. Daha önceki girdilerden türetilen hesaplamalar, onlara bir tür bellek sağlayan geri ağa beslenir. Geri bildirim ağları dinamiktir; 'devlet' bir denge noktasına ulaşana kadar sürekli değişiyor. Girdi değişene kadar denge noktasında kalırlar ve yeni bir dengenin bulunması gerekir.
Feedforward sinir ağları, bir dizi yordayıcı veya giriş değişkeni kümesi ile bir veya daha fazla yanıt veya çıktı değişkeni arasındaki ilişkileri modellemek için idealdir. Başka bir deyişle, birkaç girdi değişkeninin çıktı değişkenini nasıl etkilediğini bilmek istediğimiz fonksiyonel haritalama problemi için uygundurlar. Çok katmanlı algılayıcılar (MLP) olarak da adlandırılan çok katmanlı, ileriye dönük sinir ağları, pratikte en çok çalışılan ve kullanılan sinir ağı modelidir.
Geri bildirim ağına örnek olarak, Hopfield'ın ağını hatırlayabilirim . Hopfield ağının ana kullanımı birleşik hafızadır. Bir birleştirme hafızası, bir giriş modelini kabul eden ve giriş ile en yakından bağlantılı olan depolanmış model olarak bir çıktı üreten bir cihazdır. İlişkilendirme hafızasının işlevi, karşılık gelen depolanmış modeli geri çağırmak ve daha sonra çıktıda modelin açık bir versiyonunu üretmektir. Hopfield ağları tipik olarak ikili desen vektörleri ile ilgili problemlerde kullanılır ve giriş deseni depolanmış modellerden birinin gürültülü bir versiyonu olabilir. Hopfield ağında, depolanan desenler ağın ağırlıkları olarak kodlanır.
Kohonen'in kendi kendini organize eden haritaları(SOM), feedforward çok katmanlı ağlardan belirgin bir şekilde farklı olan başka bir sinir ağı türünü temsil eder. Beslemeli MLP'deki eğitimden farklı olarak, SOM eğitimine veya öğrenimine genellikle denetimsiz denir, çünkü SOM'deki her giriş modeliyle ilişkili bilinen hedef çıktıları yoktur ve eğitim sürecinde, SOM giriş modellerini işler ve verileri kümelemeyi veya bölümlere ayırmayı öğrenir. ağırlıkların ayarlanması yoluyla (bu onu boyut küçültme ve veri kümelemesi için önemli bir sinir ağı modeli yapar). İki boyutlu bir harita tipik olarak girdiler arasındaki karşılıklı ilişkilerin emirleri korunacak şekilde oluşturulur. Küme sayısı ve bileşimi, eğitim süreci tarafından üretilen çıktı dağılımına göre görsel olarak belirlenebilir. Eğitim örneğindeki sadece girdi değişkenleriyle,
(Diyagramlar Dana Vrajitoru'nun C463 / B551 Yapay Zeka web sitesinden alınmıştır .)
George Dontas'ın yazdığı doğru, ancak bugün RNN'lerin pratikte kullanımı daha basit bir problem sınıfıyla sınırlıdır: zaman serileri / sıralı görevler.
RNN'lerin, Hammer ile sekans eşlemesinde ölçülebilen herhangi bir sekansı temsil edebildiği gösterilmiştir.
Bu nedenle, günümüzde her çeşit ardışık görev için RNN'ler kullanılmaktadır: zaman serileri tahmini, dizi etiketleme, dizi sınıflandırma vb. Schmidhuber'ın RNN'ler sayfasındaki iyi bir genel bakış bulunabilir .
RNN ve FNN demek yerine isimleri farklıdır. Yani onlar farklı. , Dinamik sistemin modellenmesi açısından daha ilginç olanın, RNN'in FNN'den çok farklı olduğunu düşünüyorum.
Rekürren sinir ağı ile Feedforward sinir ağı arasındaki dinamik sistemin modellenmesi için önceki zaman gecikmelerinde olduğu gibi ek özelliklere sahip bir tartışma olmuştur (FNN-TD).
90'lardan ~ 2010'larda bu makaleleri okuduktan sonra bilgimden. Literatürün çoğunluğu, vanilya RNN'in FNN'den daha iyi olmasını tercih eder, çünkü RNN dinamik bir hafıza kullanır, FNN-TD ise statik bir hafızadır.
Ancak, bu ikisini karşılaştıran çok fazla sayısal çalışma yoktur. Erken olan [1], dinamik sistemin modellenmesi için FNN-TD'nin, gürültü varken biraz daha kötü performans gösterdiğinde gürültüsüz olduğunda vanilya RNN ile karşılaştırılabilir performans gösterdiğini göstermiştir . Dinamik sistemlerin modellenmesi konusundaki deneyimlerimde FNN-TD'nin yeterince iyi olduğunu görüyorum.
FNN-TD, hafıza etkilerini tedavi etmenin en genel ve kapsamlı yoludur . Acımasız olduğu için teorik olarak her türlü, her türlü, herhangi bir hafıza etkisini kapsar. Sadece aşağı tarafı, pratikte çok fazla parametre alması.
RNN'deki bellek, önceki bilgilerin genel bir "evrişimi" olarak temsil edilen bir şey değildir . Genel olarak, iki skaler sekans arasındaki evrimleşmenin genel olarak geri dönüşümlü bir süreç olmadığını ve dekonvolyonun en kötü şekilde ortaya çıktığını biliyoruz.
Bu nedenle, RNN gerçekte evrişim yaparak önceki hafıza bilgilerini kayıp ile sıkıştırırken, FNN-TD bunları hafıza bilgisi kaybı olmadan bir anlamda ortaya koymaktadır. Gizli ünite sayısını artırarak veya vanilya RNN'den daha fazla zaman gecikmesi kullanarak evrişimdeki bilgi kaybını azaltabileceğinizi unutmayın. Bu anlamda, RNN, FNN-TD'den daha esnektir. RNN, FNN-TD olarak hiçbir hafıza kaybı elde edemez ve aynı sırada olan parametrelerin sayısını göstermek önemsiz olabilir.
FNN-TD'nin yapamadığı sırada birinin RNN'nin uzun süre etki gösterdiğinden bahsetmek isteyebileceğini biliyorum. Bunun için, sürekli özerk bir dinamik sistem için, Takens gömme teorisinden, görünüşte uzun süre ile aynı performansı elde etmek için görünüşte kısa zaman hafızasına sahip olan FNN-TD için gömülmenin genel bir özellik olduğunu belirtmek istiyorum. RNN’deki hafıza. RNN ve FNN-TD'nin 90'lı yılların başlarında sürekli dinamik sistem örneğinde neden çok fazla farklılık göstermediğini açıklıyor.
Şimdi RNN'in faydalarından bahsedeceğim. Özerk dinamik sistemin görevi için, daha önceki terimleri kullanmak, etkili olarak FNN-TD'yi teoride daha az önceki terimlerle kullanmakla aynı olsa da, sayısal olarak gürültüye daha dayanıklı olması yararlı olacaktır. [1] 'deki sonuç bu görüş ile tutarlıdır.
[1] Gençay, Ramazan ve Tung Liu. "İleri beslemeli ve yinelenen ağlarla doğrusal olmayan modelleme ve tahmin." Physica D: Doğrusal Olmayan Olaylar 108.1-2 (1997): 119-134.
[2] Pan, Shaowu ve Karthik Duraisamy. "Veriye Dayalı Kapatma Modellerinin Keşfi." arXiv ön baskı arXiv: 1803.09318 (2018).