Şaşırtıcı bir şekilde bu daha önce sorulmadı - en azından belirsiz bir şekilde ilgili bazı soruların yanında bir şey bulamadım .
Peki, tekrarlayan bir sinir ağı nedir ve düzenli NN'lere göre avantajları nelerdir?
Yanıtlar:
Tekrarlayan sinir ağları (RNN'ler) beyindeki nöronların döngüsel bağlantılarından esinlenen bir yapay sinir ağı mimarisi sınıfıdır. Bilgi depolamak için yinelemeli fonksiyon döngülerini kullanır.
Bu kitaptaki resimleri kullanan geleneksel sinir ağları ile fark :
Ve bir RNN:
Farka dikkat edin - ileri beslemeli sinir ağlarının bağlantıları döngü oluşturmaz. Bu durumu gevşetirsek ve döngüsel bağlantılara izin verirsek, tekrarlayan sinir ağları (RNN'ler) elde ederiz. Bunu mimarinin gizli katmanında görebilirsiniz.
Çok katmanlı bir algılayıcı ve bir RNN arasındaki fark önemsiz gibi görünse de, sekans öğrenmenin sonuçları çok geniş kapsamlıdır. Bir MLP yalnızca girişten çıkış vektörlerine eşleme yapabilirken, bir RNN prensip olarak önceki girişlerin tüm geçmişinden her çıkışa eşleme yapabilir . Gerçekten de, MLP'ler için evrensel yaklaşım teorisine eşdeğer sonuç, yeterli sayıda gizli birime sahip bir RNN'nin, herhangi bir ölçülebilir sekanstan sekans eşlemesine keyfi doğrulukla yaklaşabilmesidir.
Önemli paket servisi olan restoran:
Tekrarlanan bağlantılar, önceki girişlerin bir 'belleğinin' ağın dahili durumunda kalmasına izin verir ve böylece ağ çıkışını etkiler.
Her ikisi de son teknoloji ürünü olduklarından ve belirli görevlerde özellikle iyi olduklarından, avantajlar açısından konuşmak uygun değildir. RNN'nin üstlendiği kapsamlı görev kategorisi:
Dizi etiketlemenin amacı, sabit bir alfabeden çizilen etiket dizilerini giriş verisi dizilerine atamaktır.
Örnek: Konuşulan kelimelerle bir dizi akustik özellik (konuşma tanıma) veya el hareketleriyle (jest tanıma) bir video kareleri dizisini yazın.
Sekans etiketlemedeki bazı alt görevler şunlardır:
Dizi Sınıflandırması
Etiket dizileri bir uzunluk ile sınırlandırılmıştır. Her girdi dizisi tek bir sınıfa atandığı için, bu, dizi sınıflandırması olarak adlandırılır. Dizi sınıflandırma görevine örnek olarak, tek bir sözlü çalışmanın tanımlanması ve tek tek el yazısı bir mektubun tanınması verilebilir.
Segment Sınıflandırması
Segment sınıflandırması, hedef dizilerin birden fazla etiketten oluştuğu, ancak etiketlerin konumlarının, yani etiketlerin uygulandığı giriş segmentlerinin konumlarının önceden bilindiği görevleri ifade eder.
Bir tekrarlayan sinir ağı (GSA) bir yapay sinir ağı , bir besleme ileri sinir ağı (FFNN) 'de olduğu gibi, sadece olan ileri bağlantı aksine, geri veya kendi kendine bağlantı içerir. Dolayısıyla "tekrarlayan" sıfatı, bu ağlarda döngüler oluşturan bu geri veya kendi kendine bağlantıları ifade eder.
Bir RNN, zaman içinde geri yayılım kullanılarak eğitilebilir (BBTT) kullanılarak eğitilebilir, öyle ki bu geriye veya kendi kendine bağlantılar daha önce görülen girdileri "ezberler". Bu nedenle, bu bağlantılar temel olarak bir girdi dizisinin elemanları arasındaki zamansal ilişkileri izlemek için kullanılır, bu da RNN'leri dizi tahmini ve benzer görevler için çok uygun hale getirir.
Birkaç RNN modeli vardır: örneğin, LSTM veya GRU üniteli RNN'ler. LSTM (veya GRU), tek birimleri "düz RNN" deki bir birimden daha karmaşık bir dönüşüm gerçekleştiren bir RNN'dir, bu da girişin doğrusal bir dönüşümünü ve ardından doğrusal olmayan bir fonksiyonun (örn. ReLU) uygulanmasını gerçekleştirir doğrusal dönüşüm. Teorik olarak, "düz RNN" LSTM üniteleri olan RNN'ler kadar güçlüdür. Uygulamada, "yok olan ve patlayan degradeler" sorunundan muzdariptirler. Dolayısıyla, pratikte LSTM'ler (veya benzer karmaşık tekrarlayan birimler) kullanılır.