Yapay bir sinir ağı için girdiyi neden normalleştirmeliyiz?

Sinir ağları teorisi ile ilgili temel bir sorudur:

Bir sinir ağı girişini neden normalleştirmeliyiz?

Bazen, giriş değerleri sayısal olmadığında, belirli bir dönüşümün yapılması gerektiğini, ancak sayısal bir girişimiz olduğunda anlıyorum. Sayılar neden belirli bir aralıkta olmalıdır?

Veriler normalleştirilmezse ne olur?

Bu en iyi izah burada .

Giriş değişkenleri bir MLP [çok katmanlı algılayıcı] 'da olduğu gibi doğrusal olarak birleştirilirse, en azından teoride girişlerin standartlaştırılması nadiren gereklidir. Bunun nedeni, bir giriş vektörünün herhangi bir yeniden ölçeklendirilmesinin, karşılık gelen ağırlıkları ve sapmaları değiştirerek etkin bir şekilde geri alınabilmesidir ve sizi daha önce yaptığınız çıktılarla aynı şekilde bırakır. Bununla birlikte, girdilerin standartlaştırılmasının eğitimi daha hızlı hale getirmesinin ve yerel optima'da takılma şansını azaltmasının çeşitli pratik nedenleri vardır. Ayrıca, ağırlık azalması ve Bayes kestirimi standart girdilerle daha rahat bir şekilde yapılabilir.

Sinir ağlarında, sadece verileri normalleştirmek değil, aynı zamanda ölçeklemek de iyi bir fikirdir. Bu hata yüzeyinde küresel minimaya daha hızlı yaklaşmak için tasarlanmıştır. Aşağıdaki resimlere bakın:

Sinir ağları hakkında ders dersinden resimler çekilir . Dersin yazarı Geoffrey Hinton.

NN'ye yapılan bazı girdiler 'doğal olarak tanımlanmış' bir değer aralığına sahip olmayabilir. Örneğin, ortalama değer yavaş olabilir, ancak zamanla sürekli artabilir (örneğin, veritabanındaki bir dizi kayıt).

Bu durumda, bu ham değeri ağınıza aktarmak çok iyi çalışmaz. Ağınıza, aralığın alt kısmındaki değerler hakkında bilgi verirken, gerçek girişler bu aralığın daha yüksek kısmından (ve ağın çalışmayı öğrendiği büyük olasılıkla aralığın üstünde) olacaktır.

Bu değeri normalleştirmelisiniz. Örneğin, bir önceki girişten bu yana değerin ne kadar değiştiğini ağa söyleyebilirsiniz. Bu artış genellikle belirli bir aralıkta yüksek olasılıkla tanımlanabilir, bu da onu ağ için iyi bir girdi haline getirir.

Sinir ağına dışarıdan bakmak, sadece bazı argümanlar alan ve sonuç üreten bir işlevdir. Tüm işlevlerde olduğu gibi, bir etki alanı vardır (yani bir dizi yasal argüman). Etki alanında olduğundan emin olmak için sinir ağına iletmek istediğiniz değerleri normalleştirmeniz gerekir. Tüm işlevlerde olduğu gibi, bağımsız değişkenler etki alanında değilse, sonucun uygun olacağı garanti edilmez.

Sinir ağının alan dışındaki argümanlar üzerindeki tam davranışı, sinir ağının uygulanmasına bağlıdır. Ancak genel olarak, argümanlar etki alanı içinde değilse sonuç işe yaramaz.

Sinir Ağına Beslemeden Önce Giriş Özelliklerini Normalleştirmemiz İçin 2 Neden Var:

Sebep 1 : Eğer bir Featurein Datasetdiğerlerine göre daha büyük ölçekli ise, o zaman bu büyük ölçekli özellik baskın hale gelir ve bunun sonucunda, Sinir Ağının Tahminleri Doğru olmayacaktır.

Örnek : Çalışan Verileri durumunda, Yaş ve Maaş'ı dikkate alırsak, Yaş İki Basamaklı Sayı olurken, Maaş 7 veya 8 Basamak (1 Milyon vb.) Olabilir. Bu durumda Maaş, Sinir Ağının Tahminine Hükmedecektir. Ancak bu Özellikleri Normalleştirirsek, her iki Özelliğin de değerleri (0 ile 1) aralığında olacaktır.

Sebep 2 : Yapay Sinir Ağlarının Önden Yayılması, Giriş Özelliklerine sahip Ağırlıkların Nokta Ürününü içerir. Bu nedenle, Değerler çok yüksekse (Görüntü ve Görüntü Dışı Veriler için), Çıktı Hesaplaması Bellek kadar çok Hesaplama Süresi gerektirir. Geri Yayılım sırasında da durum aynıdır. Sonuç olarak, Girişler Normalleştirilmezse Model yavaşça yakınsar.

Örnek : Görüntü Sınıflandırması yaparsak, her Pikselin Değeri 0 ila 255 arasında değiştiği için Görüntünün Boyutu çok büyük olacaktır. Bu durumda normalleştirme çok önemlidir.

Aşağıda Normalizasyonun çok önemli olduğu durumlar belirtilmiştir:

1. K-Means
2. K-En Yakın-Komşular
3. Temel Bileşen Analizi (PCA)
4. Dereceli alçalma

Cevabın senaryoya bağlı olduğuna inanıyorum.

NN'yi (sinir ağı) F operatörü olarak düşünün, böylece F (giriş) = çıkış . Bu ilişkinin doğrusal olması durumunda, F (A * girişi) = A * çıktısı olarak , giriş / çıkışı ham formlarında normalleştirilmemiş olarak bırakmayı veya her ikisini de A'yı ortadan kaldırmak için normalleştirmeyi seçebilirsiniz. Açıkçası bu doğrusallık varsayımı sınıflandırma görevlerinde veya olasılık çıktısı veren neredeyse tüm görevlerde ihlal (F (A * girişi) = 1 * çıktı)

Uygulamada, normalizasyon, deney yapamayan ağların, deneyciler / programcılar için çok önemli olan uygun hale getirilmesine izin verir. Bununla birlikte, normalleştirmenin kesin etkisi sadece ağ mimarisine / algoritmasına değil, aynı zamanda giriş ve çıkıştan önceki istatistiklere de bağlı olacaktır.

Dahası, NN genellikle çok zor problemleri kara kutu şeklinde çözmek için uygulanır, bu da altta yatan sorunun çok zayıf bir istatistiksel formülasyona sahip olabileceği anlamına gelir, bu da normalleşmenin etkisini değerlendirmeyi zorlaştırarak teknik avantajı (uygun hale gelir) istatistik üzerindeki etkisine hakim olmak.

İstatistiksel anlamda, normalleştirme, çıktıyı tahmin etmede nedensel olmadığı düşünülen varyasyonu ortadan kaldırır, böylece NN'nin bu varyasyonu bir öngörücü olarak öğrenmesini önlemek için ( NN bu varyasyonu görmez, dolayısıyla kullanamaz ).

Normalleştirilmemiş giriş özelliklerini kullandığınızda, kayıp işlevinin çok uzun vadilere sahip olması muhtemeldir. Degrade iniş ile optimizasyon yaparken, bu bir sorun haline gelir, çünkü degrade bazı parametrelere göre dik olacaktır. Bu, dik eğimler arasında zıplarken arama alanında büyük salınımlara yol açar. Telafi etmek için optimizasyonu küçük öğrenme hızlarıyla dengelemeniz gerekir.

Sırasıyla 0 ila 1 ve 0 ila 1 milyon arasında değişen x1 ve x2 özelliklerini düşünün. Karşılık gelen parametrelerin (örneğin, w1 ve w2) oranları da büyük olacaktır.

Normalleştirme, kayıp fonksiyonunu daha simetrik / küresel hale getirme eğilimindedir. Degradeler küresel minimum değere işaret etme eğilimi gösterdiğinden ve daha büyük adımlar atabildiğiniz için bunların optimize edilmesi daha kolaydır.

Normalleştirmenin gerekli olmasının nedeni, uyarlanabilir bir adımın işlev alanındaki bir yerde nasıl ilerlediğine bakarsanız ve sorunu basitçe, sonra farklı sonuçlar elde edersiniz. Doğrusal bir parçayı bir veri noktasına uyarlama sorusuna kaynar. Parça dönmeden ne kadar hareket etmeli ve bu eğitim noktasına karşılık olarak ne kadar dönmelidir? Alan adının farklı bölümlerinde değiştirilmiş bir adaptasyon prosedürünün olması hiç mantıklı değil! Bu nedenle, eğitim sonucundaki farkı azaltmak için normalleştirme gereklidir. Bunu yazmadım, ancak basit bir doğrusal işlev için matematiğe ve bunun iki farklı yerde bir eğitim noktası tarafından nasıl eğitildiğine bakabilirsiniz. Bu sorun bazı yerlerde düzeltilmiş olabilir, ancak onlara aşina değilim. ALN'lerde sorun düzeltildi ve wwarmstrong AT shaw.ca'ya yazarsanız size bir kağıt gönderebilirim

Gizli katmanlar, verilerimizin karmaşıklığına uygun olarak kullanılır. Doğrusal olarak ayrılabilen giriş verileriniz varsa, örneğin OR geçidi gibi gizli katman kullanmamamız gerekir, ancak doğrusal olarak ayrılamaz bir veriye sahipsek, örneğin ExOR mantıksal kapısı gibi gizli katman kullanmamız gerekir. Herhangi bir katmanda alınan düğüm sayısı, çıktımızın çapraz doğrulama derecesine bağlıdır.