İlişkili giriş verileri, sinir ağları ile aşırı uyuma neden olur mu?


13

Kanımca, ilişkili girdi verileri nöral ağlarda aşırı sığmaya yol açmalıdır çünkü ağ korelasyonu örneğin verilerdeki gürültüyü öğrenir.

Bu doğru mu?

Yanıtlar:


11

Aslında hayır.

Buradaki soru biraz geneldir ve gerçekten ilişkili olmayan iki şeyi karıştırır. Aşırı takma genellikle genelleştirilmiş bir tanım olmanın karşıt kalitesi olarak ifade edilir; aşırı donanımlı (veya aşırı eğitimli) bir ağın daha az genelleme gücüne sahip olacağı anlamındadır. Bu kalite öncelikle ağ mimarisi, eğitim ve doğrulama prosedürü tarafından belirlenir. Veriler ve özellikleri yalnızca "eğitim prosedürünün gerçekleştiği bir şey" olarak girilir. Bu az çok "ders kitabı bilgisi" dir; James, Witten, Hastie ve Tibshirani'nin "İstatistiksel Öğrenmeye Giriş" i deneyebilirsiniz. Ya da Bishop tarafından "Örüntü Tanıma" (genel konu hakkında şimdiye kadarki en sevdiğim kitap). Veya Bishop tarafından da "Örüntü Tanıma ve Makine Öğrenmesi".

Korelasyonun kendisi için: Belirli bir boyuta sahip girdi alanını düşünün. Hangi dönüşümü kullanırsanız kullanın, boyutluluk aynı kalacaktır - lineer cebir bunu söyler. Bir durumda, verilen taban tamamen ilişkisiz olacaktır - değişkenlerin korelasyonunu kaldırdığınızda veya PAT (Prensip Eksen Dönüşümü) uyguladığınızda elde ettiğiniz şey budur. Bunun için herhangi bir doğrusal cebir kitabını alın.

Uygun bir mimariye sahip bir nöral ağ herhangi bir (!) Fonksiyonunu modelleyebileceğinden, önce PAT'yi modelleyebileceğini ve sonra da yapılması gereken her şeyi yapabileceğini varsayabilirsiniz - örneğin sınıflandırma, regresyon, vb.

Ayrıca korelasyonu, verilerin bir özelliği olduğu için sinir ağı açıklamasının bir parçası olması gereken bir özellik olarak da düşünebilirsiniz. Verilerin bir parçası olmaması gereken bir şey olmadığı sürece korelasyonun doğası gerçekten önemli değildir. Bu aslında farklı bir konu olacaktır - girişteki gürültü gibi bir şeyi modellemeli veya ölçmelisiniz ve hesaba katmalısınız.

Yani, özet no. İlişkili veriler, verilerin teknik olarak daha basit ve daha verimli kullanılmasını sağlamak için daha fazla çalışmanız gerektiği anlamına gelir. Aşırı sığdırma meydana gelebilir, ancak ilişkili veriler olduğu için gerçekleşmez.


Üzgünüm, ama hala nedenini anlamadım. Ayrıca şüphem biraz genel. "İlişkili girdi verileri sinir ağları için zararlı olabilir mi?" Burada "güvenli bir şekilde ilk PAT modeli olabileceğini varsayabilirsiniz" diye iddia edersiniz. Ama bu varsayımı nasıl yapıyorsunuz? Ve sonra benim takip sorum, sinir mimarisi PAT modellemek için başarısız değilse ne olur?
bytestorm

@bytestorm: ilk sorunuz orijinalinden farklı. İlişkili giriş, YSA'nızın performansını (ve diğer yöntemler için) sınırlandırabilir. Ancak YSA'nın doğasında olan bir özellik değildir. İkinci soruya gelince, bu daha az varsayımdır, ancak YSA'ların PAT modelini neden modelleyebileceğine ilişkin sadece örnek bir açıklamadır. Uygulamada bunu böyle yapmam, ne de tavsiye etmem.
melek

6

melek yüz ifadesi aşırı uydurma ile ilgili ifadesinde doğrudur. Bununla birlikte, yüksek derecede korelasyonlu özelliklerin ve YSA'nın tartışılmasını çok fazla kolaylaştırıyor.

Evet, teorik olarak bir YSA'nın herhangi bir işleve yaklaşabileceği doğrudur. Bununla birlikte, pratikte çok sayıda yüksek derecede ilişkili özellik eklemek iyi bir fikir değildir. Bunu yapmak, modelin içinde birçok fazlalık getirecektir. Bu tür fazlalıkların dahil edilmesi gereksiz karmaşıklıklara yol açacaktır ve bunu yapmak yerel minima sayısını artırabilir. Bir YSA'nın kayıp fonksiyonunun doğası gereği düzgün olmadığı göz önüne alındığında, gereksiz pürüzlülük getirmek harika bir fikir değildir.

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.