Sinir ağlarında türetilmiş özellikler neden kullanılır?

Örneğin, ev fiyatlarını tahmin etmek ve evin uzunluğunu ve genişliğini iki girdi özelliğine sahip olmak ister. Bazen, alan gibi uzunluk * genişlik olan 'türetilmiş' polinom girdi özellikleri de bulunur.

1) Türetilmiş özellikleri dahil etmenin anlamı nedir? Bir sinir ağı eğitim sırasında uzunluk, genişlik ve fiyat arasındaki bağlantıyı öğrenmemeli midir? Üçüncü özellik, alan neden gereksiz değil?

Buna ek olarak, bazen insanların sayılarını azaltmak için giriş özellikleri üzerinde genetik seçim algoritmaları çalıştırdıklarını görüyorum.

2) Hepsi yararlı bilgiler içeriyorsa giriş özelliklerini azaltmanın anlamı nedir? Sinir ağı, her girdi özelliğine önemine göre uygun ağırlıklar atamamalı mı? Genetik seçim algoritmalarını çalıştırmanın anlamı nedir?

$n$$l$$n*l$$n*l$

2): Bunun için iki sebebim var. Birincisi, sağlanan binlerce özelliğiniz varsa (gerçek dünya verilerinde sıklıkla olduğu gibi) ve eğitim için CPU süresinde kısaysa (aynı zamanda ortak bir olay), özellik alanını azaltmak için bir dizi farklı özellik seçim algoritması kullanabilirsiniz. önceden. Buna ilkeli yaklaşımlar, en yüksek öngörme gücüne sahip özellikleri seçmek için genellikle bilgi teorik önlemleri kullanır. İkincisi, tüm veriler ve sahip olduğunuz tüm özellikler hakkında eğitim verebilseniz bile, sinir ağları genellikle 'kara kutu' modelleri olduğu için eleştirilir. Özellik alanını önceden azaltmak, bu sorunun azaltılmasına yardımcı olabilir. Örneğin, NN'ye bakan bir kullanıcı, 0.01 ağırlığının "0" anlamına gelip gelmediğini kolayca anlayamaz, ancak optimizasyon işlemi tam olarak oraya ulaşmadı "veya"

1) Çoğu sinir ağı çarpımı gerçekleştiremez; yalnızca toplamları hesaplayabilirler (bu daha sonra bir etkinleştirme işlevi aracılığıyla tek tek beslenir ). Bunun yerine, eğer önemliyse bu çarpımları tahmin etmelidirler, bu da özellikle faktörler geniş aralıkları kapsayabiliyorsa, çok sayıda nöron gerektirir.

Ev alanının aslında önemli bir özellik olduğu ortaya çıkarsa, bölgeyi sağlarsanız ağa yardımcı olacaksınız, çünkü daha sonra genişliğin ve uzunluğun çarpımını tahmin etmek için ihtiyaç duyacağı nöronları kullanabilir başka şeyler yapmak için.

Bu nedenle, polinom özellikler dahil olmak, bazı durumlarda ağ için yararlı olabilir, ancak diğer durumlarda önemli bir etkisi yoktur. Ayrıca, polinom özellikler, ağ için yararlı olabilecek türden özelliklerden yalnızca biridir. Yararlı olabilecek diğer bir tür türetilmiş özellik, örneğin ağın elde etmek için tahmin etmesi gereken giriş değişkenlerinin (pozitif oldukları kabul edilir) logaritmalarıdır.

Bir fikir, ağın sayılar arasında yalnızca eklemelerden daha fazla işlem gerçekleştirmesine izin vermek, polinom özellikleri gibi şeyleri etkili bir şekilde hesaplamasını sağlamaktır, ancak bunun nasıl çalışacağı açık değildir. Benzer bir şey yapıyor gibi görünen bir mimari, toplam ürün ağıdır .

2) John'un bahsettiği hesaplama maliyeti dışında, daha fazla girdi eklediğinizde kaçınılmaz olan modeldeki parametre sayısını artırmak , özellikle az eğitim verileriniz varsa , ağın aşırı yüklenme riskini artırır .

Bununla birlikte, eğer iyi bir düzenleme yöntemi kullanılırsa, bu çok daha az problem haline getirilebilir. (Bırakma bunun için son derece iyi çalışıyor gibi görünüyor) Teorik olarak, yeterince iyi bir düzenleme yöntemiyle, aşırı takmanın hiç sorun olmaması gerekir. Hinton'un belirttiği gibi, bir insan beyindeki 10 ^ 14 sinaps sırasına sahiptir (sinir ağındaki bağlantılara karşılık gelir), ancak sadece 10 ^ 9 saniye sırasıyla yaşar, ancak yine de oldukça iyi genelleme. Açık bir şekilde, doğru algoritmayla ayarlanabilen birçok parametreye sahip olmak sadece bir avantaj olmalıdır.