Derin öğrenme: Hangi değişkenlerin önemli olduğunu nasıl bilebilirim?

Sinir ağı lingo açısından (y = Ağırlık * x + önyargı) hangi değişkenlerin diğerlerinden daha önemli olduğunu nasıl bilebilirim?

10 giriş, 1 düğüm 20 düğüm ve 1 düğüm olan 1 çıkış katmanı ile bir sinir ağı var. Hangi giriş değişkenlerinin diğer değişkenlerden daha etkili olduğunu nasıl bileceğimden emin değilim. Düşündüğüm şey, eğer bir girdi önemliyse, o zaman ilk katmanla yüksek ağırlıklı bir bağlantıya sahip olacaktır, ancak ağırlık pozitif veya negatif olabilir. Yani yapabileceğim şey, girdilerin ağırlıklarının mutlak değerini alıp toplamlarıdır. Daha önemli girdilerin toplamı daha yüksek olur.

Bu nedenle, örneğin, saç uzunluğu girişlerden biriyse, bir sonraki katmandaki düğümlerin her birine 1 bağlantı, yani 20 bağlantı (ve dolayısıyla 20 ağırlık) olmalıdır. Her bir ağırlığın mutlak değerini alıp toplayabilir miyim?

Açıkladığınız şey aslında nöral-net girdilerin önemini ölçmenin standart bir yoludur. Ancak bunun çalışması için giriş değişkenlerinin bir şekilde normalleştirilmesi gerektiğini unutmayın. Aksi takdirde, daha büyük değerlere sahip olan giriş değişkenlerine karşılık gelen ağırlıklar orantılı olarak daha küçük olacaktır. Örneğin, bir değişkenin ortalamasını çıkartmak ve standart sapmasına bölmek gibi farklı normalleştirme şemaları vardır. Değişkenler ilk etapta normalleştirilmemişse, önem hesaplamasında, değişkenin standart sapması ile çarpma gibi ağırlıkların kendileri üzerinde bir düzeltme yapabilirsiniz.

.$I_i = \sigma_i\sum\limits_{j = 1}^{n_\text{hidden}}\left|w_{ij}\right|$

Burada standart sapmasıdır i inci girişi, I i olan I inci girişin önemi, W ı j ağırlığı bağlanan i inci giriş j birinci tabaka içinde gizlenmiş düğüm inci, ve n, gizli sayı İlk katmandaki gizli düğümler.$\sigma_i$$i$$I_i$$i$$w_{ij}$$i$$j$$n_\text{hidden}$

Diğer bir teknik , nöral-net eşlemenin türevini, girdiler üzerinden ortalaması alınan söz konusu girdiye göre kullanmaktır.

$I_i = \sigma_i\left\langle\left|\frac{dy}{dx_i}\right|\right\rangle$

Burada olan i inci giriş y çıkışı, ve beklenen değer giriş vektörü ile ilgili olarak alınır x .$x_i$$i$$y$$\mathbf{x}$

Biraz kaba kuvvet ama etkili bir çözüm:

Giriş özelliklerinizden biri için bir sabit kullanarak bir girdiyi 'bırakmayı' deneyin. Ardından, olası vakaların her biri için ağı eğitin ve doğruluğunuzun nasıl düştüğünü görün. Önemli girdiler, genel doğruluğa en büyük faydayı sağlayacaktır.

$10$$5$

Sığ bir ağ için bu , değişken önemi tanımlamaya bir örnek verir.

Gerçekten derin bir ağ için, insanlar değişken önem hakkında çok fazla konuşmazlar. Girişler, görüntüdeki pikseller gibi ham düzey özellikleridir.

Bu konuda bulduğum en fazla bu sitede ayrıntılı olarak listelenmiştir . bu . Sadece doğrusal modeller hakkında konuşuyorsanız, yorumlanabilir hale getirmek için ağırlıkları normalleştirmeniz gerekir, ancak bu bile söz konusu bağlantıda daha fazla yanıltıcı olabilir. Bazı insanlar girdilerin (Garson, Gedeon ve Milne's) önemini yorumlamak için ağırlıkların karmaşık işlevlerini yapmaya çalıştı, ancak bu bile yanıltıcı olabilir, bahsettiğim ilk bağlantıyı kaydırdığınızda bu konuda daha fazla bulabilirsiniz. Genel olarak bir tuz tanesi ile sonuçları yorumlamak için tavsiye ediyorum.

@ rhadar'ın cevabına katılıyorum, ancak herhangi bir sabit kullanmak yerine, bu girdi için ortalama değeri kullanmayı deneyin ve ağı yeniden eğitmeyi unutmayın.

PS: üzgünüm daha fazla bağlantı gönderemedi veya burada yorum yapamam çok fazla üne sahip değil.

Sahip olduğunuz göz önüne alındığında:

1. Bir sınıflandırma görevi
2. Eğitimli bir model
3. Normalleştirilmiş özellikler (0 ile 1 arasında)

Kimse denedi:

1. Önyargıları sıfırlamak
2. Her seferinde özelliklerin biri hariç tüm özelliklerin sıfır olduğu sıcak bir vektör olarak geçirin.
3. Çıktıyı inceleyin.

Bu durumda, çıktı, özelliğin "önemini" belirten bir sayı olacağını düşünüyorum, çünkü bu çıktı aynı zamanda ağ içindeki bu 1 sinyalin yolunun çıktısını da temsil edecektir.

Bir labirent içinde sadece bir ampulü aydınlatmak ve çıkışta çıkan ışığı ölçmek gibidir.