Sinir ağının kara kutu olarak anlamı nedir?

19

İnsanların sinir ağları hakkında, ne yaptığını veya ne anlama geldiğini anlamadığınız bir kara kutu gibi konuştuğunu sık sık duyuyorum. Aslında bunun ne anlama geldiğini anlayamıyorum! Geri yaymanın nasıl çalıştığını anlarsanız, o zaman bir kara kutu nasıl olur?

Onlar, ağırlıkların nasıl hesaplandığını veya neyi anlamadığımızı mı kastediyorlar?

machine-learning neural-networks

— Jack Twain
kaynak

1

Belki bu yardımcı olabilir: colah.github.io/posts/2014-03-NN-Manifolds-Topology Bu makale sinir ağlarının altta yatan mekanizmasını topolojik bir perspektiften ortaya çıkarmaya çalışıyor, performansını açıklamak için çok parlak bilgiler sunuyor. nöral ağlar.

— Sol

Jack'e nokta eklemeyi seviyorum, makine öğrenimi açısından MLP'ye baktığımızda, sinir ağları artık kara kutu değil. Basit sigmoid fonksiyonu ile bir denklemle giriş ve çıkış ilişkisini yorumlayabileceğiz.

38

Sinir ağı, herhangi bir işleve yaklaşabilirken, yapısını incelemek size yaklaşmakta olan işlevin yapısı hakkında herhangi bir fikir vermeyeceği anlamında bir kara kutudur.

$C$ $R$ $f(C)=R$

$f$

Kara kutu sorunu şudur: Sinir ağı tarafından verilen yaklaşım, f şeklinde herhangi bir fikir vermeyecektir. Ağırlıklar ile yaklaşmakta olan işlev arasında basit bir bağlantı yoktur. Hangi girdi karakteristiğinin ilgisiz olduğu analizi bile açık bir sorundur (bu bağlantıya bakınız ).

Ayrıca, geleneksel istatistik bakış açısından, bir sinir ağı tanımlanamayan bir modeldir: Bir veri kümesi ve ağ topolojisi göz önüne alındığında, farklı ağırlıklara ve aynı sonuca sahip iki sinir ağı olabilir. Bu analizi çok zorlaştırır.

"Kara kutu olmayan modellere" veya "yorumlanabilir modellere" bir örnek olarak, regresyon denklemleri ve karar ağaçlarınız vardır. Birincisi, her bir öğenin öneminin açık olduğu durumlarda f'nin kapalı bir form yaklaşımını verir, ikincisi, bazı göreceli risk \ oran oranlarının grafiksel açıklamasıdır.

— Lucas Gallindo
kaynak

Bu eski bir cevap olduğundan, bazı yeni geliştirilmiş araçlar sağlamak için yararlı olabilir: "Sinir ağı tarafından verilen yaklaşık size f şeklinde herhangi bir fikir vermeyecek" - SHAP şimdi bir sinir ağları için bile harika bir model açıklaması işi. "Girdi karakteristiğinin ilgisiz olduğu analiz bile açık bir sorundur" - permütasyonun önemi ve SHAP gibi sloganlar şimdi bu sorunu oldukça iyi çözmektedir.

— Bobson Dugnutt

3

Google, Inception-v3 yayınladı . Görüntü sınıflandırma algoritması için bir Sinir Ağıdır (NN) (bir kediden bir köpeği anlatır).

Bu makalede, görüntü sınıflandırmasının mevcut durumu hakkında konuşuyorlar

Örneğin, GoogleNet yalnızca 60 milyon parametre kullanan selefi AlexNet'e göre 12 kat azalma sağlayan yalnızca 5 milyon parametre kullanmıştır. VGGNet, AlexNet'ten yaklaşık 3 kat daha fazla parametre kullanmıştır.

ve bu yüzden kara kutular için NN diyoruz. Bir görüntü sınıflandırma modeli - 10 milyon parametre ile - eğitirsem ve size teslim edersem. Bununla ne yapabilirsiniz?

Kesinlikle çalıştırabilir ve görüntüleri sınıflandırabilirsiniz. Harika çalışacak! Ancak tüm ağırlıkları, önyargıları ve ağ yapısını inceleyerek aşağıdaki soruların hiçbirini cevaplayamazsınız.

Bu ağ bir fino köpeğinden bir Husky söyleyebilir mi?
Hangi nesneleri algoritma için sınıflandırmak kolaydır, hangileri zordur?
Bir köpeğin hangi kısmı, doğru bir şekilde sınıflandırılabilmesi için en önemlidir? Kuyruk mu yoksa ayak mı?
Bir köpeğin kafasına bir kedi kafasını photoshop yaparsam ne olur ve neden?

Soruları sadece NN'yi çalıştırarak yanıtlayabilir ve sonucu görebilirsiniz (kara kutu), ancak bunun neden olduğu durumlarda neden davrandığını anlamada hiçbir değişikliğiniz yok.

— bottiger
kaynak

Matt Zeiler'ın dekonvolutitonal hakkındaki makalesine ve videosuna bakarsanız, soruların en azından birinin ('Bir köpeğin hangi kısmı doğru sınıflandırmak için en önemli? Kuyruk mu yoksa ayak mı?' ') Oldukça sorumlu olduğunu düşünüyorum. ağları

— Alex