Sinir ağlarının karar ağaçları gibi açıklanabilirliği var mı?

Karar Ağaçlarında, ağaç yapısının çıktısını anlayabiliriz ve Karar Ağacının nasıl karar verdiğini görselleştirebiliriz. Dolayısıyla karar ağaçlarının açıklanabilirliği vardır (çıktıları kolayca açıklanabilir.)

Sinir Ağlarında Karar Ağaçları gibi açıklanabilirlik var mı?

Önceki cevaba ve iki nedenden ötürü öneriye katılmıyorum:

1) Karar ağaçları, birlikte daha karmaşık kararlar alabilen basit mantıksal kararlara dayanır. ANCAK girdiniz 1000 boyuta sahipse ve öğrenilen özellikler oldukça doğrusal değilse, sadece düğümlere bakarak okuyamayacağınız / anlayamayacağınız gerçekten büyük ve ağır bir karar ağacı elde edersiniz.

2) Sinir ağları, öğrendikleri işlevin ancak çok küçüklerse anlaşılabilir olması bakımından benzerdir. Büyüdüğünüzde, onları anlamak için başka numaralara ihtiyacınız var. @SmallChess'in önerdiği gibi, evrişimli sinir ağlarının özel durumunu, "bu resimdeki bir arabayı algılaması gibi ağırlıkları nasıl okuyabileceğinizi" açıklayan Konvolüsyon Ağlarını Görselleştirme ve Anlama adlı bu makaleyi okuyabilirsiniz. "değil, bileşenlerin geri kalanını değil.

Bu görselleştirmeler birçok araştırmacının sinir mimarilerindeki zayıflıkları anlamasına ve eğitim algoritmalarının geliştirilmesine yardımcı oldu.

Hayır. Sinir ağını anlamak genellikle zordur. Tahmin karmaşıklığını model karmaşıklığı için alıyorsunuz. NN ağırlıklarını grafik olarak görselleştirmek mümkün olsa da, size tam olarak nasıl bir karar verildiğini söylemezler. Derin bir ağı anlamaya çalışırken iyi şanslar.

NN'yi daha basit bir modelle yerel olarak modelleyebilen popüler bir Python paketi (ve bir kağıdı var) var. Bir göz atmak isteyebilirsiniz.

https://github.com/marcotcr/lime

https://arxiv.org/abs/1704.02685 , NN'ye özgü yerel bir açıklama aracı sağlar: derinlemesine kaldırma. Açıklamak istediğiniz örnek ile bir referans örnek arasındaki etkinleştirme farkını yayarak çalışır. Referans almak biraz zordur, ancak araç genel olarak yorumlanabilir ve ölçeklenebilir görünmektedir. Tablo şeklinde verilerde kullanıyoruz.