Hangi varsa, makine öğrenme algoritmaları açıklanabilirlik ve tahmin arasında iyi bir denge olarak kabul edilir?

Gradyan yükseltme makineleri veya sinir ağları gibi algoritmaları tanımlayan makine öğrenimi metinleri genellikle bu modellerin tahminlerde iyi olduğunu söyler, ancak bu açıklanabilirlik veya yorumlanabilirlik kaybı pahasına gelir. Tersine, tek karar ağaçları ve klasik regresyon modelleri açıklamada iyi olarak etiketlenir, ancak rastgele ormanlar veya SVM'ler gibi daha karmaşık modellere kıyasla (nispeten) zayıf bir tahmin doğruluğu verir. İkisi arasında iyi bir dengeyi temsil ettiği kabul edilen makine öğrenme modelleri var mı? Algoritmaların açıklanabilir olmasını sağlayan özelliklerini sıralayan bir literatür var mı? (Bu soru daha önce çapraz doğrulanmış olarak sorulmuştur)

Algoritmaların açıklanabilir olmasını sağlayan özelliklerini sıralayan bir literatür var mı?

Farkında olduğum tek literatür Ribero, Singh ve Guestrin'in son makalesi . Önce tek bir tahminin açıklanabilirliğini tanımlarlar:

“Bir tahminin açıklanması” ile, örneğin bileşenleri (örn. Metindeki kelimeler, bir görüntüdeki yamalar) ve modelin tahmini arasındaki ilişkinin niteliksel olarak anlaşılmasını sağlayan metinsel veya görsel eserler sunmayı kastediyoruz.

Yazarlar, bunun daha somut örnekler için ne anlama geldiğini daha ayrıntılı olarak ele alıyor ve daha sonra bu kavramı bir modelin açıklanabilirliğini tanımlamak için kullanıyor. Amaçları, mevcut yöntemlerin açıklanabilirliğini karşılaştırmak yerine yapay olarak başka türlü şeffaf olmayan modellere açıklanabilirlik eklemeyi denemektir. Makale, "açıklanabilirlik" kavramı etrafında daha kesin bir terminoloji getirmeye çalıştığından yine de yararlı olabilir.

İkisi arasında iyi bir dengeyi temsil ettiği kabul edilen makine öğrenme modelleri var mı?

@Winter ile (sadece lojistik değil) regresyon için elastik ağın, tahmin doğruluğu ve açıklanabilirlik arasında iyi bir uzlaşma örneği olarak görülebileceğini kabul ediyorum.

Farklı türde bir uygulama alanı (zaman serisi) için başka bir yöntem sınıfı da iyi bir uzlaşma sağlar: Bayes Yapısal Zaman Serisi Modellemesi. Klasik yapısal zaman serisi modellemesinden açıklanabilirliği ve Bayesci yaklaşımdan biraz esneklik miras alır. Lojistik regresyona benzer şekilde, modelleme için kullanılan regresyon denklemleri ile açıklanabilirlik sağlanır. Pazarlama ve diğer referanslarda güzel bir uygulama için bu makaleye bakınız .

Az önce bahsedilen Bayes bağlamıyla ilgili olarak, olasılıklı grafik modellerine de bakmak isteyebilirsiniz. Açıklanabilirlikleri regresyon denklemlerine değil, grafiksel modelleme yöntemlerine dayanır; harika bir genel bakış için Koller ve Friedman'ın "Olasılıksal Grafik Modelleri: İlkeler ve Teknikler" bölümüne bakınız.

Yukarıdaki Bayesian yöntemlerini "genel kabul gören iyi takas" olarak anlatabileceğimizden emin değilim. Özellikle elastik ağ örneğine kıyasla, bunun için yeterince iyi bilinmeyebilirler.

İkisi arasında iyi bir dengeyi temsil ettiği kabul edilen makine öğrenme modelleri var mı?

Tahminde iyi olarak, aşırı sığdırmaya karşı oldukça sağlam olmakla birlikte, verilerde bulunan doğrusal olmayanlara uyabileceğinizi varsayıyorum . Yorumlanabilirlik ile bu doğrusal olmama durumlarını tahmin edebilme arasındaki dengesizlik, sorulan verilere ve soruya bağlıdır. Veri biliminde gerçekten ücretsiz bir öğle yemeği yoktur ve hiçbir algoritma herhangi bir veri kümesi için en iyi olarak kabul edilemez (ve aynı şey yorumlanabilirlik için de geçerlidir).

Genel kural, ne kadar çok algoritma olursa o kadar iyi olur ki sizin özel ihtiyaçlarınıza daha kolay adapte olabilirsiniz.

İş ortamında sıklıkla kullandığım sınıflandırma görevi için favorimi seçmek zorunda kalsaydım , lojistik regresyon için elastik ağ seçerdim . Verileri üreten süreçle ilgili güçlü varsayımlara rağmen, temel lojistik regresyondan yorumlanabilirliğini koruyan düzenleyici terim sayesinde verilere kolayca adapte olabilmektedir.

Algoritmaların açıklanabilir olmasını sağlayan özelliklerini sıralayan bir literatür var mı?

Sık kullanılan makine öğrenme algoritmalarını ve farklı senaryolarda artılarını ve eksilerini açıklayan iyi yazılmış bir kitap seçmenizi öneririm. Bu kitabın bir örneği T. Hastie, R. Tibshirani ve J. Friedman'ın İstatistiksel Öğrenmenin Unsurları olabilir.

Muhtemelen toplulukların mantıksız etkinliği ve açıklamaya karşı tahminden ödün vermeme ile ilgili cevabımı görüyorum . Minimum İleti Uzunluğu (MML, Wallace 2005), veri sıkıştırma açısından açıklamanın resmi bir tanımını verir ve açıklamaların genellikle fazla takılmadan uyduğu ve iyi açıklamaların iyi, genelleştirilebilir tahminler oluşturduğu beklentisini motive eder. Ama aynı zamanda toplulukların neden daha iyi tahmin edeceği resmi teoriye de dokunuyor - optimal tahmin üzerine (Solomonoff 1964) geri dönüyor ve tam Bayesci yaklaşımlara içsel bir sonuç veriyor: posterior dağılımı entegre et, sadece ortalamayı seçmeyin, medyan, veya mod.