Yorumlanabilir bir model istiyorum, Doğrusal Regresyon dışında yöntemler var mı?

18

Tahmin için asla Doğrusal Regresyon dışında modeller kullanmayan bazı istatistikçilerle karşılaştım çünkü rastgele orman veya gradyan artırma gibi "ML modellerinin" açıklanmasının zor olmadığını ya da "yorumlanamaz" olduğuna inanıyorlar.

Doğrusal Regresyonda, varsayımlar kümesinin doğrulandığı göz önüne alındığında (hataların normallik, homoskedastisite, çoklu eşzamanlılık yok), t-testleri değişkenlerin önemini test etmenin bir yolunu sağlar, bildiklerime göre mevcut olmayan testler rastgele ormanlar veya gradyan arttırıcı modeller.

Dolayısıyla sorum şu: Bağımlı bir değişkeni bir dizi bağımsız değişkenle modellemek istiyorsam, yorumlanabilirlik uğruna daima Doğrusal Regresyon kullanmalıyım?

— galip
kaynak

6

Hala doğrusal olarak düşündüğünüz şeye bağlıdır. Genelleştirilmiş doğrusal modeller ve genelleştirilmiş katkı modelleri hala tahmin edilen doğrusal bir bileşen temelinde çalışır, ancak çok çeşitli ilişkileri modelleyebilir.

— Frans Rodenburg

2

Ayrıca yorumlanabilir ile ne demek istediğinize bağlıdır. Makine öğrenimi modelleri için 'kara kutuya bakmanın' çeşitli yolları önerilmiştir, ancak hedefleriniz için uygun olabilir veya olmayabilir.

— user20160

5

IMO'nun esas olarak katsayı tahminleri ile ilgili olan yorumlanabilir istatistikler ve çıkarımsal istatistikler ile ne ilgisi olduğunu tam olarak göremiyorum.

— Stephan Kolassa

3

@StephanKolassa "Interretability" işlev formuyla da ilgili olabilir . Örneğin, regresyon modellerinde (lineer regresyon, GLM veya başka bir şey olsun) algoritmik fraksiyonel polinom eğrisi uydurma tarafından üretilen katsayı tahminleri, iyi uyum sağlarken neredeyse kesinlikle sezgiseldir: üretilen şekiller dizisine dikkat çekebilir misiniz? formun modelleri

ve bu nedenlekatsayı tahminlerinizin ima ettiği

ve

arasındaki ilişkiyiyorumluyorum?

y_{i} = β_{0} + β_{1} x_{i}^{- 3 / 5} + β_{2} x_{i}^{1 / 3} + β_{3} x_{i}^{3} + ε_{i}

$y_{i}=\beta_{0} + \beta_{1}x_{i}^{-3/5} + \beta_{2}x_{i}^{1/3} + \beta_{3}x_{i}^{3} + \varepsilon_{i}$

y

$y$

x

$x$

— Alexis

2

@UserX Açıkladığınız hala doğrusal regresyon (yani parametrelerde doğrusal). Kontrast

ile

: birincisi doğrusal regresyon modelidir; ikincisi doğrusal regresyon kullanılarak tahmin edilemez.

y_{i} = β_{0} + β_{1} x_{i} + β_{2} x_{i}^{2} + ε_{i}

$y_{i} = \beta_{0} + \beta_{1}x_{i} + \beta_{2}x_{i}^{2} + \varepsilon_{i}$

y_{i} = β_{0} + β_{1} x_{i} + x_{i}^{β_{2}} + ε_{i}

$y_{i} = \beta_{0} + \beta_{1}x_{i} + x_{i}^{\beta_{2}} +\varepsilon_{i}$

— Alexis

29

İnsanların bunu söylediğini duyduğuna inanmak benim için zor, çünkü söylemek aptalca bir şey olurdu. Bu sadece çekiç kullandığınızı söylemek (delik delmek ve ampulleri değiştirmek için), çünkü kullanımı basittir ve öngörülebilir sonuçlar verir.

İkincisi, doğrusal regresyon her zaman "yorumlanabilir" değildir. Birçok polinom terimine sahip doğrusal regresyon modeliniz veya sadece çok fazla özellik varsa, yorumlamak zor olacaktır. Örneğin, MNIST † öğesinden 784 pikselin her birinin ham değerlerini özellik olarak kullandığınızı varsayalım . Piksel 237'nin ağırlığı -2311.67'ye eşit olduğunu bilmek size model hakkında bir şey söyler mi? Görüntü verileri için, evrişimli sinir ağının aktivasyon haritalarına bakmak çok daha kolay olurdu.

Son olarak, eşit olarak yorumlanabilen modeller vardır, örneğin lojistik regresyon, karar ağaçları, saf Bayes algoritması ve daha fazlası.

† - Yorumda @Ingolifs tarafından fark edildiği gibi ve bu konuda tartışıldığı gibi , MNIST en iyi örnek olmayabilir, çünkü bu çok basit bir veri kümesidir. Gerçekçi görüntü veri kümelerinin çoğu için, lojistik regresyon işe yaramaz ve ağırlıklara bakmak herhangi bir basit cevap vermez. Bununla birlikte, bağlantılı iplikteki ağırlıklara daha yakından bakarsanız, yorumlamaları da basit değildir, örneğin "5" veya "9 "'u tahmin etmek için ağırlıklar belirgin bir desen göstermez (diğer resme kopyalanan aşağıdaki resme bakın) ).

— Tim
kaynak

2

Bence bu cevap , MNIST üzerindeki lojistik regresyonun ne kadar açık bir şekilde açıklanabileceğini gösteren iyi bir iş çıkarıyor.

— Ingolifs

1

@Ingolifs kabul ediyor, ancak bu bir aktivasyon haritası, sinir ağı için de aynısını yapabilirsiniz.

— Tim

Adı ne olursa olsun, lojistik regresyonun, sinir ağlarının aktivasyon haritaları için gerçekten alamayacağınız bir şekilde kararlarını vermek için ne kullandığına dair net bir açıklama verir.

— Ingolifs

1

@Ingolifs MNIST belki de en iyi örnek değildir, çünkü çok basittir, ancak asıl nokta sinir ağı için aynı yöntemi kullanmanızdır.

— Tim

11

Karar Ağacı başka bir seçenek olacaktır. Ya da seyrek bir sistem oluşturmak için Kement Regresyonu.

İstatistiksel Öğrenmeye Giriş kitabından bu şekle bakın . http://www.sr-sv.com/wp-content/uploads/2015/09/STAT01.png

— Haitao Du
kaynak

"ISL" kitabı nedir?

— donlan

1

@ donlan amazon.com/… öneri cevabı revize için teşekkürler.

— Haitao Du

sorun değil! Bu konuyu okuduktan sonra

— bakacaktım

7

Tim ve mkt'nin cevaplarına katılıyorum - ML modelleri mutlaka yorumlanamaz. Sizi ML modellerini yorumlanabilir yapmaya adamış Açıklayıcı mAchine Öğrenme Açıklamaları, DALEX R paketine yönlendireceğim.

— babelproofreader
kaynak

1

DALEX Paketi gerçekten çok ilginç, Python için benzer bir şey olup olmadığını biliyor musunuz?

— Victor

@Victor DALEX'in bir Python sürümünü bilmiyorum, ancak örneğin Rpy2.readthedocs.io/en/version_2.8.x/introduction.html kullanarak R'yi Python'dan aramayı deneyebilirsiniz .

— babelproofreader

6

Hayır, bu gereksiz derecede kısıtlayıcı. Sadece (Frans Rodenburg'un dediği gibi) doğrusal modeller, genelleştirilmiş doğrusal modeller ve genelleştirilmiş katkı modelleri değil, aynı zamanda regresyon için kullanılan makine öğrenme yöntemleri de dahil olmak üzere çok çeşitli yorumlanabilir modeller vardır. Rastgele ormanları, eğimli güçlendirilmiş makineleri, sinir ağlarını ve daha fazlasını içerir. Doğrusal regresyonlardan benzer olan makine öğrenme modellerinden katsayıları almamanız, çalışmalarının anlaşılamayacağı anlamına gelmez. Sadece biraz daha iş gerektiriyor.

Nedenini anlamak için şu soruyu okumanızı tavsiye ederim: Rasgele bir ormandan bilgi edinme . Gösterdiği şey, neredeyse tüm makine öğrenimi modellerini yorumlanabilir hale getirmek için nasıl yaklaşabileceğinizdir.

— mkt - Monica'yı eski durumuna döndür
kaynak