CART ağaçları tahmin ediciler arasındaki etkileşimleri yakalar mı?

Bu makale , CART'ta, her adımda tek bir ortak değişken üzerinde ikili bir bölünme gerçekleştirildiğinden, tüm bölünmelerin dik olduğunu ve bu nedenle ortak değişkenler arasındaki etkileşimlerin dikkate alınmadığını iddia etmektedir.

Bununla birlikte, birçok ciddi referans, aksine, bir ağacın hiyerarşik yapısının, öngörücüler arasındaki etkileşimlerin otomatik olarak modellenmesini (örneğin, bu makale ve elbette Hastie) garanti ettiğini iddia etmektedir.

Kim haklı? CART ile yetiştirilen ağaçlar girdi değişkenleri arasındaki etkileşimleri yakalar mı?

CART olabilir etkileşim efektleri yakalamak. ve arasındaki etkileşim etkisi , açıklayıcı değişkeninin yanıt değişkeni üzerindeki etkisi seviyesine bağlı olduğunda ortaya çıkar . Bu, aşağıdaki örnekte gerçekleşir:$X_1$$X_2$$X_1$$Y$$X_2$

Kötü ekonomik koşulların etkisi (buna deyin ) satın alınan bina türüne bağlıdır ( ). Bir ofis binasına yatırım yaparken, düşük ekonomik koşullar yatırımın öngörülen değerini 140.000 dolar azaltır. Ancak bir apartman binasına yatırım yaparken, yatırımın tahmini değeri 20.000 dolar azalır. Kötü ekonomik koşulların yatırımınızın tahmini değeri üzerindeki etkisi, satın alınan mülk türüne bağlıdır. Bu bir etkileşim etkisidir.$X_1$$X_2$

Kısa cevap

CART'lar etkileşimleri yakalamak için yardıma ihtiyaç duyar.

Uzun cevap

Tam açgözlü algoritmayı ele alalım (Chen ve Guestrin, 2016):

Yaprak üzerindeki ortalama şartlı bir beklenti olacaktır, ancak yaprağa giden yoldaki her bölünme diğerinden bağımsızdır. Özellik A kendi başına önemli değilse, ancak Özellik B ile etkileşimde önemliyse, algoritma Özellik A'ya bölünmez. Bu bölünme olmadan, algoritma etkileşimi oluşturmak için gerekli Özellik B'deki bölünmeyi öngöremez.

Ağaçlar en basit senaryolarda etkileşimleri seçebilir. İki özelliğe sahip bir veri kümeniz varsa$x_1, x_2$ ve hedef $y = XOR(x_1, x_2)$, algoritmanın bölünecek bir şeyi yok ama $x_1$ve , bu nedenle, düzgün bir şekilde tahmin edilen dört yaprak alırsınız .$x_2$$XOR$

Birçok özellik, düzenleme ve bölünme sayısı üzerindeki kesin sınır ile, aynı algoritma etkileşimleri atlayabilir.

Geçici Çözümler

Yeni özellikler olarak açık etkileşimler

Zhang'dan bir örnek ("Kazanan Veri Bilimi Yarışmaları", 2015):

Açgözlü olmayan ağaç algoritmaları

Diğer soruda Simone , ileriye dönük algoritmalar ve eğik karar ağaçları öneriyor .

Farklı bir öğrenme yaklaşımı

Bazı öğrenme yöntemleri etkileşimleri daha iyi ele alır.

İşte İstatistiksel Öğrenmenin Unsurlarından bir tablo ("Doğrusal özellik kombinasyonlarını çıkarma yeteneği" satırı):