İki karar ağacının toplamı tek bir karar ağacına eşit mi?

İki regresyon ağaçları (ağaç A ve ağaç B) bu harita giriş olduğunu varsayalım çıkışına . Let ağaç A ve için ağaç B için her bir ağaç ayırma işlevleri gibi hiperdüzlemleri ile, ikili böler kullanır. $x \in \mathbb{R}^d$ $\hat{y} \in \mathbb{R}$ $\hat{y} = f_A(x)$ $f_B(x)$

Şimdi, ağaç çıktılarının ağırlıklı bir toplamını aldığımızı varsayalım:

f_{C} (x) = w_{bir} f_{bir} (x) + w_{B} f_{B} (x)

$f_C(x) = w_A \ f_A(x) + w_B \ f_B(x)$

işlevi bir (daha derin) regresyon ağacına eşdeğer mi? $f_C$ Cevap "bazen" ise, o zaman hangi koşullar altında?

İdeal olarak, eğik hiperplantalara izin vermek istiyorum (yani özelliklerin doğrusal kombinasyonlarında gerçekleştirilen bölünmeler). Ancak, mevcut tek cevap bu tek özellikli bölünmeler varsayabilir.

Misal

2d giriş alanında tanımlanan iki regresyon ağacı:

Şekil, her ağacın girdi alanını ve her bölge için çıktıyı (gri tonlamalı kodlanmış) nasıl bölümlediğini gösterir. Renkli sayılar girdi alanının bölgelerini gösterir: 3,4,5,6 yaprak düğümlerine karşılık gelir. 1, 3 & 4 vb. Birliğidir.

Şimdi varsayalım ki A ve B ağaçlarının çıktısını ortaladık:

Ortalama çıktı solda, A ve B ağaçlarının karar sınırları üst üste gelecek şekilde çizilir. Bu durumda, çıktısı ortalamaya eşdeğer olan (sağda çizilen) tek, daha derin bir ağaç oluşturmak mümkündür. Her düğüm, A ve B ağaçları tarafından tanımlanan bölgelerden oluşturulabilen giriş alanı bölgesine karşılık gelir (her düğümde renkli numaralarla gösterilir; birden çok sayı iki bölgenin kesişimini gösterir). Bu ağacın benzersiz olmadığını unutmayın - A ağacı yerine B ağacından inşa etmeye başlayabilirdik.

Bu örnek, cevabın "evet" olduğu durumlar olduğunu göstermektedir. Bunun her zaman doğru olup olmadığını bilmek istiyorum .

regression machine-learning cart

— user20160
kaynak

Hmm .. Durum buysa neden rastgele bir orman yetiştirelim ki? (Çünkü açıkça 500 ağacın doğrusal kombinasyonu 500 ağacın 499 ağırlıklı çift toplamı olarak yeniden ifade edilebilir) Güzel soru, +1.

— usεr11852 diyor Reinstate Monic

ilginç soru! Karar ağaçları ve karar ağacı topluluklarının (güçlendirici, ağaçların doğrusal birleşimi) hipotez alanının aynı olduğunu varsayacağım. Bir cevap bekliyorum ..

— Laksan Nathan

@ usεr11852 Belki orman yerine çok büyük bir ağaç kullanmak çok daha yavaş olduğu için? Sinir ağlarında olduğu gibi, bir gizli katman ağları zaten tüm sürekli işlevlere yaklaşabilir, ancak katman eklemek ağı daha hızlı hale getirir. Burada böyle olduğunu söylememek ama olabilir.

— Harto Saarinen

@HartoSaarinen: Bu, bunu düşünmenin ilginç bir yolu ama sanırım kolay tutmuyor. Çok derin ağaçların gereğinden fazla uyum sağlayabileceği ve genelleşebileceği kabul edilmektedir (tahminleri de oldukça kararsızdır). Buna ek olarak (hız hususlarıyla ilgili olarak) daha derin ağaçlar katlanarak daha fazla bölünme ve dolayısıyla daha fazla eğitim süresi gerektirir. (Derinlik 10 bir ağaç en fazla 1023 bölünme ancak 20, 1048575 derinlik bir ağaç vardır. Çok daha fazla iş!)

— usεr11852 diyor Reinstate Monic

@ usεr11852 Ben tamamen yanlış olabilir ve cevap tamamen farklı bir şey olabilir katılıyorum. Şu anda alanı bu kadar ilginç kılan şey budur, keşfedilecek çok şey var!

— Harto Saarinen

Evet, bir regresyon ağaçlarının ağırlıklı toplamı tek (daha derin) bir regresyon ağacına eşdeğerdir.

Evrensel işlev tahmincisi

Bir regresyon ağacı evrensel bir fonksiyon tahmin edicisidir (bakınız örn. Cstheory ). Evrensel işlev yaklaşımı üzerine yapılan çoğu araştırma, tek bir gizli katmanla yapay sinir ağları üzerinde yapılır ( bu harika blogu okuyun ). Bununla birlikte, çoğu makine öğrenme algoritması evrensel işlev yaklaşımlarıdır.

Evrensel bir işlev tahmincisi olmak, herhangi bir keyfi işlevin yaklaşık olarak temsil edilebileceği anlamına gelir. Böylece, fonksiyon ne kadar karmaşık olursa olsun, evrensel bir fonksiyon yaklaşımı onu istenen herhangi bir hassasiyetle temsil edebilir. Bir regresyon ağacı durumunda, sonsuz derin bir ağaç hayal edebilirsiniz. Bu sonsuz derin ağaç, uzayda herhangi bir noktaya herhangi bir değer atayabilir.

Bir regresyon ağacının ağırlıklı toplamı başka bir keyfi işlev olduğundan, bu işlevi temsil eden başka bir regresyon ağacı vardır.

Böyle bir ağaç oluşturmak için bir algoritma

Böyle bir ağacın var olduğunu bilmek harika. Ancak bunları oluşturmak için bir tarif de istiyoruz. Böyle ve algoritma verilen iki ve ağacını birleştirir ve yeni bir ağaç oluşturur. Çözeltisi kopyalamaya karşı yapıştırma olan her yaprak düğümünde . Yeni ağacın yaprak düğümlerinin çıktı değeri, daha sonra yaprak düğümünün (ağacın ortasında bir yerde) ve yaprak düğümünün ağırlıklı toplamıdır . $T_1$ $T_2$ $T_2$ $T1$ $T1$ $T2$

Aşağıdaki örnek, 0,5 ağırlık ile eklenen iki basit ağacı göstermektedir. Bir düğüme asla ulaşılamayacağına dikkat edin, çünkü 3'ten küçük ve 5'ten büyük bir sayı yoktur. Bu, bu ağaçların iyileştirilebileceğini, ancak geçersiz kılmadığını gösterir.

Neden daha karmaşık algoritmalar kullanılır?

Yorumlarda @ usεr11852 tarafından ilginç bir ek soru gündeme geldi: eğer her fonksiyon basit bir regresyon ağacı ile modellenebiliyorsa neden arttırıcı algoritmalar (veya aslında herhangi bir karmaşık makine öğrenme algoritması) kullanalım?

Regresyon ağaçları gerçekten herhangi bir işlevi temsil edebilir, ancak bu bir makine öğrenme algoritması için sadece bir kriterdir. Diğer önemli özelliklerden biri de genellemelerinin ne kadar iyi olduğudur. Derin regresyon ağaçları aşırı uyuma eğilimlidir, yani iyi genellemezler. Rastgele bir orman, bunu önlemek için çok sayıda derin ağacın ortalamasını alır.

— Pieter
kaynak