Regresyon ağaçları sürekli tahmin edebilir mi?

Diyelim ki gibi düzgün bir fonksiyonum var . Bir eğitim setim var D \ subsetneq \ {(((x, y), f (x, y)) | (x, y) \ in \ mathbb {R} ^ 2 \} ve elbette, f'yi bilmiyorum, ancak f'yi istediğim yerde değerlendirebiliyorum .$f(x, y) = x^2+y^2$$D \subsetneq \{((x, y), f(x,y)) | (x,y) \in \mathbb{R}^2\}$$f$$f$

Regresyon ağaçları fonksiyonun düzgün bir modelini bulabilir mi (bu nedenle girişteki küçük bir değişiklik çıktıda sadece küçük bir değişiklik yapmalıdır)?

Ders 10: Regresyon Ağaçları'nda okuduğum kadarıyla bana göre, regresyon ağaçlarının temelde işlev değerlerini kutulara koyuyor:

Klasik regresyon ağaçları için, her hücredeki model sadece Y'nin sabit bir tahminidir.

"Klasik" yazdıklarında sanırım hücrelerin daha ilginç bir şey yaptığı bir varyant var mı?

Regresyon ağaçları, özellikle degrade yükseltme (esas olarak birçok ağaç), sürekli tahminlerde çok iyi performans gösterir, genellikle doğrusal regresyon gibi gerçekten sürekli olan modellerden daha iyi performans gösterir. Bu, özellikle değişken etkileşimler olduğunda ve yeterince büyük bir veri kümeniz (10.000'den fazla kayıt) olduğunda doğrudur, böylece aşırı sığdırma daha az olasıdır. Birincil hedefiniz basitçe öngörücü güçse, modelin% ​​100 sürekli mi yoksa sahte sürekli mi olduğu önemsiz olmalıdır. Regresyon ağaçlarınızı daha sürekli hale getirmek örnek tahmini gücünüzü arttırırsa, ağaç derinliğini artırabilir veya daha fazla ağaç ekleyebilirsiniz.

Klasik regresyon ağaçlarında yaprakta bir değer vardır, ancak yaprakta doğrusal bir regresyon modeline sahip olabilirsiniz, bu bileti kontrol edin .

Sürekli çıktı değerine sahip olmak için ağaçlardan oluşan topluluğu da (Rastgele Orman veya Gradyan Yükseltme Makineleri) kullanabilirsiniz.

Soruyu genel gradyan artırma tekniklerini içerecek şekilde hafifletirseniz (özel regresyon ağaçlarının özel durumunun aksine), cevap evettir. Degrade yükseltme, değişken seçim için alternatif olarak başarıyla kullanılmıştır. Buna iyi bir örnek mboost paketidir . Anahtar, artırmak için kullanılan temel öğrenenler sınıfının başlangıç ​​için sürekli modellerden oluşmasıdır. Bu eğiticide temel öğrenenlerin tipik sınıfları aşağıdaki gibidir:

Yaygın olarak kullanılan temel öğrenen modelleri üç farklı kategoride sınıflandırılabilir: doğrusal modeller, pürüzsüz modeller ve karar ağaçları. Markov rastgele alanları (Dietterich ve diğerleri, 2004) veya dalgacıklar (Viola ve Jones, 2001) gibi bir dizi başka model de vardır, ancak bunların uygulamaları nispeten spesifik pratik görevler için ortaya çıkar.

Özellikle dalgacıklardan bahsettiğine dikkat edin. Ağaçlar ve dalgacıklar daha önce başarıyla ağaç tabanlı dalgacıklara birleştirildi.