Karar Ağaçları ve Regresyon - Öngörülen değerler eğitim verisi aralığı dışında olabilir mi?

Karar ağaçları söz konusu olduğunda, öngörülen değer eğitim verisi aralığının dışında kalabilir mi?

Örneğin, hedef değişkenin egzersiz veri kümesi aralığı 0-100 ise, modelimi oluşturup başka bir şeye uyguladığımda değerlerim -5 olabilir mi? veya 150?

Karar ağacı gerilemesi anlayışımın hala kural tabanlı olduğu - sol / sağ ilerleme olduğu ve eğitim setindeki ağacın dibinde hiçbir zaman belirli bir aralığın dışında bir değer göremeyeceği göz önüne alındığında, asla tahmin etmek?

Tamamen haklısınız: Klasik karar ağaçları , tarihsel olarak gözlemlenen aralığın dışındaki değerleri tahmin edemez . Ekstrapolasyon yapmayacaklar.

Aynı durum rastgele ormanlar için de geçerlidir.

Teorik olarak, bazen ağacın yapraklarının tek bir değer vermediği , ancak basit bir regresyon içerdiği , örneğin, bağımlı bir değişkeni belirli bir sayısal bağımsız değişken üzerinde gerileme gibi , biraz daha ayrıntılı mimarilerin (botanik?) Tartışmaları görürsünüz . Ağaçta gezinmek size hangi sayısal IV'ün hangi durumda DV'yi gerileyeceği konusunda bir kural kümesi verecektir. Böyle bir durumda, bu "en alt seviye" regresyonu henüz gözlemlenmeyen değerler vermek üzere tahmin edilebilir.

Bununla birlikte, standart makine öğrenme kütüphanelerinin bu biraz daha karmaşık bir yapı sunduğunu düşünmüyorum (son zamanlarda bunu CRAN Görev Görünümleri aracılığıyla aradım), ancak bu konuda gerçekten karmaşık bir şey olmamalı. Yapraklarda regresyon içeren kendi ağacınızı uygulayabilirsiniz.

Ayrıca caret paketindeki kübistlere de göz atın . Terminal düğümlerinde doğrusal regresyonlar oluşturur ve egzersiz verilerindeki yanıt değerleri aralığının üstünde ve altında tahminleri tahmin edebilir. Terminal düğümlerin ayrıca bir hiperparametre olarak sağlanan en yakın komşuları temel alarak ortalaması alınabilir, bu nedenle son derece hassas çapraz doğrulanmış tahminler sağlama potansiyeline sahiptir.