Karar ağacı alanı ile rastgele orman arasındaki MCMC örneklemesi

Bir rasgele orman topluluğudur karar ağaçları rastgele (ve bazen eğitim verileri torbalama) ile her ağaç oluşturmak için yalnızca belirli özelliklerini seçerek kurdu. Görünüşe göre iyi öğreniyor ve genelleştiriyorlar. Karar ağacı alanından MCMC örneklemesi yapan veya bunları rastgele ormanlarla karşılaştıran var mı? MCMC'yi çalıştırmanın ve tüm örneklenmiş ağaçları kaydetmenin hesaplama açısından daha pahalı olabileceğini biliyorum, ancak hesaplama maliyetleriyle değil, bu modelin teorik özellikleriyle ilgileniyorum. Demek istediğim böyle bir şey:

1. Rastgele bir karar ağacı oluşturun (Muhtemelen korkunç performans gösterecektir)
2. Ağacın olasılığını gibi bir şeyle hesaplayın veya belki de bir terimi ekleyin .$P(Tree|Data) \propto P(Data|Tree)$$P_{prior}(Tree)$
3. Ağacı değiştirmek için rastgele bir adım seçin ve olasılığına göre seçin .$P(Tree|Data)$
4. Her N adımda, geçerli ağacın bir kopyasını kaydedin
5. Bazı büyük N * M zamanları için 3'e geri dönün
6. Tahmin yapmak için M kaydedilmiş ağaçların koleksiyonunu kullanın

Bu Rastgele Ormanlara benzer bir performans verir mi? Burada, rastgele ormanlardan farklı olarak, herhangi bir adımda iyi verileri veya özellikleri atmadığımızı unutmayın.

Bu yaklaşık 13 yıl önce Chapman, George ve McCulloch (1998, JASA) tarafından yapıldı . Elbette bu fikirden yola çıkarak Bayes regresyon ağaçlarıyla ilgili büyük bir literatür vardı.

Maalesef, Chipman ve ark. Bayesian CART yaklaşımlarında sadece en olası ağacı çıkarırlar. Asla ağaçlar üzerinde ortalama yapmaya ve performansı Rastgele Orman ve Ekstra Ağaçlarla karşılaştırmaya çalışmadılar.

Chipman'ın BART belgesini yeni okudum. Doğru anlıyorsam, bir m ağacı koleksiyonu üzerinde K örneklerinin Bayes ortalama ortalamasıdır. Birçok yönden ilginç ve gerçekten iyi bir performans sergiliyor gibi görünüyor. M = '1' olduğunda, posteriordan gelen 1 ağacın K örneklerinin basit bir Bayes ortalamasıdır. Ancak, bu husus hakkında fazla bir test yapılmamıştır. Ve yine de Rastgele Orman veya Ekstra Ağaçların gerçek Bayes modeliyle nasıl karşılaştırıldığını bilmek isterim.