Rastgele orman çarpıtma doğruluğu ve özellik seçimindeki yüksek korelasyonlu değişkenler olmaz mı?

Anladığım kadarıyla, yüksek korelasyonlu değişkenler, rastgele orman modelinde çoklu-derinlik sorunlarına neden olmayacak (Lütfen hatalıysam düzeltin). Bununla birlikte, diğer taraftan, benzer bilgileri içeren çok fazla değişkenim varsa, model bu sette diğerlerinden çok daha fazla ağırlık alır mı?

Örneğin, aynı tahmine dayalı güce sahip iki bilgi seti (A, B) vardır. Değişken , , ... hepsi A bilgisini içerir ve sadece Y bilgi B'yi içerir. Rastgele örnekleme değişkenleri olduğunda, ağaçların çoğu A bilgisinde yetişir ve sonuç olarak B tamamen yakalanmaz mı?$X_1$$X_2$$X_{1000}$

Bu doğru, ancak bu nedenle Y değişkeninin mevcut olduğu alt örneklemelerin çoğunda mümkün olan en iyi ayrımı üretecektir.

Bunun daha sık olmasını sağlamak için mtry'i yükseltmeyi deneyebilirsiniz.

Yinelemeli korelasyon budama işlemlerini deneyebilirsiniz, bu da sırasıyla birlikte en yüksek korelasyona sahip olan iki değişkenden birini kaldırmak için yapılır. Bu budamayı durdurmanın mantıklı bir eşiği, herhangi bir korelasyon çiftinin (pearson) düşük olması olabilir.$R^2<.7$

Özyinelemeli değişken önemini budama işlemini, yani en düşük değişken öneme sahip, örneğin% 20 kaldırmayı deneyebilirsiniz. Örnek olarak, randomForest paketinden rfcv'yi deneyin.

Fazlalık değişkenlerinizin bazı parçalanma / toplanmalarını deneyebilirsiniz.

Eski iş parçacığı, ancak ortaklığın rastlantısal orman modelleri ile ilgili bir sorun olmadığı konusunda bir battaniye ifadesine katılmıyorum. Veri kümesi, iki (veya daha fazla) ilişkili özelliğe sahip olduğunda, model açısından, bu ilişkili özelliklerin herhangi biri, diğerlerinden daha somut bir tercihi olmadan, öngörücü olarak kullanılabilir.

Ancak bunlardan biri kullanıldığında, diğerlerinin önemi önemli ölçüde azalır, çünkü etkili bir şekilde çıkardıkları kirlilik ilk özellik tarafından kaldırılır.

Sonuç olarak, rapor edilen önemi daha düşük olacaktır. Bu, fazla uyumu azaltmak için özellik seçimini kullanmak istediğimizde bir sorun değildir, çünkü diğer özellikler tarafından çoğunlukla çoğaltılmış olan özellikleri kaldırmak mantıklıdır, ancak verileri yorumlarken , değişkenlerden birinin yanlış olduğu sonucuna varılabilir. Aynı gruptaki diğerleri önemsizken güçlü bir tahminci iken, cevap değişkeni ile olan ilişkileri açısından oldukça yakındırlar.

Bu fenomenin etkisi, her düğüm oluşumunda rastgele özelliklerin seçilmesi sayesinde bir miktar azalır, ancak genel olarak etki tamamen ortadan kaldırılmaz.

Yukarıdakiler çoğunlukla buradan kaynaklanmaktadır: İyi özellikler seçmek