Topluluk yöntemleri (rasgele ormanlar gibi), bireysel temel sınıflandırıcıların üzerinde büyüdüğü veri kümelerinde bazı varyasyon unsurları gerektirir (aksi takdirde rasgele ormanlar çok benzer ağaçlardan oluşan bir ormanla sonuçlanır). Karar ağaçları eğitim setindeki gözlemlere karşı oldukça hassas olduğundan, gözlemleri değiştirmek (bootstrap kullanarak), sanırım, gerekli çeşitliliği elde etmek için doğal bir yaklaşımdı. Açık alternatif, kullanılan özellikleri değiştirmektir, örneğin her ağacı orijinal özelliklerin bir alt kümesinde eğitmek. Önyükleme örneklerini kullanmak, çanta dışı (OOB) hata oranını ve değişken önemini tahmin etmemizi de sağlar.
Şekil 2 aslında ormana rastgelelik kazandırmanın başka bir yoludur. Ayrıca, ağaçlar arasındaki korelasyonun (düşük bir mtry değeri kullanarak) azaltılması üzerinde bir etkisi vardır, değiş tokuş (potansiyel olarak) tahmin gücünü kötüleştirir. Çok büyük bir mtry değeri kullanmak, ağaçların birbirine daha fazla benzemesine neden olur (ve en uçta torbalama ile sonuçlanırsınız)
Budamanın olmamasının sebebinin, her şeyden daha gerekli olmadığı gerçeğinden daha fazla olduğuna inanıyorum. Tek bir karar ağacı ile normalde budama yaparsınız çünkü aşırı sığmaya karşı oldukça hassastır. Bununla birlikte, bootstrap örneklerini kullanarak ve birçok ağacı büyüterek rastgele ormanlar, bireysel olarak güçlü, ancak özellikle birbirleriyle ilişkili olmayan ağaçlar yetiştirebilir. Temel olarak, münferit ağaçlar fazladır, ancak hataları birbiriyle ilişkili değilse, ormanın makul derecede doğru olması gerekir.
İyi çalışmasının nedeni Condorcet'in jüri teoremine (ve artırma gibi yöntemlerin ardındaki mantığa) benzer. Temel olarak, rastgele tahminlerden daha az marjinal olarak daha iyi performans göstermesi gereken birçok zayıf öğreniciniz var. Bu doğruysa, zayıf öğrenenler eklemeye devam edebilirsiniz ve sınırda topluluğunuzdan mükemmel tahminler alırsınız. Açıkça bu durum, öğrencilerin performanslarının ilişkili olmasını engelleyen hataların ilişkili olması nedeniyle kısıtlanmıştır.