Rastgele Orman aşırı yüklenemiyor mu?

Rastgele ormanların geçemeyeceği bazı literatürler okudum. Bu harika gibi görünse de, gerçek olamayacak kadar iyi görünüyor. RF'lerin gereğinden fazla takılması mümkün mü?

random-forest overfitting

— cüce baykuş
kaynak

Uygunsa, fazla takılabilir. RF açısından, ormanınız yeterli ağaç içermiyorsa ne olacağını düşünün (ormanınızın efekti açıklığa kavuşturmak için tek bir ağaç olduğunu varsayalım). Bundan daha fazla sorun var, ama en bariz olanı bu.

— Marc Claesen

Sadece RF üzerinde başka bir iş parçacığına cevap verdim.

— horaceT

Rastgele orman aşırıya kaçabilir. Bundan eminim. Genellikle daha fazla ağaç kullanırsanız modelin fazla uygun olmayacağı anlamına gelir.

$y = log(x) + \epsilon$

— Donbeo
kaynak

Rastgele Orman esas olarak varyansı azaltır, nasıl fazla olabilir? @ Donbeo belki olabilir, çünkü karar ağacı modelleri ekstrapolasyonda iyi performans göstermez. Diyelim ki, anormal tahmin değişkeni için DT kötü tahmin verebilir.

— Itachi

Aşırı takmanın açık bir göstergesi, kalan varyansın çok fazla azaltılmasıdır . Öyleyse, ilk sözünüze ne ima etmeye çalışıyorsunuz?

— whuber

Önyargı-varyans ticaretinde, önyargıyı azaltmaya çalıştığımızda, varyansı telafi ederiz. Öyle ki, x = 80 y = 100, ancak x = 81 ise y = -100 verir. Bu aşırı uydurma olurdu . Yüksek varyansa sahip olmak için benzer değildir. @whuber, aşırı uyumun sadece yüksek varyans nedeniyle olduğunu varsaydım. Kalan varyansın azaltılmasının aşırı takılma ile nasıl sonuçlandığını anlamıyorum. Okumam için lütfen biraz kağıt paylaşabilir misiniz?

— Itachi

x_{i} = 1, 2, \dots, 10

$x_i=1,2,\ldots,10$

y_{i}

$y_i$

y = β_{0} + β_{1} x + β_{2} x^{2} + \dots + β_{k} x^{k}

$y=\beta_0+\beta_1 x+\beta_2 x^2 + \cdots + \beta_k x^k$

k = 0, 1, \dots, 9

$k=0, 1, \ldots, 9$

@Davide Yorumunuz, örneğimi rasgele ormanlar hakkında değil, varyans azaltma ve aşırı uydurma temel kavramları hakkında bir ifade olarak sunduğumu açıkça belirtmem gerektiğini gösteriyor. Ancak ilk yorumunuz opaktır, çünkü ilgisizdir (ve okuduğum gibi, yanlıştır): kalan varyans, tahmin varyansı değil, bu OLS modelleri dizisinde önemlidir. Gerçekten de - modellerin takılmasıyla ilgili genel soruya geri dönmek - tahminlerin varyansını azaltmak hedef olsaydı, o zaman her zaman sıfırı tahmin eden herhangi bir model en uygun olurdu!

— whuber