Rastgele Bir Orman'ın kalitesini, örneğin AUC kullanarak değerlendirdiğimizde, bu miktarları Torba Dışı Örnekler üzerinden veya bekletme çapraz doğrulama seti üzerinden hesaplamak daha uygun mudur?

OOB Örnekleri üzerinden hesaplamanın daha kötümser bir değerlendirme verdiğini duydum, ama nedenini göremiyorum.

Not: Cevabımın muhtemelen doğru olduğunu hissediyorum, ancak bu soruyu sadece 30-60 dakika okuduktan sonra bu sorunu düşünerek uydurduğum için de şüpheliyim. Bu yüzden şüpheci olsanız ve bunu incelerseniz ve muhtemelen kendime güvenen yazma tarzımla aldanmamalısınız (büyük kelimeler ve süslü Yunan sembolleri kullanmak benim doğru olduğum anlamına gelmez).

özet

Bu sadece bir özet. Tüm detaylar aşağıdaki ve bölümlerinde belirtilmiştir.$\S1$$\S2$

Sınıflandırma örneğini varsayalım (regresyona da uzatılabilir, ancak kısalık atlayın). Esasen, amacımız bir ağaç ormanının hatasını tahmin etmektir. Hem çantadan çıkma hatası hem de k-kat çapraz doğrulaması bize şu olasılıkları anlatmaya çalışır:

• Orman doğru sınıflandırmayı verir (k-kat çapraz doğrulama bu şekilde bakar).

Hangi olasılık ile aynı:

• Orman ağaçlarının çoğunluk oyu doğru oylamadır (OOBE bu şekilde bakar).

Ve ikisi de aynı. Tek fark, k-kat çapraz doğrulamanın ve OOBE'nin farklı boyutlarda öğrenme örnekleri almasıdır. Örneğin:

• 10 kat çapraz doğrulamada, öğrenme seti% 90, test seti% 10'dur.
• Bununla birlikte, OOBE'de her torbada numunesi varsa, tüm numuneler setindeki toplam numune sayısı, bu durumda öğrenme seti pratik olarak yaklaşık% 66 (üçte iki) ve test setinin yaklaşık% 33 ( üçte bir).$n$$n =$

Bu nedenle benim görüşüme göre OOBE'nin ormanın hatalarının kötümser bir tahmini olmasının tek nedeni, genellikle k-kat çapraz doğrulamayla (10 katın yaygın olduğu) genellikle yapılandan daha az sayıda örnek tarafından eğitilmesidir.

Bu nedenle, 2 misli çapraz validasyonun orman hatalarının OOBE'den daha kötümser bir tahmin olacağını ve 3 misli çapraz validasyonun OOBE için yaklaşık olarak aynı derecede kötümser olacağını düşünüyorum.

1. Torba dışı hatasını anlama

1.1 Torbalamaya genel bakış

RF'deki her ağaç, değiştirme ile öğrenme setinden rastgele çizilmiş örnek listesi ile büyütülür . Bu şekilde, sayıda numuneler çiftleri var ve eğero zaman içindeki örneklerin yaklaşık birinin belirli bir ağacı büyütmek için kullanılan örnek listesinde yer almadığı anlaşılabilir (bunlar, Bu işlem her ağaç için bağımsız olarak tekrarlanır, bu nedenle her ağaç farklı bir torba dışı örnek setine sahiptir.$n$$\mathcal{X}$$n$$n = |\mathcal{X}|$$\mathcal{X}$$n$

1.2. Torbalamaya başka bir bakış

Şimdi, başa çıkmayı umuyoruz daha basit olan eşit bir açıklama bulma umuduyla torbalamayı biraz farklı bir şekilde açıklayalım.

Bunu ağacının set içindeki torbalanmış örnekler tarafından eğitildiğini belirterek yaparım . Bununla birlikte, set yinelenen örneklere sahip olmadığından (bu kümelerin nasıl çalıştığı) tam olarak doğru değildir, öte yandan örnek listesinde yineler olabilir.$t$$\mathcal{X}_t \subseteq \mathcal{X}$$\mathcal{X}_t$$n$

Bu nedenle, bir ağacın ve , yani den çizilen bir dizi rasgele seçilmiş analiz ederek büyüdüğünü söyleyebiliriz , öyle ki: $t$$\mathcal{X}_t$ $\mathcal{X}_t$$\mathcal{X}_{t,1}, \mathcal{X}_{t,2}, \ldots, \mathcal{X}_{t,r} \subseteq \mathcal{X}_t$

$$\begin{equation} |\mathcal{X}_t| + \sum_{i=1}^r|\mathcal{X}_{t,i}| = n \end{equation}$$

Bu kümeler koleksiyonundan görmek Önemsiz biz bir listesi tanımlayabilir sadece her sette eleman eklenmesi ile çiftleri içeren -çok örnekleri , bir dizi için . Bu şekilde, herhangi bir , en az bir değeri vardır, böylece .$\mathcal{C} = \{\mathcal{X}_t, \mathcal{X}_{t,1}, \ldots, \mathcal{X}_{t,r}\}$$n$$\mathcal{C}_i \in \mathcal{C}$$a$$1 \le p \le n$$i$$a[p] \in \mathcal{C}_i$

Ayrıca listesi olduğunu görüyoruz dizi numune I bazı özel tanımı için bu görmek kolaydır Bölüm 1'de tanımlandığı gibi torbalama bir genellemedir bu bölümde tanımlanan ki ( ), dizisindeki örnek listesi, Bölüm 1'de tanımlanan örnek listesiyle tamamen aynı olabilir .$n$$a$$\mathcal{X}_t$$\S2$$a$

1.3. Torbalamayı basitleştirme

Bunun yerine ağaç büyüyen dizisi örneklerin tarafından , biz bulunan örneklerinin çoğaltılması serbest listede onları büyüyecek sadece.$t$$a$$\mathcal{X}_t$

Eğer, inanıyoruz yeterince büyük, bir ağaç örnekleri analiz edilerek yetiştirilir başka bir ağaç aynıdır dizisi numunelerden yetiştirilir .$n$$t$$\mathcal{X}_t$$t'$$a$

Benim nedenim, içindeki örnekleri çoğaltma olasılığının aynı kümedeki diğer örnekler arasında eşit olması muhtemeldir. Bu, bir bölünmenin bilgi kazancını (IG) ölçtüğümüzde, entropiler de aynı kalacağı için IG'nin aynı kalacağı anlamına gelir.$\mathcal{X}_t$

Ve entropilerin belirli bir bölünme için sistematik olarak değişmeyeceğine inanmamın nedeni, bir alt kümede (bir karar bölünmesi uygulandıktan sonra) belirli bir etikete sahip bir numunenin ampirik olarak ölçülen olasılığının da değişmemesidir.

Ve benim görüşüme göre olasılıkların değişmemesinin sebebi, içindeki tüm örneklerin aynı şekilde kopyaya kopyalanması ihtimalidir .$\mathcal{X}_t$$d$

1.4 Torbadaki hataları ölçme

Let ağacın dışı torba örnekleri olarak . Yani . Sonra tek bir ağacın hatası : Ve çok ağaçlı ormanın toplam hatası : olabilir ormandaki tüm ağaçların çoğunluğunun oy kullanmasının doğru oylama olduğu ampirik olarak ölçülmüş bir olasılık .$\mathcal{O}_t$$t$$\mathcal{O}_t = \mathcal{X} \setminus \mathcal{X}_t$$t$

$$\begin{equation} \frac{\text{total $\mathbf{x}$ in $\mathcal{O}_t$ correctly classified by $t$}}{|\mathcal{O}_t|} \end{equation}$$ $n_t$ $$\begin{equation} \frac{\sum_{t=1}^{n_t} \text{total $\mathbf{x}$ in $\mathcal{O}_t$ correctly classified by $t$}}{\sum_{t=1}^{n_t}|\mathcal{O}_t|} \end{equation}$$

2. K-kat çapraz doğrulamayı anlama

Öncelikle öğrenme seti bölme içine birçok eşit büyüklükte bölümleri yani . Yani ve herhangi bir , (porsiyonlama bunu gerektirir).$\mathcal{X}$$n_k$$\mathcal{K} = \{\mathcal{K}_1, \mathcal{K}_2, \ldots, \mathcal{K}_{n_k}\}$$\mathcal{K}_1 \cup \mathcal{K}_2 \cup \ldots \cup \mathcal{K}_{n_k} = \mathcal{X}$$\mathcal{K}_i, \mathcal{K}_j \in \mathcal{K}$$\mathcal{K}_i \cap \mathcal{K}_j = \emptyset$

Let kat test ve olmak öğrenme kıvrımların grubu olabilir.$\mathcal{K}_t$$\mathcal{K} \setminus \{\mathcal{K}_t\}$

, öğrenme kümesi olarak kullanılarak oluşturulan bazı ağaçların ormanı olsun .$f$$\mathcal{K} \setminus \{\mathcal{K}_t\}$

Daha sonra, ormanının k-kat çapraz doğrulaması : $f$

$$\begin{equation} \frac{\sum_{t=1}^{n_k} \text{total $\mathbf{x}$ in $\mathcal{K}_t$ correctly classified by $f$}}{\sum_{t=1}^{n_k} |\mathcal{K}_t|} \end{equation}$$

Bu da orman herhangi bir girdi örneğini doğru bir şekilde sınıflandırma olasılığıdır .$f$