Topluluk Öğrenimi: Model İstifleme Neden Etkili?

Son zamanlarda, bir grup öğrenme biçimi olarak model istifleme ile ilgilenmeye başladım. Özellikle, regresyon sorunları için bazı oyuncak veri setleri ile biraz deney yaptım. Temel olarak bireysel "seviye 0" regresörleri uyguladım, her regresörün çıkış tahminlerini "meta-regresörün" girişi olarak almak için yeni bir özellik olarak sakladım ve bu meta-regresörü bu yeni özelliklere (seviyeden tahminler) sığdırdım 0 regresör). Meta-regresörü bir doğrulama setine karşı test ederken, bireysel regresörler üzerinde mütevazı gelişmeler görmekten son derece şaşırdım.

İşte sorum: model istifleme neden etkili? Sezgisel olarak, istifleme yapan modelin, performans 0 modellerinin her birine kıyasla yoksul bir özellik temsiline sahip olduğu için kötü performans göstermesini beklerdim. Yani, 20 özelliğe sahip bir veri kümesinde 3 düzey 0 regresörü eğitir ve meta-regresörüme girdi olarak bu düzey 0 regresör tahminlerini kullanırsam, bu meta-regresörümün sadece 3 özelliği vardır. Görünüşe göre, 0 seviyesi regresörlerinin eğitim için sahip olduğu 20 orijinal özellikte, meta-regresörün eğitim için kullandığı 3 çıkış özelliğinden daha fazla bilgi var.

Toplanmayı temel olarak merkezi limit teoreminin bir sömürüsü olarak düşünün.

Merkezi limit teoremi, örneklem büyüklüğü arttıkça, numunenin ortalamasının popülasyon ortalamasının gerçek konumunun (baktığınız istatistik olduğunu varsayarak) giderek daha doğru bir tahmini olacağını ve varyansın sıkılaşacağını gevşek bir şekilde söylüyor. .

Bir modeliniz varsa ve bağımlı değişkeniniz için bir tahmin üretiyorsa, bu tahmin muhtemelen bir dereceye kadar yüksek veya düşük olacaktır. Ancak, herhangi bir gözlem için farklı tahminler üreten 3 veya 5 veya 10 farklı modeliniz varsa, bazı modellerden gelen yüksek tahminler, diğer bazı modellerden gelen düşük hataları dengeleme eğiliminde olacaktır ve net etki, ortalamanın yakınsaması olacaktır. (ya da başka bir kombinasyon) "gerçeğe" yönelik tahminlerin. Her gözlemde değil, genel olarak eğilim budur. Ve böylece, genellikle, bir topluluk en iyi tek modelden daha iyi performans gösterecektir.