Topluluk yöntemleri tüm bileşenlerini nasıl geride bırakıyor?

Topluluk öğrenimi konusunda biraz kafam karıştı. Özetle, k modellerini çalıştırır ve bu k modellerinin ortalamasını alır. K modellerinin ortalamasının kendi başına herhangi bir modelden daha iyi olacağı nasıl garanti edilebilir? Önyargının "yayıldığını" veya "ortalandığını" anlıyorum. Ancak, toplulukta iki model varsa (yani k = 2) ve biri diğerinden daha kötü ise - topluluk daha iyi modelden daha kötü olmaz mı?

Garantili değil. Dediğiniz gibi, topluluk bireysel modellerden daha kötü olabilir. Örneğin, gerçek modelin ve kötü modelin ortalamasının alınması oldukça kötü bir model verecektir.

modellerinin ortalaması ancak modeller birbirlerinden bağımsız olarak (bir şekilde) bağımsız ise bir gelişme olacaktır. Örneğin, torbalamada, her model verilerin rastgele bir alt kümesinden oluşturulur, bu nedenle bir miktar bağımsızlık yerleşiktir. Veya modeller farklı özellik kombinasyonları kullanılarak oluşturulabilir ve ardından ortalama ile birleştirilebilir.$k$

Ayrıca, model ortalaması yalnızca bireysel modeller yüksek varyansa sahip olduğunda iyi çalışır. Bu yüzden çok büyük ağaçlar kullanılarak rastgele bir orman inşa edilir. Öte yandan, bir grup doğrusal regresyon modelinin ortalaması hala size doğrusal bir model verir;

Arttırma ve harmanlama gibi diğer topluluk yöntemleri, bireysel modellerden çıktıları, eğitim verileriyle birlikte daha büyük bir modele girdi olarak alarak çalışır. Bu durumda, aslında daha karmaşık oldukları ve eğitim verilerini hala kullandıkları için, genellikle bireysel modellerden daha iyi çalışması şaşırtıcı değildir.

Örneğinizde, iki modelden oluşan topluluğunuz tek bir modelden daha kötü olabilir. Ancak örneğiniz yapay, genellikle topluluğumuzda ikiden fazla inşa ediyoruz.

Bir topluluk modelinin bireysel bir modelden daha iyi performans gösterdiğine dair kesin bir garanti yoktur, ancak bunların çoğunu inşa ederseniz ve bireysel sınıflandırıcı zayıftır . Genel performansınız bireysel bir modelden daha iyi olmalıdır.

Makine öğreniminde, birden fazla modelin eğitimi genellikle tek bir modelden daha iyi performans gösterir. Çünkü ayarlanacak daha fazla parametreniz var.

Sadece bu bağlamda nadiren tartışılan bir şey fırlatmak istiyorum ve size düşünce için yiyecek vermeli.

Topluluk insanlarla da çalışır!

İnsan tahminlerinin ortalamasının, herhangi bir bireysel tahminden daha iyi tahminler verdiği gözlenmiştir. Bu, kalabalığın bilgeliği olarak bilinir .

Şimdi, bunun bazı insanların farklı bilgilere sahip olması nedeniyle tartışabileceğinizi söyleyebiliriz, böylece etkili bir şekilde ortalama bilgi elde edersiniz. Ama hayır, bu bir kavanozdaki fasulye sayısını tahmin etmek gibi görevler için bile geçerlidir.

Bunun üzerine yazılmış çok sayıda kitap ve deney var ve bu fenomen araştırmacıları hala şaşırtıyor.

Bu, @Flounderer'in belirttiği gibi, gerçek kazanımların, her bir gözlemin genellikle karar sınırını etkilediği karar ağaçları gibi dengesiz modellerden geliyor. SVM'ler gibi daha kararlı olanlar çok fazla kazanmaz çünkü yeniden örnekleme genellikle destek vektörlerini çok fazla etkilemez.

Aslında tek modellerin topluluklardan daha iyi olması oldukça mümkündür.

Verilerinizde bazı modellerinizin fazla tahmin ettiği ve bazılarının hafife alındığı bir nokta olmasa bile (bu durumda ortalama hatanın reddedileceğini umabilirsiniz), en popüler kayıp işlevlerinden bazıları (ortalama kare kaybı gibi) cezalandırıyor bazı büyük sapmalar, orta derecede sapmalardan daha fazladır. Ortaladığınız modeller biraz farklıysa, ortalama olağanüstü sapmaları öldürdüğü için varyansın "daha az" olmasını umabilirsiniz. Muhtemelen ile açıklanabilir olduğunu o .

Evet, durum böyle olabilir, ancak toplanma fikri, farklı topluluklardan gelen verilerin farklı özelliklerini yakalarken aşırı takılmayı önlemek için daha basit modeller yetiştirmektir. Elbette, aynı eğitim verileriyle eğitilirken, tek bir modelden daha iyi performans gösterecek bir topluluk modelinin garantisi yoktur. Performans, topluluk modellerini birleştirerek ve artırarak elde edilebilir (örn. AdaBoost). Artırarak, her bir veri noktasına ağırlık atayarak ve hataya göre güncelleyerek bir sonraki ensemle modelini eğitirsiniz. Bu yüzden bunu bir koordinat iniş algoritması olarak düşünün, sabit bir ortalama model karmaşıklığını korurken eğitim hatasının her bir yinelemeyle aşağı inmesine izin verir. Genel olarak bu performans üzerinde etkili olur. Çok var