Zayıf öğrencilerin “gücü” hakkında

Topluluk öğreniminde zayıf öğrenicilerle ilgili yakından ilgili birkaç sorum var (örneğin artırma).

1. Bu aptalca gelebilir, ancak güçlü öğrencilerin aksine zayıf kullanmanın yararları nelerdir? (örneğin, neden "güçlü" öğrenme yöntemlerini desteklemiyorsunuz?)
2. Zayıf öğrenciler için bir çeşit "optimal" güç var mı (örneğin, diğer tüm topluluk parametrelerini sabit tutarken)? Güçlerine gelince "tatlı bir nokta" var mı?
3. Zayıf bir öğrencinin gücünü, ortaya çıkan topluluk yöntemine göre nasıl ölçebiliriz. Bir topluluk kullanmanın marjinal faydalarını kantitatif olarak nasıl ölçeriz?
4. Belirli bir topluluk yöntemi için hangisinin kullanılacağına karar vermek için birkaç zayıf öğrenme algoritmasını nasıl karşılaştırabiliriz?
5. Belirli bir topluluk yöntemi zayıf sınıflandırıcılara güçlü olanlardan daha fazla yardımcı oluyorsa, belirli bir sınıflandırıcıya, artırırken önemli bir kazanç sağlamak için zaten "çok güçlü" olduğunu nasıl söyleriz?

Bu, torbalama ruhunda daha fazla olabilir, ancak yine de:

• Gerçekten güçlü bir öğreniciniz varsa, herhangi bir topluluk tarafından geliştirmeye gerek yoktur.
• Ben derim ki ... alakasız. Çok fazla harmanlama ve poşetleme işleminde, takviyede çok güçlü bir sınıflandırıcı yapılması yakınsamada bazı ihlallere yol açabilir (yani, şanslı bir tahmin bir sonraki yinelemenin saf gürültüyü tahmin etmesine ve böylece performansı düşürmesine neden olabilir), ancak bu genellikle yinelemelerin ilerlemesinde onarılır.

• Yine, bu asıl sorun değil. Bu yöntemlerin özü,

  1. kısmi sınıflandırıcıları problemin derinliklerine bakmaya zorlayın.
  2. gürültüyü hafifletmek ve sinyali yükseltmek için tahminlerine katılın.

  1) güçlendirmede biraz dikkat gerekir (yani iyi destekleme şeması, kısmi öğrenen iyi davranma - ama bu çoğunlukla bütün destekleme deneyleri ile değerlendirilir), 2) torbalama ve harmanlama (çoğunlukla öğrenciler arasındaki korelasyonun nasıl sağlanacağı ve topluluktan fazla etkilemeyin). Bu tamam olduğu sürece, kısmi sınıflandırıcının doğruluğu üçüncü dereceden bir sorundur.

İlk olarak, "zayıf" ve "güçlü" kavramları sadece zayıf olarak tanımlanmaktadır. Benim bakış açıma göre, herhangi bir eğitim algoritmasının hedefi olan optimal Bayes sınıflandırıcısına göre tanımlanmaları gerekir. Bunu akılda tutarak, üç noktaya cevabım aşağıdaki gibidir.

1. Gördüğüm kadar hesaplamalı. Tanıdığım çoğu zayıf öğrenci hesaplama açısından hızlı (ve aksi takdirde dikkate değer olmayan). Topluluk öğrenmesinde önemli bir nokta, tam olarak basit ve hızlı bir şekilde bir araya gelebileceğimiz, ancak çok iyi olmayan öğreniciler birleştirebileceğimiz ve hata oranını iyileştirebileceğimizdir. Daha güçlü (ve hesaplama açısından daha zorlu) öğrenenler kullanırsak, iyileştirmeler için oda küçülür, ancak hesaplama maliyeti artar, bu da topluluk yöntemlerinin kullanımını daha az ilginç hale getirir. Ayrıca, tek bir güçlü öğrencinin yorumlanması daha kolay olabilir. Ancak, zayıf ve güçlü olan, soruna ve elde etmeye çalıştığımız en uygun Bayes oranına bağlıdır. Bu nedenle, çoğu zaman güçlü olarak kabul edilen bir öğrenci, onu artırırken ve artırmayı hesaplamak için uygun olduğunda hala iyileştirmeler için yer bırakıyorsa, artırmayı yapın ...
2. Bu, "optimal" ölçmek için kullandığınız kriterlere bağlı olacaktır. Hata oranı açısından hayır derdim (başkalarının farklı deneyimleri varsa düzeltmeleri memnuniyetle karşılarım). Hız açısından belki, ama bunun son derece soruna bağlı olduğunu hayal ediyorum. Bununla ilgili hiçbir literatür bilmiyorum, üzgünüm.
3. ?
4. Çapraz doğrulama, çapraz doğrulama, çapraz doğrulama. Tahmin yapma amacı ile eğitim metotlarının karşılaştırılması gibi, karşılaştırma için de genelleme hatasının tarafsız bir tahminine ihtiyacımız var; bu, bir test verisi kenara koymak veya buna çapraz doğrulama ile yaklaşmak suretiyle elde edilebilecek genelleme hatasının tarafsız tahminlerine ihtiyacımız var.