AdaBoost'u ne zaman kullanmak istersiniz?


14

AdaBoost sınıflandırıcısının işte defalarca belirtildiği gibi duyduğum gibi, nasıl çalıştığı ve ne zaman kullanılacağı konusunda daha iyi bir fikir edinmek istedim. Devam ettim ve Google'da bulduğum birkaç makaleyi ve öğreticiyi okudum, ancak sınıflandırıcının hala anlamada sorun yaşadığım yönleri var:

  1. Gördüğüm çoğu öğretici, AdaBoost'u birçok sınıflandırıcının en iyi ağırlıklı kombinasyonunu bulmaktan bahsediyor. Bu bana mantıklı geliyor. Mantıklı olmayan, AdaBoost'un sadece zayıf bir öğrenciyi kabul ettiği uygulamalar (yani MALLET). Bu nasıl bir anlam ifade ediyor? AdaBoost'a sağlanan tek bir sınıflandırıcı varsa, aynı sınıflandırıcıyı 1 ağırlıkla geri döndürmemeli midir? İlk sınıflandırıcıdan yeni sınıflandırıcılar nasıl üretir?

  2. AdaBoost'u ne zaman kullanmak istersiniz? En iyi hazır sınıflandırıcılardan biri olması gerektiğini okudum, ancak bir MaxEnt sınıflandırıcısını artırmaya çalıştığımda% 70 + ile f-skorları alıyordum, AdaBoost onu öldürüyor ve bana çok yüksek hatırlama ve çok düşük hassasiyet ile% 15 gibi bir şeyin puanları. Şimdi kafam karıştı. AdaBoost'u ne zaman kullanmak isterdim? Mümkünse, kesin istatistiksel istatistik yerine sezgisel bir yanıt arıyorum.

Yanıtlar:


11

Adaboost, farklı parametrelerle aynı sınıflandırıcının birden çok örneğini kullanabilir. Böylece, daha önce doğrusal bir sınıflandırıcı doğrusal olmayan sınıflandırıcılara birleştirilebilir. Ya da, AdaBoost'un söylediği gibi, çok sayıda zayıf öğrenci bir öğrenciyi güçlü yapabilir. Burada , altta güzel bir resim bulabilirsiniz .

Temel olarak, diğer herhangi bir öğrenme algoritmasında olduğu gibi gider: bazı veri kümelerinde çalışır, bazılarında çalışmaz. Orada mükemmel, orada veri kümeleri vardır. Ve belki de henüz doğru zayıf öğreniciyi seçmediniz. Lojistik regresyonu denediniz mi? Öğrenenlerin eklenmesi sırasında karar sınırlarının nasıl geliştiğini görselleştirdiniz mi? Belki neyin yanlış gittiğini söyleyebilirsiniz.


(1). Ek not: Zayıf öğrenenlerin parametreleri bile farklı olmamakla birlikte, veri kümesinin yapısı (artırmada yapıldığı gibi) değiştiğinde davranış (yani tahmin ettikleri) değişir.
steffen

MaxEnt lojistik regresyon. Karar sınırlarının nasıl geliştiğini görselleştirmek aslında oldukça yararlı olacaktır. Bunu nasıl yapabiliriz? Ayrıca, AdaBoost'un yalnızca bir özellik kümesi ve bir sınıflandırıcı türü (MALLET'te olduğu gibi) verildiğinde hala nasıl çalıştığını anlamıyorum. Bana göre, bu tamamen karşı sezgisel görünüyor.
YuliaPro

Sadece veri kümenizi çizin. Ayrıca, sisteminiz tarafından nasıl sınıflandırıldığını her nokta için bir renk seçtiğiniz bir ızgara çizin. Bu sadece 2D için iyi çalışıyor, sanırım. Yine de en önemli eksenleri falan çizebilirsiniz. Yalnızca bir özellik kümeniz ve bir sınıflandırıcı varsa, yalnızca bir sınıflandırıcıya indirgenir. Maksimum entropinin somut bir sınıflandırıcı değil bir paradigma olduğu izlenimindeydim. Neyse.
bayerj
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.