Güçlendirmede, öğrenciler neden “zayıf”?

Ayrıca istatistiklere benzer bir soru bakın .

Gelen artırılması gibi algoritmalar AdaBoost ve LPBoost o "zayıf" öğrencilerin Wikipedia'dan, yararlı olduğu daha iyi şans daha gerçekleştirmek zorunda sadece kombine edilecek bilinmektedir:

Kullandığı sınıflandırıcılar zayıf olabilir (yani, önemli bir hata oranı gösterir), ancak performansları rastgele olmadığı sürece (ikili sınıflandırma için 0,5 hata oranıyla sonuçlanır), nihai modeli geliştirir. Hata oranı rasgele bir sınıflandırıcıdan beklenenden daha yüksek olan sınıflandırıcılar bile faydalı olacaktır, çünkü sınıflandırıcıların son lineer kombinasyonunda negatif katsayılara sahip olacaklar ve bu yüzden tersleri gibi davranacaklardır.

• Güçlü öğrenenler yerine zayıf kullanmanın yararları nelerdir? (örneğin, neden "güçlü" öğrenme yöntemlerini desteklemiyorsunuz - daha fazla donanım almaya meyilli miyiz?)

• Zayıf öğrenciler için bir çeşit "optimal" güç var mı? Bu, topluluktaki öğrenci sayısıyla mı ilgili?

Bu soruların cevaplarını yedeklemek için herhangi bir teori var mı?

Dolayısıyla, yükseltme, bir alt yordam olarak başka bir algoritma kullanarak yüksek doğrulukta tahminler üretebilen bir öğrenme algoritmasıdır; bu da, sırayla rastgele tahmin etmekten biraz daha iyi (ters polinom ile) hipotezler üretebilir.

Başlıca avantajı hızdır.

Schapire 1990 yılında sunulduğunda, sadece 1 / 2'den biraz daha küçük hatalarla hipotezler üreten bir polinom zaman öğrenicisinin keyfi küçük bir hatayla hipotezler üreten bir polinom zaman öğrenicisine dönüştürülebileceğini göstermesi bir atılımdı.

Bu nedenle sorunuzu destekleme teorisi, temel olarak "güçlü" ve "zayıf" öğrenmenin eşdeğer olduğunu gösterdiği "zayıf öğrenilebilirliğin gücü" ( pdf ) ' dedir .

Ve belki de asıl sorunun cevabı şudur: "Zayıf olanları daha ucuza yapabileceğiniz zaman güçlü öğrenenler kurmanın anlamı yoktur".

Göreceli olarak yakın tarihli makalelerden, anlamadığım ancak ilişkili olduğu ve daha eğitimli insanlar için ilgi çekici görünebilecek "Zayıf öğrenilebilirlik ve doğrusal ayrılabilirliğin eşdeğeri üzerinde ( pdf ) var. "

Daha sezgisel bir açıklama ile henüz söylenmemiş olan fazla kıyafeti ele alacağım. İlk sorunuz şuydu:

Güçlü öğrenenler yerine zayıf kullanmanın yararları nelerdir? (örneğin, neden "güçlü" öğrenme yöntemlerini desteklemiyorsunuz - daha fazla donanım almaya meyilli miyiz?)

Anlayışımda temel nedenler:

• Diğer cevaplarda oldukça iyi kaplandığı gibi hız ;
• Doğruluk iyileştirme : zaten güçlü bir öğreniciniz varsa, artırmanın faydaları daha az ilgilidir;
• Tahmin ettiğiniz gibi, fazla giymekten kaçının . Bu şekilde düşünün:

Arttırmanın amacı , hipotez uzayından birçok farklı hipotezi birleştirerek daha iyi bir son hipotezle sonuçlanmamızdır. Dolayısıyla, artırmanın büyük gücü, birleşik hipotezin çeşitliliğinden geliyor .

Eğer güçlü bir öğrenici kullanırsak, bu çeşitlilik azalmaya meyillidir: her yinelemeden sonra pek çok hata olmayacaktır (model karmaşık olduğu için), bu da yeni hipotezi değiştirmeyi çok fazla zorlamayacaktır. Çok benzer bir hipotez ile, topluluk, sırayla üst üste gelme eğiliminde olan tek bir karmaşık modele çok benzeyecektir!

Güçlendirmede, zayıf öğrenenleri, güçlü öğrencilere kıyasla daha hızlı eğitildiklerinden kullanıyoruz. Bunu düşün. Öğrenci olarak Çok Katmanlı Sinir Ağı'nı kullanırsam, onları eğitmem gerekir. Öte yandan, bir karar ağacı çok daha hızlı olabilir, o zaman bir çoğunu eğitebilirim.

Diyelim ki 100 öğrenci kullandım. 100 saniyede NN, 10 saniyede ağaç karar verdim. NN ile ilk güçlendirmem 100 * 100 saniye sürerken, ikinci karar ağacıyla yükseltmek 100 * 10 saniye sürecek.

Bu, güçlendirmede güçlü öğrenenler kullanan makaleler gördüğümü söyledi. Ancak bu problemlerde güçlü öğrenciler bence hızlıydı.

Weka kullanarak KDP'yi KDD99 İzinsiz Giriş Tespiti Veri Seti (4+ Milyon) üzerinde eğitmeye çalıştım. Makinemde 72 saatten fazla sürdü. Ancak artırma (Karar Ağacı ile AdaBoostM1 - Karar Stump) sadece 3 saat sürdü. Bu problemde, güçlü bir öğrenici ile güçlendirmeyi kullanamayacağım, yani çok fazla zaman alan bir öğrenci olduğu açıktır.