'Zayıf öğrenen' ile ne kastedilmektedir?

34

Biri bana 'zayıf öğrenen' ifadesinin ne anlama geldiğini söyleyebilir mi? Zayıf bir hipotez olması mı gerekiyor? Zayıf bir öğrenici ile zayıf bir sınıflandırıcı arasındaki ilişki konusunda kafam karıştı. İkisi de aynı mı yoksa bir fark var mı?

Adaboost algoritmasında T=10,. Bununla ne kastedilmektedir? Neden seçiyoruz T=10?

— vrushali
kaynak

1

Siteye Hoşgeldiniz @vrushali. İngilizceyi daha pürüzsüz hale getirmek için bunu düzenledim; Lütfen hala ne demek istediğini söylediğinden emin ol. Ayrıca, ikinci soru setinin (adaboost hakkında) ilk soru setiyle aynı olup olmadığından emin değilim; onları farklı dişlere ayırmak daha mantıklı olabilir.

— gung - Monica'yı yeniden yerleştirme

35

'Zayıf' bir öğrenci (classifer, prediktör, vb.) Göreceli olarak düşük performans gösteren sadece bir tanesidir - doğruluğu şansın üstündedir, ancak çok azdır. Sık sık, ancak her zaman değil, hesaplamanın basit olduğu sonucuna varılmıştır. Zayıf öğrenen, aynı zamanda "güçlü" bir topluluk sınıflandırıcısı oluşturmak için algoritmanın birçok örneğinin birlikte (yükseltme, torbalama vb.) Bir araya getirildiğini önerir.

Orijinal AdaBoost gazetesinde Freund & Schapire tarafından belirtilmiştir:

Belki de bu uygulamaların en şaşırtıcı olanı "artırma" için yeni bir uygulamanın türetilmesi, yani rasgele tahmin etmekten biraz daha iyi performans gösteren "zayıf" bir PAC öğrenme algoritmasının keyfi olarak yüksek doğrulukta bir uygulamaya dönüştürülmesidir. - (Freund ve Schapire, 1995)

ama bu cümlenin aslında bundan daha eski olduğunu düşünüyorum - 1980'lerden Michael Kearns'ın bir dönem ödevi (?!) yazdığını gördüm.

Zayıf Öğrenicinin klasik örneği bir karar ağacı kütüğü, bir seviye karar ağacıdır (1R veya OneR yaygın olarak kullanılan bir başka zayıf öğrenicidir; oldukça benzerdir). Bir SVM'yi zayıf bir performans gösterdiği durumlarda bile 'zayıf bir öğrenci' olarak adlandırmak biraz garip olurdu, ancak tek başına bir karar vericiyi zayıfça öğrenen bir kişi bile şaşırtıcı bir şekilde iyi performans gösterse bile tamamen makul olacaktır.

Adaboost yinelemeli bir algoritmadır ve

T

$T$ tipik olarak yinelemelerin sayısını veya "turları" belirtir. Algoritma, veriler üzerinde zayıf bir öğrenciyi eğitmek / test etmekle başlar ve her örneği eşit olarak ağırlıklandırır. Yanlış sınıflandırılan örnekler, sonraki tur (lar) için ağırlıklarını artırırken, doğru sınıflandırılanlar ağırlıklarını azaltır.

hakkında büyülü bir şey olduğundan emin değilim . 1995 yazısında, serbest parametre olarak verilmiştir (yani, kendin ayarladın). $T=10$ $T$

— Matt Krause
kaynak

Bir DecisionStump bildiğim kadarıyla 1Rule'den farklı. Bir Karar Güdük her zaman ikili 1 seviyeli bir ağaçtır (hem nominal hem de sayısal nitelikler için). 1 Kural, 2'den fazla çocuğa sahip olabilir (hem nominal hem de sayısal) ve sayısal özellikler için bir değere göre ikili bölünmeden daha karmaşık bir test uygular. Ayrıca, WEKA'da 2 farklı uygulama vardır: DecisionStump ve OneR.

— rapaio

Hmmm ... Sanırım haklısın. Orijinal 1R makalesinde, "Bu makalede incelenen, 1 Kural olarak adlandırılan belirli tür kurallar, bir nesneyi tek bir öznitelik temelinde sınıflandıran kurallardır (yani, 1 seviyeli karar ağaçlarıdır." çok farklı şekillerde hayata

— Matt Krause

Yerel bir OneR uygulaması da var: OneR paketi, CRAN'da : CRAN.R-project.org/package=OneR , işte skeç: cran.r-project.org/web/packages/OneR/vignettes/OneR. html (tam açıklama: Bu paketin yazarıyım).

— von

7

Zayıf öğrenci , veriyi etiketlemeye çalıştığında, eğitim verisi üzerindeki dağılım ne olursa olsun, her zaman şanstan daha iyi olacağı bir öğrencidir. Şanstan daha iyisini yapmak, her zaman 1/2'den daha düşük bir hata oranına sahip olacağımız anlamına gelir.

$X$ $Y$

$H_x$ $Y$

Bu, nihayetinde zayıf öğrencileri geliştirir ve onları güçlü öğrencilere dönüştürür .

Daha fazla bilgi için: https://youtu.be/zUXJb1hdU0k .

— Anish Singh Walia
kaynak

CV'ye hoş geldiniz. Burada yeniyken , yeni kullanıcılar için bilgi sahibi olan turumuza katılmak isteyebilirsiniz . . Bu cevabın önceki cevaplar üzerinde yeni bir şey sağladığı ya da geliştirdiği görülmemektedir. Daha öncekilerde eksik olan bir şey olduğunu düşünüyor musunuz?

— TEG - Monica

neden 1 / 2'nin altında olmalı? Hata oranı 1 / 2'nin üstünde ise, zayıf sınıflandırıcı da olmalıdır.

— Kod Papa,

@CodePope, amacına ulaştım, ama aslında "zayıf bir öğrenci" resmen bu terimlerle tanımlanıyor. % 50'den fazla hata yapmış herhangi bir modelin de zayıf ve zayıf olduğuna katılıyorum. Ancak, bilim adamları tarafından tanımlanan biçimsel tanımlardan bahsedersek, zayıf bir öğrenci% 1/2 veya% 50'den daha az hata yapmış olanıdır.

— Anish Singh Walia,

1

Zayıf öğrenen, zayıf sınıflandırıcı veya zayıf yordayıcı ile aynıdır. Buradaki fikir, o kadar iyi olmayan, ama en azından rastgele olandan daha iyi olan bir sınıflandırıcı kullanmanızdır. Bunun yararı, sınıflandırıcının fazla takılmasında sağlam olacağıdır. Elbette, yalnızca birini değil, her birini rastgele biraz daha iyi olan bir dizi kullanmıyorsunuz. Bunları seçme / birleştirme yöntemi metodoloji / algoritmaya, örneğin AdaBoost'a bağlıdır.

Zayıf sınıflandırıcı olarak pratikte, tek bir özellik üzerinde basit bir eşik gibi bir şey kullanırsınız. Eğer özellik eşiğin üstünde ise o zaman bunun pozitiflere ait olduğunu tahmin edersiniz, aksi halde negatiflere ait olduğuna karar verirsiniz. T = 10 hakkında emin değilim, çünkü bağlam yok, ancak bazı özelliklerin eşiklenmesinde bir örnek olduğunu varsayabilirim.

— iliasfl
kaynak