SVM, her seferinde bir örnek öğrenme akışını yapabilir mi?

Bir akış veri setim var, örnekler birer birer hazır. Onlar üzerinde çok sınıflandırma yapmam gerekiyor. Öğrenme sürecine bir eğitim örneği beslediğimde, örneği atmam gerekiyor. Aynı zamanda, etiketlenmemiş veriler üzerinde öngörüde bulunmak için en son modeli kullanıyorum.

Bildiğim kadarıyla bir sinir ağı, örnekleri birer birer besleyerek ve örnek üzerinde ileriye doğru ilerlemeyi ve geriye doğru ilerlemeyi gerçekleştirerek akış öğrenmesini yapabilir.

Bir SVM, her seferinde bir örnek öğrenme akışını gerçekleştirebilir ve örneği hemen atabilir mi?

Makine öğreniminde akış ayarına "çevrimiçi öğrenme" denir. Çevrimiçi ayarda kesin bir destek vektörü makinesi yoktur (nesnel fonksiyonun tanımı doğal olarak parti ayarı için olduğundan). Muhtemelen SVM'nin çevrimiçi ortamdaki en basit genellemesi pasif agresif algoritmalardır. Kod burada http://webee.technion.ac.il/people/koby/code-index.html ve ilgili bir makale burada http://eprints.pascal-network.org/archive/00002147/01/CrammerDeKeShSi06. pdf

Temel fikir, birinin verileri$(\mathbf{x},y)\in\mathbb{R}^d\times [k]$$\mathbf{x}\in \mathbb{R}$$k$$W_t\in \mathbb{R}^{k\times d}$$t$$\mathbf{x}_t$$\hat{\mathbf{y}}_t=W\mathbf{x}_t$$W_t$

Kapalı güncellemeler çerçevesini (burada başka bir yanıtta belirtilen pasif agresif algoritmaları içeren) her zaman, açık güncellemeler çerçevesinden gereksiz yere daha karmaşık buldum (kapalı güncellemeler açıkça belirtilenden daha yavaş olabilir. kapalı güncelleme için kapalı form çözümü mevcuttur).

Çevrimiçi Önem Ağırlığına Uygun Güncellemeler , örtülü meslektaşlarına göre daha basit, daha hızlı ve daha esnek (birden fazla kayıp işlevini, birden fazla para cezasını, maliyete duyarlı öğrenmeyi vb.) İçeren son teknoloji ürünü bir açık güncelleme algoritması örneğidir. Bildiri sadece doğrusal modellerle ilgileniyor (lineer svm, karesel ceza ile menteşe kaybı işlevine karşılık geliyor)

Çok sınıflı bir sınıflandırmaya ihtiyaç duyduğunuzdan, bir yaklaşım vowpal wabbit (kağıttan gelen yaklaşımın üstüne inşa edilmiştir) "maalesef iyi belgelenmeyen " "azaltma" işlevini kullanmaktır .

LASVM , SVM'nin en popüler çevrimiçi öğrenme varyantlarından biridir.

Doğrusal SVM'ler, herhangi bir doğrusal modelde olduğu gibi stokastik gradyan inişi kullanılarak da eğitilebilir.

Lütfen ikili sınıflandırma için çevrimiçi bir SVM öneren SVM Artımlı Öğrenme, Uyarlama ve Optimizasyon belgesine bakınız .

Yukarıdaki kağıdın kodu burada bulunabilir . Kodda, iki çevrimiçi eğitim yöntemi tanıtıldı:

1. SVM'yi arayarak her seferinde bir örnek üzerinde adım adım eğitin svmtrain()ve
2. arayarak eşzamanlı çözelti içine bütün eğitim örneklerini bir arttırılarak toplu eğitim gerçekleştirin svmtrain2().

Sorunuza dönersek, cevabın her seferinde bir örnek öğrenen akım için YES olduğu açıktır . Kod aynı zamanda bir örneği unarearn (at)), yani kesin ve yaklaşık bir-bir-tane-dışarı (LOO) hata tahminini de ele alabilir - kesin LOO hata tahmini, bir seferde bir örneği tam olarak öğrenerek ve sınıflandırıcıyı test ederek etkin bir şekilde hesaplanabilir. örnek.

Çekirdeklerle Çevrimiçi Öğrenme , genel çekirdek ortamlarında çevrimiçi öğrenmeyi tartışır.

Özetden alıntı -

" Destek vektör makineleri gibi çekirdek tabanlı algoritmalar, tüm eğitim verilerinin önceden elde edilebileceği toplu ayarda çeşitli sorunlarda önemli bir başarı elde etti. Destek vektör makineleri, çekirdek numarası denilen büyük pay fikrini birleştirdi. gerçek zamanlı uygulamalar için uygun bir çevrimiçi ortamda bu yöntemlerin çok az kullanımı Bu yazıda bir Çekirdek Hilbert Uzayda Çevrimiçi öğrenmeyi ele alıyoruz .. Bir özellik alanı içindeki klasik stokastik gradyan inişini ve bazı düz ileri püf noktalarını kullanmayı düşünerek sınıflandırma, regresyon ve yenilik tespiti gibi çok çeşitli problemler için basit ve hesaplama açısından verimli algoritmalar geliştiriyoruz. ”