SVM'lerin hala son teknoloji ürünü oldukları alanlar nelerdir?

Derin sinir ağları ve diğer sinir ağı tabanlı modellerin bilgisayar görme, nesne sınıflandırma, pekiştirme öğrenme vb.

SVM'lerin (veya diğer modellerin) son teknoloji ürünü sonuçlar ürettiği alanlar var mı?

En son teknoloji zor bir çubuktur, çünkü nasıl ölçülmesi gerektiği açık değildir. En son teknolojiye benzeyen alternatif bir kriter, ne zaman bir SVM'yi denemek isteyebileceğinizi sormaktır .

SVM'lerin çeşitli avantajları vardır:

1. Çekirdek hilesi sayesinde, bir SVM'nin çalışma zamanı, orijinal özellik kümesi yerine doğrusal olmayan birçok özellik kombinasyonunda desen öğrenmek istiyorsanız önemli ölçüde artmaz. Buna karşılık, derin bir sinir ağı gibi daha modern bir yaklaşımın, aynı kalıpları modellemek için daha derin veya daha geniş olması gerekecektir, bu da eğitim süresini artıracaktır.
2. SVM'lerin, maksimum marj hipotezleri bulmaya çalıştıkları için, verileri geçersiz kılma olasılığı daha düşük olan "muhafazakar" hipotezleri seçmeye yönelik doğal bir önyargıları vardır. Bir anlamda, Occam'ın tıraş makinesini "pişiriyorlar".
3. SVM'lerin sadece iki hiperparametresi vardır (çekirdek seçimi ve düzenleyici sabit), bu nedenle belirli problemleri ayarlamak çok kolaydır. Genellikle otomatik olarak yapılabilen parametre alanı boyunca basit bir ızgara araması yaparak bunları ayarlamak yeterlidir.

SVM'lerin de bazı dezavantajları vardır:

1. SVM'lerin ölçekler kübik olarak datapoints sayısında sen (yani üzerinde yetiştirmek istedikleri bir çalışma zamanını var çalışma zamanını) ¹ . Bu, diyelim ki, zamanında çalışan derin bir sinir ağı için tipik bir eğitim yaklaşımı ile karşılaştırılmaz , burada veri noktası sayısıdır, eğitim dönemi sayısıdır ve ağdaki ağırlık sayısıdır. Genellikle .$O(n^3)$$O(w*n*e)$$n$$e$$w$$w, e << n$
2. Çekirdek numarasından yararlanmak için SVM'ler, herhangi iki nokta çifti arasındaki çekirdeklenmiş "mesafe" için bir değer önbelleğe alır. Bu, belleğe ihtiyaç duydukları anlamına gelir . Bu, çoğu gerçek dünya setindeki kübik çalışma süresinden çok, çok, daha fazla sorun. Birkaç binden fazla veri noktası, modern sunucuların çoğunu çöker ve bu da etkin çalışma süresini birkaç büyüklükte artırır. Nokta 1 ile birlikte, bu, SVM'lerin üst sınırda belki 5.000-10.000 veri noktasının ötesindeki setler için işlenemeyecek kadar yavaş olma eğilimi göstereceği anlamına gelir.$O(n^2)$

Tüm bu faktörler SVM'lerin tam olarak tek bir kullanım durumu için geçerli olduğuna işaret etmektedir: hedef modelin düşünüldüğü küçük veri kümeleri, apriori, çok sayıda özelliğin düzenli, ancak oldukça doğrusal olmayan bir işlevi. Bu kullanım durumu aslında oldukça sık görülür. SVM'leri doğal bir yaklaşım olarak bulduğum son örnek bir uygulama, özellik çiftleri arasındaki etkileşimlerin (özellikle de ajan çiftleri arasındaki iletişim) olduğu bilinen bir hedef işlev için öngörücü modeller oluşturmaktı. Kuadratik çekirdeğe sahip bir SVM bu nedenle muhafazakar, makul tahminleri etkili bir şekilde öğrenebilir.

¹ Diğer cevaplarda belirtildiği gibi SVM'yi bundan daha hızlı çözecek yaklaşık algoritmalar vardır.

Derin Öğrenme ve Yapay Sinir Ağları, alandaki son gelişmeler nedeniyle en çok odaklanmaktadır ve çoğu uzman bunun makine öğrenme problemlerini çözmenin geleceği olduğuna inanmaktadır.

Ancak hata yapmayın, klasik modeller hala olağanüstü sonuçlar üretir ve bazı problemlerde derin öğrenmeden daha iyi sonuçlar üretebilirler.

Doğrusal Regresyon halen dünyada en çok kullanılan makine öğrenimi algoritmasıdır.

Girdi verilerinin şekli ve kalitesinde doğruluk çok belirlendiği için klasik modellerin her zaman daha iyi performans gösterdiği belirli bir alanı tanımlamak zordur.

Dolayısıyla algoritma ve model seçimi her zaman bir değiş tokuştur. Klasik modellerin daha küçük veri kümeleriyle daha iyi performans göstermesini sağlamak biraz doğru bir ifadedir. Bununla birlikte, daha fazla veri üzerinde derin öğrenme modeli performansını iyileştirmek için birçok araştırma yapılmaktadır.

Klasik modellerin çoğu daha az hesaplama kaynağı gerektirir, bu nedenle hedefiniz hız ise, o zaman çok daha iyidir.

Ayrıca, klasik modellerin uygulanması ve görselleştirilmesi daha kolaydır, bu da performans için başka bir gösterge olabilir, ancak hedeflerinize bağlıdır.

Sınırsız kaynaklarınız, düzgün bir şekilde etiketlenmiş büyük bir gözlemlenebilir veri kümeniz varsa ve bunu problem alanı içinde doğru bir şekilde uygularsanız, derin öğrenme çoğu durumda size daha iyi sonuçlar verecektir.

Ama tecrübelerime göre, gerçek dünya koşulları asla bu kadar mükemmel değildir

@ John'un cevabına tamamen katılıyorum. Bunu biraz daha puanla tamamlamaya çalışacağım.

SVM'lerin bazı avantajları:

a) SVM, SMO gibi çözülmesi gereken etkin yöntemlerin bulunduğu dışbükey bir optimizasyon problemi ile tanımlanır .

b) Yüksek boyutlu alanlarda ve boyut sayısının örnek sayısından fazla olduğu durumlarda etkilidir.

c) Karar işlevinde (destek vektörleri denir) eğitim noktalarının bir alt kümesini kullanır, bu nedenle bellek verimlidir.

d) Karar işlevi için farklı Çekirdek işlevleri belirtilebilir. . En basit haliyle, çekirdek hile, verileri veri sınıfları arasında net bir bölünme payına sahip başka bir boyuta dönüştürmek anlamına gelir.

Destek vektör makinelerinin dezavantajları şunları içerir:

a) Özelliklerin sayısı örnek sayısından çok fazlaysa, Çekirdek işlevlerini seçerken aşırı uyumdan kaçınmak ve düzenleme süresi çok önemlidir. Çekirdek modelleri , model seçim ölçütüne aşırı uymaya oldukça duyarlı olabilir

b) SVM'ler doğrudan olasılık tahminleri sunmaz. Birçok sınıflandırma probleminde aslında sınıf üyeliği olasılığını istiyorsunuz, bu nedenle olasılıkları elde etmek için SVM çıktısını işlem sonrası yerine Lojistik Regresyon gibi bir yöntem kullanmak daha iyi olacaktır.

Düşük boyutlu tablo verilerinin veri kümeleri için. DNN, büyük aşırı parametreleme nedeniyle düşük boyutlu girdilerde verimli değildir. Bu nedenle, veri kümesinin boyutu çok büyük olsa da, her örnek düşük boyutlu SVM DNN'yi geçecektir.

Daha genel olarak, veriler tablo halinde ve numunenin alanları arasındaki korelasyon zayıf ve gürültülü ise, SVM yüksek boyutlu veriler için bile DNN'yi yine de yenebilir, ancak bu verilerin spesifikine bağlıdır.

Ne yazık ki konuyla ilgili belirli bir makaleyi hatırlayamıyorum, bu yüzden çoğunlukla sağduyu akıl yürütme, buna güvenmek zorunda değilsiniz.