(Derin) sinir ağlarının açıkça başka yöntemlerden daha iyi performans gösteremediği denetimli öğrenme sorunu var mı?

İnsanların SVM ve Çekirdekler üzerine çok çaba sarf ettiğini ve Makine Öğreniminde bir başlangıç ​​olarak oldukça ilginç göründüğünü gördüm. Ancak, (her zaman) (Yapay Sinir Ağı) açısından neredeyse her zaman daha iyi bir çözüm bulmamızı beklersek, bu dönemde başka yöntemler denemenin anlamı nedir?

İşte bu konudaki kısıtlarım.

1. Sadece Denetimli Öğrenmeyi düşünüyoruz; Regresyon ve Sınıflandırma.
2. Sonucun Okunabilirliği sayılmaz; sadece Denetimli Öğrenme Sorunundaki Doğruluk sayılır.
3. Hesaplamalı Maliyet dikkate alınmaz.
4. Başka bir yöntemin işe yaramaz olduğunu söylemiyorum.

İşte birisinin rasyonel olarak DNN olmayan bir yaklaşımı tercih etmesinin bir teorik ve iki pratik nedeni.

1. Hayır Ücretsiz Öğle Teoremi Wolpert ve Macready diyor

   İlişkili sonuçları NFL teoremleri olarak adlandırdık, çünkü eğer bir algoritma belirli bir problem sınıfında iyi performans gösterirse, o zaman geri kalan tüm problemler setinde düşürülmüş performansla bunun mutlaka karşılığını verdiğini göstermektedir.

   Başka bir deyişle, hiçbir tek algoritma hepsini yönetmiyor; kıyaslama yapmalısın.

   Burada bariz çürütme genellikle umurumda kalmamasıdır tüm olası sorunları ve derin öğrenme insanlar sorunların çeşitli sınıflar üzerinde iyi iş gibi görünüyor yapmak makul bir ilk / tek seçenek (örneğin nesne tanıma) ve bu yüzden umurumda bu alanlardaki diğer uygulamalar için.

2. Bu çok derin ağların birçoğu, sığacak tonlarca hesaplama ve tonlarca hesaplama gerektiriyor. 500 örneğiniz varsa (20), yirmi katmanlı bir ağ hiçbir zaman iyi öğrenemez, oysa çok daha basit bir modele uymak mümkün olabilir. Bir ton veri toplamanın mümkün olmadığı şaşırtıcı sayıda sorun var. Öte yandan, ilgili bir problemi çözmeyi öğrenmeyi deneyebilir (daha fazla verinin mevcut olduğu yerlerde), belirli düşük veri kullanılabilirliği görevine adapte etmek için transfer öğrenme gibi bir şey kullanabilirsiniz.

3. Derin sinir ağları da olağandışı arıza modlarına sahip olabilir. İnsan tarafından algılanamayan değişikliklerin, bir ağın bir görüntüyü doğru şekilde sınıflandırmasından güvenle yanlış sınıflandırmasına geçmesine neden olabileceğini gösteren bazı makaleler var. (Bkz burada ve beraberindeki kağıt Szegedy tarafından vd.) Diğer yaklaşımlar buna karşı daha sağlam olabilir: (örn SVM'ler karşı zehirlenme saldırılar var bu Biggio, Nelson, ve Laskov tarafından), ancak bu testin yerine, trende gerçekleşmesi saati. Ters uçta, en yakın komşu algoritması için bilinen (ancak büyük olmayan) performans sınırları vardır. Bazı durumlarda, daha az felaket şansı ile daha düşük genel performansla daha mutlu olabilirsiniz.

Geoff Hinton tarafından yayınlanan bu çalma listesinde bir yerde (sinir ağları üzerindeki Coursera kursundan), iki problem sınıfından bahsettiği bir bölüm var:

1. Gürültünün kilit özelliği olduğu sorunlar ,
2. Sinyalin temel özelliği olduğu problemler .

Sinir ağları bu alanda gelişirken, geleneksel istatistiksel yöntemlerin birincisine daha uygun olduğunu açıkladım. Derin evrimsel ağların öne çıktığı bir yer olan dünyadaki gerçeklerin yüksek çözünürlüklü dijital fotoğraflarını incelemek, ikincisini açıkça oluşturmaktadır.

Öte yandan, gürültü baskın özellik ise, örneğin, 50 vaka ve 50 kontrol içeren tıbbi bir vaka kontrol çalışmasında, geleneksel istatistiksel yöntemler soruna daha uygun olabilir.

Herhangi biri bu videoyu bulursa, lütfen yorum yapın ve ben güncelleme yapacağım.

İki doğrusal olarak mükemmelleştirilmiş korelasyonlu değişken. 1 milyon gizli katmanı ve 2 trilyon nötronu olan derin ağ basit bir doğrusal gerileme yapabilir mi?

REDAKTE

Tecrübelerime göre, örnek toplama işlemi hesaplamadan daha pahalıdır. Yani, sadece bazı Amazon örneklerini işe alabilir, derin öğrenme eğitimi alabilir ve birkaç gün sonra tekrar gelebiliriz. Alanımdaki maliyet yaklaşık 200 ABD dolarıdır. Maliyet az. Meslektaşlarım bir günde bundan daha fazla kazanıyor.

Örnek toplama genellikle alan bilgisi ve özel donanım gerektirir. Derin öğrenme, yalnızca doğal dil işleme, görüntü işleme ve Internet'ten çizebileceğiniz her şey gibi ucuz ve kolay erişilen veri seti sorunları için uygundur.