Sinir ağları ve diğer her şey

Google'dan buna tatmin edici bir cevap bulamadım .

Tabii ki elimdeki veriler milyonlarca mertebede ise, derin öğrenme yoludur.

Ve büyük veriye sahip olmadığımda belki de makine öğreniminde diğer yöntemleri kullanmanın daha iyi olduğunu okudum. Verilen neden aşırı uydurmadır. Makine öğrenimi: örn. Verilere bakmak, özellik çıkarma, toplanandan yeni özellikler hazırlamak vb. Ağır korelasyonlu değişkenleri kaldırmak gibi şeyler.

Ve merak ediyorum: neden bir gizli katmana sahip sinir ağları, makine öğrenme problemlerine her derde deva değildir? Bunlar evrensel tahmin edicilerdir, aşırı uydurma, bırakma, l2 düzenlenmesi, l1 düzenlenmesi, toplu normalizasyon ile yönetilebilir. Sadece 50.000 eğitim örneğimiz varsa, eğitim hızı genellikle bir sorun değildir. Test zamanında rastgele ormanlardan daha iyidirler.

Öyleyse neden - verileri temizlemeyin, eksik değerleri genellikle yaptığınız gibi engelleyin, verileri ortalayın, verileri standartlaştırın, tek bir gizli katmanla sinir ağları topluluğuna atın ve fazla uyuşma görmeyene kadar düzenlileştirme uygulayın ve sonra eğitin onları sonuna kadar. Sadece 2 katmanlı bir ağ olduğu için degrade patlama veya degrade kaybolmasıyla ilgili sorun yok. Derin katmanlara ihtiyaç duyulursa, bu hiyerarşik özelliklerin öğrenileceği ve diğer makine öğrenme algoritmalarının da iyi olmadığı anlamına gelir. Örneğin SVM, yalnızca menteşe kaybı olan bir sinir ağıdır.

Başka bir makine öğrenimi algoritmasının dikkatli bir şekilde düzenlenmiş 2 katmanlı (belki 3?) Sinir ağından daha iyi performans göstereceği bir örnek takdir edilecektir. Bana sorunun bağlantısını verebilirsin ve yapabileceğim en iyi sinir ağını eğitirdim ve 2 katmanlı veya 3 katmanlı sinir ağının herhangi bir kıyaslama makinesi öğrenme algoritmasından daha az olup olmadığını görebiliriz.

Her bir makine öğrenme algoritmasının farklı bir endüktif sapması vardır, bu nedenle sinir ağlarını kullanmak her zaman uygun değildir. Doğrusal bir eğilim her zaman en iyi, doğrusal olmayan ağların bir topluluğu yerine basit doğrusal regresyon ile öğrenilir.

Geçmiş Kaggle yarışmalarının kazananlarına göz atarsanız , görüntü / video verileriyle ilgili herhangi bir zorluk hariç, sinir ağlarının her şeyin çözümü olmadığını hızlıca bulacaksınız. Burada bazı geçmiş çözümler.

fazla uyuşma görmeyene kadar regülasyon uygulayın ve daha sonra bunları sonuna kadar eğitin

Ağın herhangi bir şey öğrenme kapasitesini tamamen ortadan kaldırmadan aşırı sığmayı önlemek için yeterli düzenlileştirme uygulayabileceğinizin garantisi yoktur. Gerçek hayatta, tren-test boşluğunu ortadan kaldırmak nadiren mümkündür ve bu yüzden kağıtlar hala tren ve test performansını rapor eder.

onlar evrensel tahmin edicilerdir

Bu sadece sınırsız sayıda birime sahip olma sınırında geçerlidir, ki bu gerçekçi değildir.

Bana soruna bağlantı verebilir ve yapabileceğim en iyi sinir ağı eğitebilirim ve 2 katmanlı veya 3 katmanlı sinir ağının başka bir kıyaslama makinesi öğrenme algoritmasının yetersiz olup olmadığını görebiliriz

Bir sinir ağının asla çözemeyeceğini düşündüğüm örnek bir problem: Bir tamsayı verildiğinde, asal ya da asal olmayan olarak sınıflandırın.

Bunun, artan uzunluktaki tüm geçerli programlar üzerinde yinelenen ve asal sayıları doğru bir şekilde tanımlayan en kısa programı bulan basit bir algoritma ile mükemmel bir şekilde çözülebileceğine inanıyorum. Gerçekten de, bu 13 karakterli normal ifade dizesi , arama için hesaplamaya zorlanamayan asal sayılarla eşleşebilir.

Düzenleme, temsil gücüne sahip olandan, düzenleyici yöntemle ciddi biçimde zorlanan modelden daha uygun bir model alabilir mi? Arada her zaman tatlı bir yer olmayacak mı?

Evet, tatlı bir nokta var, ancak aşırı takmayı bırakmadan önce genellikle yol budur. Bu şekle bakın:

Yatay ekseni çevirir ve "regülasyon miktarı" olarak yeniden etiketlerseniz, bu oldukça doğrudur - hiç fazla sığma olana kadar düzenlerseniz, hatanız çok büyük olacaktır. "Tatlı nokta" biraz fazla takıldığında, ancak çok fazla olmadığında ortaya çıkar.

Nasıl 'artan uzunlukta tüm geçerli programlar üzerinde yineleme ve asal sayıları doğru tanımlayan en kısa programı bulan basit bir algoritma'. öğrenen bir algoritma mı?

$\theta$$H(\theta)$$\theta$

Eğer doğru alırsanız eğer veri önemli değilse derin ağ asla her ikisi için en iyi hiperparametreler verilen en iyi sığ ağın doğrulama doğruluğunu isabet edemez?

Evet. Benim açımdan göstermek için çirkin ama umarım etkili bir rakam.

ama bu mantıklı değil. derin bir ağ sığın üstünde 1-1 bir harita öğrenebilir

Soru "yapabilir" değil, "yapacak" ve eğer backpagagation eğitimi alıyorsanız, cevap muhtemelen değildir.

Daha büyük ağların her zaman küçük ağlardan daha iyi çalışacağını tartıştık

Daha fazla yeterlilik olmadan, bu iddia yanlıştır.

Ben bir makine öğrenme her derde deva diye bir şey olmadığını ekleyebilirim:

By hiçbir ücretsiz öğle yemeği teoremi:

Bir algoritma belirli bir sınıf probleminde iyi performans gösterirse, kalan tüm problemler setinde performansı düşmüş olanın bedelini öder