Neden sadece sinir ağlarını ve derin öğrenmeyi terk etmiyorsun? [kapalı]

Genel olarak derin öğrenme ve sinir ağları ile ilgili temel problem.

1. Eğitim verilerine uygun çözümler sonsuzdur. Sadece bir tanesinin tatmin ettiği ve en iyi şekilde genelleştirebileceğini söyleyebileceğimiz kesin bir matematik denklemimiz yoktur. Basitçe söylemek gerekirse, hangisinin en iyi şekilde genelleştiğini bilmiyoruz.

2. Ağırlıkları optimize etmek dışbükey bir sorun değildir, bu yüzden küresel veya yerel bir asgari düzeyde olduğumuzu asla bilemeyiz.

Öyleyse neden sinir ağlarını atıp, daha iyi bir ML modeli aramıyorsunuz? Anladığımız ve bir dizi matematiksel denklemle tutarlı olan bir şey mi? Lineer ve SVM bu matematiksel dezavantajlara sahip değildir ve bir matematiksel denklem grubuyla tamamen tutarlıdır. Neden sadece aynı çizgileri düşünmüyorsun (yine de lineer olmak zorunda değilsin) ve Linear ve SVM ve sinir ağları ve derin öğrenmeden daha iyi bir ML modeli ile gelmedin?

1. Hangi çözümün en iyi şekilde genelleştiğini bilmemek bir konudur, ancak bizi iyi bir çözüm kullanmaktan alıkoymamalıdır. İnsanların kendileri çoğu zaman en iyi neyin genel olduğunu (örneğin, birleştirici fizik teorileriyle yarışmayı düşünür) bilmezler, ancak bu bize çok fazla soruna neden olmaz.

2. Yerel minimumlar nedeniyle eğitimin başarısız olması son derece nadirdir. Derin bir sinir ağındaki yerel minimumların çoğu, küresel minimumun değerine yakın, bu yüzden bu bir sorun değil. kaynak

Ancak daha geniş cevap, bütün gün konveksilik ve model seçimi hakkında konuşabilmenizdir ve insanlar sinir ağlarını hala her şeyden daha iyi çalıştıkları için kullanırlar (en azından görüntü sınıflandırma gibi şeyler).

Elbette, topluluk birkaç yıl önce SVM'lere odaklanmış gibi CNN'lere fazla odaklanmamamız gerektiğini ve bunun yerine bir sonraki büyük şeyi aramaya devam etmemiz gerektiğini savunan insanlar da var. Özellikle, Hinton'u CNN'lerin etkililiğini araştırmayı engelleyebilecek bir şey olarak pişman ettiğini hatırladığımı düşünüyorum. ilgili posta

Sorunuzun yorumlarına göre, daha iyi bir şeyler bulmak için çalışan birçok insan var. Ben bu soruyu yanıtlamak istiyorum ancak @josh tarafından bırakılan yorumu genişleterek

Tüm modeller yanlış, ancak bazıları kullanışlıdır (Wiki)

Yukarıdaki ifade, istatistiksel modellerin doğasını tanımlamak için kullanılan genel bir gerçektir. Elimizdeki verileri kullanarak, yaklaşık bir tahmin değeri gibi yararlı şeyler yapmamıza izin veren modeller oluşturabiliriz.

Örneğin Doğrusal Regresyon

Bir dizi gözlem kullanarak, bağımsız değişken (ler) için herhangi bir değer (ler) verilen bağımlı değişken için yaklaşık bir değer verecek bir modele uyabiliriz.

Burnham, KP; Anderson, DR (2002), Model Seçimi ve Multimodel> Çıkarım: Pratik Bir Bilgi-Teorik Yaklaşım (2. baskı.):

“Bir model gerçekliğin basitleştirilmesi ya da yaklaşımıdır ve bu nedenle tüm gerçekliği yansıtmayacaktır.” “Tüm modellerin yanlış, ancak bazılarının faydalı olduğunu” belirtti. çok faydalı, yararlı, biraz yararlı, nihayetinde faydasız olarak sıralanabilir. "

Modelimizden sapmalar (yukarıdaki resimde görüldüğü gibi) rastgele görünür, bazı gözlemler çizginin altında ve bazıları yukarıdadır, ancak regresyon çizgimiz genel bir korelasyon gösterir. Modelimizdeki sapmalar rastgele görünse de, gerçekçi senaryolarda oyunda bu sapmaya neden olan diğer faktörler olacaktır. Örneğin, arabaları devam etmek için sola veya sağa dönmeleri gereken bir kavşaktan geçerken izlediklerini hayal edin, arabalar belirli bir düzende dönmezler. Otomobillerin dönüş yönünün tamamen rastgele olduğunu söyleyebilsek de, her sürücü kavşağa varıyor ve bu noktada hangi yöne döneceğine rastgele bir karar veriyor mu? Gerçekte, muhtemelen belirli bir sebepten dolayı belirli bir yere gidiyorlar ve her arabayı kendi sebeplerini sormalarını engellemeye çalışmadan, eylemlerini sadece rastgele olarak tanımlayabiliriz.

Minimal sapma ile bir modele uyabildiğimizde, bir noktada bilinmeyen, farkedilmeyen veya ölçülemeyen bir değişkenin modelimizi atması ne kadar kesin olabilir? Brezilya'da bir kelebeğin kanatlarının kanatları Teksas'ta bir kasırga patlatıyor mu?

Yalnız bahsettiğiniz Lineer ve SVN modellerini kullanmadaki sorun, değişkenlerimizi ve birbirlerinin birbirlerini nasıl etkilediklerini manuel olarak gözlemlememiz gerektiğidir. Daha sonra hangi değişkenlerin önemli olduğuna karar vermemiz ve göreve özgü bir algoritma yazmamız gerekiyor. Eğer sadece birkaç değişkenimiz varsa, bu basit olabilir, fakat ya binlerce olsaydı? Genelleştirilmiş bir görüntü tanıma modeli oluşturmak istiyorsak, bu gerçekçi bir şekilde bu yaklaşımla başarılabilir mi?

Derin Öğrenme ve Yapay Sinir Ağları (YSA), büyük miktarlarda değişken içeren büyük veri kümeleri için yararlı modeller oluşturmamıza yardımcı olabilir (örn. Görüntü kütüphaneleri). Bahsettiğiniz gibi, YSA'lar kullanarak verilere uyabilecek anlaşılmaz sayıda çözüm var, ancak bu sayı gerçekten deneme yanılma yoluyla kendimizi geliştirmek için ihtiyaç duyduğumuz çözüm miktarından farklı mı?

YSA'ların uygulanması bizim için işin çoğunu yapar, girdilerimizi ve istenen çıktılarımızı belirleyebilir (ve iyileştirmeler yapmak için daha sonra ince ayarlayabiliriz) ve çözümü bulmak için YSA'ya bırakabiliriz. Bu nedenle YSA'ların sıklıkla "kara kutu" olarak tanımlanması . Belirli bir girişten bir yaklaşım çıkarırlar, ancak (genel anlamda) bu yaklaşımlar nasıl yaklaştırıldıkları ile ilgili ayrıntıları içermez.

Ve bu, gerçekten hangi problemi çözmeye çalıştığınıza bağlı olarak ortaya çıkıyor, çünkü problem hangi model yaklaşımının daha faydalı olduğunu belirleyecektir. Modeller kesinlikle doğru değildir ve bu nedenle her zaman 'yanlış' olmanın bir unsuru vardır, ancak sonuçlarınız ne kadar doğru olursa, o kadar faydalı olurlar. Yaklaşımın nasıl yapıldığına dair sonuçlarda daha fazla ayrıntıya sahip olmak da faydalı olabilir, soruna bağlı olarak, artan hassasiyetten daha faydalı olabilir.

Örneğin, bir kişinin kredi puanını hesaplıyorsanız, regresyon ve SVM'leri kullanmak daha iyi araştırılabilecek hesaplamalar sunar. Her iki modeli de doğrudan ayarlayabilmek ve müşterilere ayrı bağımsız değişkenlerin toplam puan üzerindeki etkisini açıklamak çok faydalıdır. Bir YSA, daha kesin bir puan elde etmek için daha büyük miktarlarda değişkenleri işlemede yardımcı olabilir, ancak bu doğruluk daha yararlı olur mu?

Küresel minimum, işe yaramayacak kadar iyi olabilir, bu yüzden bulup bulmamak gerçekten umrumda değil. Bunun nedeni derin ağlar içinAğ boyutu arttıkça yalnızca onu bulma süresi katlanarak artar, ama aynı zamanda genel minimum da genellikle eğitim setinin üzerine konulmasına karşılık gelir. Böylece DNN'nin genelleme yeteneği (ki bizim gerçekten önemsediğimiz) acı çekecektir. Ayrıca, çoğu zaman, kayıp fonksiyonunun daha düşük bir değerine karşılık gelen daha net minimadan ziyade, kayıp fonksiyonunun daha düşük bir değerine karşılık gelen daha düşük minimayı tercih ederiz, çünkü ikincisi girdilerde belirsizlikle çok kötü bir şekilde ilgilenecektir. Bu, Bayesian Derin Öğrenmenin gelişmesiyle daha da belirginleşiyor. Sağlam Optimizasyon, belirsizliğin önemli olduğu gerçek dünya sorunlarına uygulandığında, çok sıklıkla Determinist Optimizasyonu yener.

Son olarak, DNN'lerin görüntü sınıflandırma ve NLP'deki XGBoost gibi yöntemlerin kıçına tekmeyi attığı bir gerçektir. Görüntü sınıflandırmadan kâr elde etmesi gereken bir şirket bunları doğru şekilde üretimde kullanılacak modeller olarak seçecektir ( ve özellik mühendisliği, veri hattı vb. Üzerine önemli miktarda para yatırıyor, ancak kullanıyorum). Bu, tüm ML ortamlarına hükmettiği anlamına gelmez: örneğin, yapısal verilerde XGBoost'tan daha kötü durumdalar (Kaggle yarışmalarının son kazananlarına bakın) ve zaman serisi modellemesinde partikül filtrelerinin yanı sıra hala yapmıyor gibi görünüyorlar. Bununla birlikte, RNN'ler üzerindeki son zamanlardaki bazı yenilikler bu durumu değiştirebilir.

Bence bu soruyu düşünmenin en iyi yolu rekabetçi pazar yeridir. Eğer derinlemesine öğrenmeye devam ederseniz ve rakipleriniz bunu kullanırsa, VE kullandığınızdan daha iyi çalışırsa, o zaman pazarda yenilirsiniz.

Sanırım bugün olan şey, kısmen, yani derin öğrenme pazardaki tüm problemler için her şeyden daha iyi çalışıyor gibi görünüyor. Örneğin, derin öğrenme kullanan çevrimiçi dil tercümanları , daha önce kullanılan tamamen dilsel yaklaşımlardan daha iyidir. Sadece birkaç yıl önce durum böyle değildi, fakat derin öğrenmedeki ilerlemeler pazarda liderlik pozisyonlarına alışanlar getirdi.

"Pazarı" tekrarlamaya devam ediyorum, çünkü derin öğrenmedeki mevcut dalgalanmayı tetikleyen şey bu. İş dünyası yararlı bir şey bulduğunda, bir şeyin geniş çapta yayılması bekleniyor. Komite, derin öğrenmenin popüler olması gerektiğine karar veren biz değiliz . Bu iş ve rekabet.

İkinci bölüm, ML'nin gerçek başarısına ek olarak, aynı zamanda tekneyi özlemekten korkmaktır. Birçok işletme paranoyaktır ki AI'yı kaçırırlarsa, işletmeler olarak başarısız olurlar. Bu korku, tüm bu danışmanlık evleri, Gartners vb. Tarafından besleniyor , CEO'lara yarın AI yapmaları veya ölmeleri gerektiğini fısıldayarak fısıldıyor.

Kimse işletmeleri derin öğrenmeye zorlamaz. IT ve Ar-Ge yeni bir oyuncakla heyecanlı. Akademi'nin tezahürat yaptığı için bu parti müzik duruncaya kadar devam edecek, yani derin öğrenmeyi bırakana kadar. Bu süre zarfında, onu bırakıp daha iyi bir çözüm bulabilirsin.

Çoğunlukla DL ve YSA'nın yararına ağırlık veren mükemmel cevaplar vardır. Fakat OP'yi daha temel bir şekilde itiraz etmek istiyorum, çünkü soru zaten sinir ağlarının matematiksel tutarsızlığını ortaya koydu.

Her şeyden önce, orada olduğu arkasında matematiksel bir teori (çoğu modeller) Sinir Ağları. Aynı şekilde, lineer regresyonun, altta yatan model lineer olmadığı sürece genellemediğini iddia edebilirsiniz. Sinir algoritmalarında, bir model varsayılır (açıkça olmasa da) ve uydurma hatası hesaplanır. Algoritmaların çeşitli buluşsal yöntemlerle değiştirilmiş olması, orijinal matematik desteğini geçersiz kılmaz. BTW, lokal optimizasyon da yararlı bir teori, matematiksel olarak tutarlı.

Bu çizgi boyunca, Sinir Ağları sadece bilim insanlarının tüm araç kutusunda bir yöntem sınıfı oluşturuyorsa, Sinir Ağlarını diğer tekniklerden ayıran çizgi hangisidir? Aslında, SVM'ler bir zamanlar bir NN sınıfı olarak kabul edildi ve aynı kitaplarda görünmeye devam ediyorlar. Öte yandan, NN'ler belki de basitleştirmelerle (doğrusal olmayan) bir regresyon tekniği olarak görülebilir. OP’yi, NN olarak etiketlemenizden bağımsız olarak daha iyi, iyi kurulmuş, etkili algoritmalar aramamız gerektiğine katılıyorum.

Bazı problemler için matematiksel titizlik ve basitlik için daha az önem verdiğimizi tahmin ediyorum, ancak bunun yararı için, mevcut durum sinir ağının görüntü işlemede örüntü tanıma gibi belirli görevleri yerine getirmede daha iyi olduğunu düşünüyorum.

Bu soruda çok var. Yazdıklarınızı tek tek gözden geçirelim.

Eğitim verilerine uygun çözümler sonsuzdur. Sadece bir tanesinin tatmin ettiği ve en iyi şekilde genelleştirebileceğini söyleyebileceğimiz kesin bir matematik denklemimiz yoktur.

Sonsuz birçok çözümün olması, öğrenme sorununun kötü bir soruna yol açmasından kaynaklanmaktadır; Ayrıca, ücretsiz öğle yemeği teoremi olmadan, hangi yöntemi kullanırsak kullanalım, tüm öğrenme problemlerinde en iyisi olduğunu garanti edemez.

Basitçe söylemek gerekirse, hangisinin en iyi şekilde genelleştiğini bilmiyoruz.

Bu ifade gerçekten doğru değil. Örnek sayısını, öğrenme yönteminin VC boyutunu ve genelleme hatasını bağlayan Vapnik ve Chervonenkis tarafından ampirik risk minimizasyonu teoremleri vardır. Bunun yalnızca belirli bir veri kümesi için geçerli olduğunu unutmayın. Böylece bir veri seti ve bir öğrenme prosedürü verildiğinde, genellemenin sınırlarını biliyoruz. Farklı veri kümeleri için ücretsiz öğle yemeği teoremi olmadığı için en iyi ve tek öğrenme prosedürü olmadığına dikkat edin.

Ağırlıkları optimize etmek dışbükey bir sorun değildir, bu yüzden küresel veya yerel bir asgari düzeyde olduğumuzu asla bilemeyiz. Öyleyse neden sinir ağlarını atıp, daha iyi bir ML modeli aramıyorsunuz?

Burada akılda tutmanız gereken birkaç şey var. Dışbükey olmayan sorunu optimize etmek dışbükey bir sorun kadar kolay değildir; bu doğru. Bununla birlikte, dışbükey olan öğrenme yöntemlerinin sınıfı sınırlıdır (doğrusal regresyon, SVM'ler) ve pratikte, çeşitli problemlerde dışbükey olmayan sınıftan (yükseltme, CNN'ler) daha kötü performans gösterirler. Bu yüzden önemli olan, pratikte sinir ağlarının en iyi şekilde çalıştığıdır. Sinir ağlarının iyi çalışmasını sağlayan çok sayıda önemli unsur olmasına rağmen:

1. Stokastik gradyan inişinden dolayı çok büyük veri setlerine uygulanabilirler.
2. SVM'lerden farklı olarak, derin ağlarla çıkarım veri setine bağlı değildir. Bu sinir ağlarını test zamanında verimli kılar.
3. Yapay sinir ağları ile öğrenme kapasitelerini doğrudan kontrol etmek (parametre sayısını düşünmek) sadece daha fazla katman ekleyerek veya daha büyük hale getirerek mümkündür. Bu çok önemlidir çünkü farklı veri setleri için daha büyük veya daha küçük modeller isteyebilirsiniz.

Anladığımız ve bir dizi matematiksel denklemle tutarlı olan bir şey mi? Lineer ve SVM bu matematiksel dezavantajlara sahip değildir ve bir matematiksel denklem grubuyla tamamen tutarlıdır. Neden sadece aynı çizgileri düşünmüyorsun (yine de lineer olmak zorunda değilsin) ve Linear ve SVM ve sinir ağları ve derin öğrenmeden daha iyi bir ML modeli ile gelmedin?

Onları anlamadıkları için işe yarayan şeyleri boşaltmak büyük bir araştırma yönü değildir. Öte yandan, onları anlamak için çaba harcamak, diğer yandan, mükemmel bir araştırma yönüdür. Ayrıca, sinir ağlarının matematiksel denklemlerle tutarsız olduğuna katılmıyorum. Oldukça tutarlılar. Onları nasıl optimize edeceğimizi ve çıkarım yapabileceğimizi biliyoruz.

Sinir ağlarını deneysel bir bakış açısıyla görüntülemeye ne dersiniz? Sadece onları yarattığımız için onları sezgisel olarak anlamak zorunda olduğumuz anlamına gelmez. Ya da yaptıklarını daha iyi anlayabilmek için onlarla oynama iznimiz yok.

İşte onlarla ilgili düşüncelerim:

• Yapısı: Onlar hiyerarşilerdir. Girdileri paylaşan ağaçlar gibidirler. Kökler girişlerdir ve yapraklar çıkış katmanıdır. Katman çıktılara ne kadar yakınsa, onlar için o kadar alakalı, soyutlama seviyesi de o kadar yüksek olur (resim piksellerden daha fazladır).
• İşlevsellik: veri ile "oynarlar", modus operandi, işler "tık" olana kadar (hata payı kabul edilebilir) nöronlardaki (ağırlık) ilişkilerle denemektir.

Bu düşündüğümüzle uyumlu. Bilimsel yöntemin nasıl işlediğiyle bile tutarlı. Dolayısıyla sinir ağlarını kırarak, bilginin neyi temsil ettiği ile ilgili genel soruyu da çözüyor olabiliriz.

Unutmayın, LMs, GLM, çok düzeyli modelleme kullanan geniş bir araştırma alanı vardır. Son zamanlarda Bayesian teknikleri ve Hamiltonian Monte Carlo (STAN topluluğu gerçekten bunun ön saflarında yer alıyor) yaşlanmış ve çok kolay bir şekilde STAN tarafından çözülen ve NN'lere veya derin ağlara ihtiyaç duymayan bazı problemler ortaya çıkmıştır. Sosyal Bilimler araştırması, Mikroekonomi, Stan'ı hızla benimseyen bu alanların iki (büyük) örneğidir.

Stan modelleri çok "okunabilir". Katsayıların gerçekte bir posterior dağılım yorumu vardır ve bu yüzden de öngörüleri yapar. Öncelikler, veri üretme sürecinin bir parçasıdır ve performans göstermesi için eşlenik olması gerekmez (gibbs gibi). Stan'a uyan model bir zevktir, aslında sinir bozucu MCMC paramlarını otomatik olarak oldukça iyi ayarlıyor ve keşif gerçekten güzel görselleştirmelerle sıkıştığında sizi uyarıyor.

Eğer denemediyseniz zaten burada muhteşem stan demoları göreceksiniz ).

Günün sonunda insanların bu konu hakkında çok fazla konuşmadıklarını düşünüyorum, çünkü bu alandaki araştırmalar ve sorunlar NN'lerde olduğu gibi "seksi" / "soğuk" değil.

Genelde matematiksel tutarlılık olmadığı zaman ne olur (bu sinir ağları durumunda en azından) ... istenildiği gibi sonuç vermezse, test setinde, patronunuz geri gelip der ki ... Hey neden yapmıyorsunuz? Bırakmayı bırak (hangi ağırlık, hangi katman, başının ne kadarını saptadığının matematiksel bir yolu olmadığı için), bu yüzden denemeyi ve umarım marjinal bir iyileşme elde ettikten sonra istediğin değil, patronun geri dönecek ve neden kilo almayı denemeyin (hangi faktör?)? ve sonra, neden bazı katmanlarda ReLU’yu veya başka bir aktivasyonu denemiyorsunuz ve yine de neden 'maksimum havuzlamayı denemiyorsunuz? hala değil, neden toplu normalizasyonu denemiyorsunuz, hala değil ya da en azından yakınsama, ancak istenen sonucu almıyorsunuz. sadece ağ mimarisini değiştir. ve yukarıdakilerin hepsini farklı kombinasyonlarda tekrarlayın! Başarılı olana kadar bir döngüde tutun!

Öte yandan, tutarlı bir SVM denediğinizde, yakınsama işleminden sonra, sonuç iyi değilse, o zaman tamam, kullandığımız doğrusal çekirdek, veriler doğrusal olamayacağından yeterince iyi değildir, farklı bir şekilli çekirdek kullanın, deneyin. Herhangi bir kamburluğunuz varsa, yine de bırakmasanız bile, SVM'nin bir sınırlaması olan farklı bir şekilli çekirdek.

Demek istediğim, sinir ağları o kadar tutarsız ki, yanlış bile değil! Asla yenilgisini kabul etmez! Mühendis / tasarımcı, istenildiği gibi çalışmaması durumunda yükü alır.