Derin Öğrenme yaklaşımlarıyla ilgili sorunlar ve alternatifler?

Son 50 yılda, sinir ağlarının popülaritesindeki artış / düşme / yükselme, AI araştırması için bir 'barometre' görevi gördü.

Bu sitedeki sorulardan, insanların çok çeşitli zor sorunlara Derin Öğrenme (DL) uygulamakla ilgilendikleri açıktır.

Bu nedenle iki sorum var:

1. Uygulayıcılar - Probleminize DL'yi kutudan çıkarmanın başlıca engelleri nelerdir?
2. Araştırmacılar - Pratik sorunların ele alınmasına yardımcı olabilecek hangi teknikleri kullanıyorsunuz (veya geliştirdiniz)? DL içinde mi yoksa alternatif bir yaklaşım mı sunuyorlar?

Özetlemek gerekirse, uygulamalı Derin Öğrenmede iki önemli sorun vardır.

• Bunlardan ilki, hesaplama olarak, kapsamlı. Normal CPU'lar Derin Öğrenme ile temel hesaplama / eğitimi bile gerçekleştirmek için çok zaman gerektirir. Bununla birlikte, GPU'lar tavsiye edilir, ancak birçok durumda yeterli olmayabilir. Tipik derin öğrenme modelleri, Polinomlarda olmak için teorik zamanı desteklemez. Bununla birlikte, aynı görevler için ML'deki nispeten daha basit modellere bakarsak, bu kadar basit Algoritmalar için gereken eğitim süresinin Polinomlarda olduğunu matematiksel garantilerimiz vardır. Bu benim için en azından muhtemelen en büyük fark.

  Bununla birlikte, bu konuyla mücadele etmek için çözümler var. Ana yaklaşımlardan biri, DL Algoritmalarını yalnızca bir dizi yinelemeye göre optimize etmektir (pratikte global çözümlere bakmak yerine, algoritmayı iyi bir yerel çözüme optimize etmek yerine "İyi" kriteri kullanıcı tarafından tanımlanır).

• Genç derin öğrenme meraklıları için biraz tartışmalı olabilecek bir başka konu, Derin Öğrenme algoritmalarının teorik anlayış ve akıl yürütmeden yoksun olmasıdır. Derin Sinir Ağları, El yazma tanıma, Görüntü işleme, Kendinden Sürüş Arabaları, Sinyal İşleme, NLP ve Biyomedikal Analiz gibi birçok durumda başarıyla kullanılmıştır. Bu vakaların bazılarında insanları bile aştılar. Bununla birlikte, teorik olarak İstatistiksel Yöntemlerin çoğu kadar sağlam değildirler.

  Detaylara girmeyeceğim, bunu size bırakıyorum. Her Algoritma / metodoloji için artıları ve eksileri vardır ve DL bir istisna değildir. Birçok durumda kanıtlandığı gibi çok faydalıdır ve her genç Veri Bilimcisi en azından DL'nin temellerini öğrenmelidir. Bununla birlikte, nispeten basit problemler söz konusu olduğunda, bunları desteklemek için çok sayıda teorik sonuç / garantiye sahip oldukları için ünlü İstatistiksel yöntemleri kullanmak daha iyidir. Dahası, öğrenme açısından bakıldığında, basit yaklaşımlarla başlamak ve önce bunlarda uzmanlaşmak her zaman daha iyidir.

Kendimi pratisyen olarak adlandırmak için ML / DL ile çok az deneyimim var, ancak ilk soruya cevabım burada:

Özünde DL, sınıflandırma görevini iyi çözer. Her pratik problem sınıflandırma açısından yeniden ifade edilemez. Sınıflandırma alanının önceden bilinmesi gerekir. Sınıflandırma herhangi bir veri türüne uygulanabilse de, NN'yi uygulanacağı belirli alanın örnekleriyle eğitmek gerekir. Alan aynı noktada (NN yapısı) korunurken bir noktada değiştirilirse, yeni örneklerle yeniden eğitilmesi gerekir. Dahası, en iyi sınıflandırıcılar bile "boşluklara" sahiptir - Değişken Örnekler , bir eğitim örneğinden kolayca oluşturulabilir, öyle ki değişiklikler insan tarafından algılanamaz, ancak eğitimli model tarafından yanlış sınıflandırılır.

Soru 2. Hiper boyutlu hesaplamanın Derin Öğrenmeye alternatif olup olmadığını araştırıyorum. Hyper-D, bilgileri kodlamak için çok uzun bit vektörleri (10.000 bit) kullanır. Vektörler rastgeledir ve bu nedenle yaklaşık olarak diktirler. Bu tür vektörlerin bir koleksiyonunun gruplanması ve ortalamasının alınmasıyla bir "küme" oluşturulabilir ve daha sonra bilinmeyen bir vektörün kümeye ait olup olmadığını görmek için sorgulanabilir. Set bir kavram ya da genel bir imaj, vb. Olarak kabul edilebilir. Eğitim, tanıma kadar hızlıdır. Yapılması gereken Derin Öğrenmenin başarılı olduğu alanları simüle etmek ve Hyper-D'yi onunla karşılaştırmak.

Bir matematik bakış açısından, birkaç katmanı olan derin ağlardaki ana sorunlardan biri kayboluyor veya kararsız gradyanlardır . Her ek gizli katman, önemli ölçüde daha yavaş öğrenir ve neredeyse ek katmanın faydasını geçersiz kılar.

Modern derin öğrenme yaklaşımları bu davranışı geliştirebilir, ancak basit, eski moda sinir ağlarında bu iyi bilinen bir konudur. Daha derinlemesine çalışma için burada iyi yazılmış bir analiz bulabilirsiniz .