Makine (Derin) Öğrenmede temel teoremler nelerdir?

Al Rahimi, NIPS 2017'de şu anki Makine Öğrenmesini Simya ile karşılaştırarak çok kışkırtıcı bir konuşma yaptı . İddialarından biri, temel sonuçları ispatlayan basit teoremlere sahip olmak için teorik gelişmelere geri dönmemiz gerektiğidir.

Bunu söylediğinde, ML için ana teoremleri aramaya başladım, ancak ana sonuçları anlatan iyi bir referans bulamadım. Öyleyse benim sorum şu: ML / DL'deki mevcut ana matematik teoremleri (teorisi) nelerdir ve neyi ispatlar? Vapnik'in çalışmalarının burada bir yerlere gideceğini tahmin ediyorum. Ek olarak, temel teorik açık problemler nelerdir?

Yorumlarda yazdığım gibi, bu soru benim için çok geniş görünüyor, ama bir cevap vermeye çalışacağım. Bazı sınırları belirlemek için, ML'nin çoğunun altında yatan küçük bir matematikle başlayacağım ve daha sonra DL için son sonuçlara odaklanacağım.

---

Önyargı-varyans değiş tokuş onu bahsetmeden başlayamaz böylece, ML vs. sayısız kitaplar, kurs, MOOCs, bloglar, tweet içinde anılır:

$$\mathbb{E}[(Y-\hat{f}(X))^2|X=x_0]=\sigma_{\epsilon}^2+\left(\mathbb{E}\hat{f}(x_0)-f(x_0)\right)^2+\mathbb{E}\left[\left(\hat{f}(x_0)-\mathbb{E}\hat{f}(x_0)\right)^2\right]=\text{Irreducible error + Bias}^2 \text{ + Variance}$$

Burada kanıtı: https://web.stanford.edu/~hastie/ElemStatLearn/

---

Gauss-Markov Teoremi (evet, lineer regresyon Makine Öğrenmesi önemli bir parçası olarak kalacaktır, hiçbir ne önemi: onunla anlaşma) doğrusal model doğrudur ve hata teriminin bazı varsayımlar, EKK geçerli olduğunda minimum vardır, açıklık getirmektedir Doğrusal modelin yansız doğrusal tahmin ediciler arasında ortalama kare hatası (yukarıdaki ifadede sadece ) . Bu nedenle, daha iyi bir ortalama kare hatasına sahip olan önyargılı (veya doğrusal olmayan tahmin edicilere) sahip doğrusal tahmin ediciler ve dolayısıyla OLS'den daha iyi beklenen bir tahmin hatası olabilir. Ve bu, ML'nin bir işgücü olan tüm normalleştirme cephaneliğine (sırt regresyonu, LASSO, ağırlık azalması vb.) Yol açmaktadır. Burada bir kanıt (ve sayısız başka kitapta) verilmiştir: $\text{Bias}^2 \text{ + Variance}$https://www.amazon.com/Linear-Statistical-Models-James-Stapleton/dp/0470231467

James Cin-Stein teoremi , yorumlarda Carlos Cinelli tarafından belirtildiği gibi, muhtemelen yorumlamada kesinlikle daha eğlenceli ve düzenli hale getirme yaklaşımlarının patlamasıyla daha alakalı . Düşünün bağımsız, aynı varyansa ama değil aynı ortalama Gauss rastgele değişkenleri:$n$

$$X_i|\mu_i\sim \mathcal{N}(\theta_i,\sigma^2), \quad i=1,\dots,n$$

Başka bir deyişle, bir bileşen Gauss rastgele vektörü var . Biz bir örnek var dan ve biz tahmin etmek istiyoruz . MLE (ve ayrıca UMVUE) tahmincisi açıkça . James-Stein tahmincisini düşünün$n-$$\mathbf{X}\sim \mathcal{N}(\boldsymbol{\theta},\sigma^2I)$$\mathbf{x}$$\mathbf{X}$$\boldsymbol{\theta}$$\hat{\boldsymbol{\theta}}_{MLE}=\mathbf{x}$

$$\hat{\boldsymbol{\theta}}_{JS}= \left(1-\frac{(n-2)\sigma^2}{||\mathbf{x}||^2}\right)\mathbf{x}$$

Açıkça, eğer , MLE tahminini sıfıra doğru küçültürse . James-Stein teoremi için belirtmektedir , kesinlikle hakim , yani sahip olduğu düşük MSE . Pheraps, şaşırtıcı bir şekilde, başka herhangi bir sabite doğru daraltsak bile , hala hakimdir. . beri$(n-2)\sigma^2\leq||\mathbf{x}||^2$$\hat{\boldsymbol{\theta}}_{JS}$ $n\geq4$$\hat{\boldsymbol{\theta}}_{JS}$ $\hat{\boldsymbol{\theta}}_{MLE}$$\forall \ \boldsymbol{\theta}$$\boldsymbol{c}\neq \mathbf{0}$$\hat{\boldsymbol{\theta}}_{JS}$$\hat{\boldsymbol{\theta}}_{MLE}$$X_i$bağımsız olduklarından, İspanya'da üretilen elma sayısından bir örnek de dahil olmak üzere, ilgisiz üç kişinin boyunu tahmin etmeye çalışırken, tahminimizi ortalama olarak geliştirmemiz garip görünebilir . Buradaki kilit nokta "ortalama" dır: parametre vektörünün tüm bileşenlerinin eşzamanlı tahmini için ortalama kare hatası daha küçüktür, ancak bir veya daha fazla bileşen için kare hatası daha büyük olabilir ve aslında çoğu zaman "aşırı" gözlemleriniz var.

Tek değişkenli tahmin durumu için gerçekten de "en uygun" tahmin edici olan MLE'nin, çok değişkenli tahmin için reddedildiğini tespit etmek, o zamanlar oldukça şok oldu ve ML Parlance'de daha iyi düzenlenmesi olarak bilinen büzülmeye büyük ilgi duymasına neden oldu. Biri karışık modellerle bazı benzerliklere ve “borçlanma gücü” kavramına dikkat çekebilir: burada tartışıldığı gibi gerçekten bir bağlantı var.

Büzülmeyle ilgili birleşik bakış: Stein'in paradoksu, ridge regresyonu ve karışık modellerde rastgele etkiler arasındaki ilişki nedir?

Kaynak: James, W., Stein, C., Kuadratik Kayıp Tahmini . Dördüncü Berkeley Sempozyumu'nun Matematiksel İstatistik ve Olasılık Üzerine Bildirileri, Cilt 1: İstatistik Teorisine Katkıları, 361-379, California Press Üniversitesi, Berkeley, Kaliforniya, 1961

---

Temel Bileşen Analizi, boyut küçültme konusunun anahtarıdır ve Tekil Değer Ayrışımına dayanır : Her bir gerçek matris (teorem karmaşık matrislere kolayca genelleşse de) yazabiliriz.$N\times p$$X$

$$X=UDV^T$$

burada boyutu dik olan, a, negatif olmayan çapraz elemanları ve diyagonal matris boyutu daha diktir. Nasıl hesaplanacağına dair kanıtlar ve algoritmalar için bakınız: Golub, G. ve Van Loan, C. (1983), Matrix hesaplamaları , John Hopkins Üniversitesi basını, Baltimore.$U$$N \times p$$D$$p \times p$$U$$p \times p$

---

Mercer teoremi ince levha spline, destek vektör makineleri, bir Gauss rastgele sürecin Kriging tahmin vb Temelde, sözde arkasında iki teoremleri biridir: Farklı ML yöntemlerin bir çok kurucu taş çekirdek hile . Let , bir symmmetric sürekli fonksiyon veya çekirdek olabilir. Eğer pozitif yarı yarı-sınırlı ise, negatif olmayan özdeğerlere karşılık gelen öz fonksiyonların ortonormal bir temelini kabul eder:$K(x,y):[a,b]\times[a,b]\to\mathbb{R}$$K$

$$K(x,y)=\sum_{i=1}^\infty\gamma_i \phi_i(x)\phi_i(y)$$

Bu teorinin ML teorisi için önemi, örneğin Gauss süreçleri üzerine Rasmussen & Williams'ın metinleri gibi ünlü metinlerde aldığı referansların sayısıyla kanıtlanmaktadır .

Referans: J. Mercer, Pozitif ve negatif tip fonksiyonlar ve integral denklem teorisi ile bağlantıları. Londra Kraliyet Topluluğu'nun Felsefi İşlemleri. Matematiksel veya Fiziksel Karakterli Kağıtlar İçeren A Serisi, 209: 415-446, 1909

Ayrıca Konrad Jörgens, Lineer integral operatörleri , Pitman, Boston, 1982'de daha basit bir sunum var .

---

Mercer teoremiyle birlikte, çekirdek numarasının teorik temelini ortaya koyan diğer teorem, temsilci teoremidir . Örnek bir boşluk ve simetrik bir pozitif yarı-yarı çekirdekli olduğunu varsayalım . Ayrıca, , ile ilişkili RKHS olsun . Son olarak, bir eğitim örneği olsun. Teorem, fonksiyonlarının hepsinin özfonksiyonları açısından sonsuz bir temsil olduğunu kabul .$\mathcal{X}$$K: \mathcal{X} \times \mathcal{X}\to \mathbb{R}$$\mathcal{H}_K$$K$$S=\{\mathbb{x}_i,y_i\}_{i=1}^n$$f\in \mathcal{H}_K$$K$Mercer teoremi nedeniyle, düzenli riski en aza indiren, eğitim noktalarında değerlendirilen çekirdeğin oluşturduğu temelde daima sınırlı bir temsilidir;$n$

$$\min_{f \in \mathcal{H}_K} \sum_{i=1}^n L(y_i,f(x_i))+\lambda||f||^2_{\mathcal{H}_K}=\min_{\{c_j\}_1^\infty} \sum_{i=1}^n L(y_i,\sum_j^\infty c_j\phi_j(x_i))+\lambda\sum_j^\infty \frac{c_j^2}{\gamma_j}=\sum_{i=1}^n\alpha_i K(x,x_i)$$

(teorem son eşitliktir). Kaynaklar: Wahba, G. 1990, Gözlemsel Veriler için Spline Modelleri , SIAM, Philadelphia.

---

Evrensel yaklaşım teoremi zaten kullanıcı Tobias Windisch bahsettiği ve fonksiyonel analize olandan bir ilk bakışta o kadar görünmeyebilir bile, çok daha az alakalı Makine Öğrenmesi için değil. Sorun şu ki teorem sadece böyle bir ağın var olduğunu söylüyor, fakat:

• Gizli Katmanın büyüklüğü ile hedef fonksiyonunun karmaşıklık ölçüsü arasında , örneğin Toplam Varyasyon gibi herhangi bir korelasyon vermez . Eğer ve sabit bir hata için gerekli Growed ile katlanarak , daha sonra tek bir gizli katman nöral ağlar işe yaramaz.$N$$f(x)$$f(x)=\sin(\omega x):[0,2\pi]\to[-1,1]$$N$$\epsilon$$\omega$
• ağ eğer demiyor olduğu öğrenilebilir . Başka bir deyişle, ve verildiğinde , NN boyutunun hiper küpte gerekli tolerans ile yaklaşık olarak olacağını tahmin edersiniz. O zaman beden eğitim setlerini ve örneğin back-prop gibi bir öğrenme prosedürünü kullanarak , yükselterek geri kazanabileceğimize dair bir garantimiz var mı?$F(x)$$f$$\epsilon$$N$$f$$M$$M$$F$
• Sonunda, ve hepsinden kötüsü, sinir ağlarının tahmin hatası hakkında bir şey söylemiyor. Gerçekten ilgi duyduğumuz şey, en azından bedenindeki tüm antrenman setleri üzerinden ortalama tahmin hatasıdır . Teorem bu konuda yardımcı olmuyor.$M$

Hornik'in bu teorem versiyonuyla ilgili daha küçük bir acı noktası, ReLU aktivasyon işlevleri için geçerli olmadığıdır. Ancak, Bartlett o zamandan beri bu açığı kapsayan genişletilmiş bir versiyonunu kanıtladı.

---

Şu ana kadar, düşündüğüm tüm teoremlerin herkes tarafından iyi bilindiğini tahmin ediyorum. Şimdi eğlenceli şeyler zamanı geldi :-) Hadi birkaç Derin Öğrenme teoremini görelim :

Varsayımlar:

• Derin sinir ağı (sabit, , ve düzenlilestirme kaybı olan çıkışları ile sinir ağının giriş ilişkilendiren fonksiyonudur) her iki toplamlarıdır olumlu aynı derecede homojen fonksiyonlar$\Phi(X,W)$$W$$\Phi_W(X)$$\Theta(W)$
• kayıp fonksiyonu dışbükeydir ve , kompakt bir setinde farklılaştırılabilir.$L(Y,\Phi(X,W)$$X$$S$

Sonra:

• herhangi bir lokal minimum bir alt ağ böyle , (a global minimum sıfır ağırlıkları olan teoremi 1 )$L(Y,\Phi(X,W))+\lambda\Theta(W)$$\Phi(X,W)$
• Kritik bir ağ boyutunun üstünde, yerel iniş her zaman herhangi bir başlangıçtan itibaren küresel bir asgariye dönüşür ( Teorem 2 ).

Bu çok ilginç: Sadece konvolüsyonlu katmanlar, ReLU, max-pooling, tamamen bağlanmış ReLU ve lineer katmanlardan yapılan CNN'ler pozitif homojen fonksiyonlar iken, sigmoid aktivasyon fonksiyonlarını dahil edersek, bu daha doğrusu kısmen açıklanabilir. Bazı ReLU + max havuzlama uygulamalarında sigmoidlere göre performans. Dahası, teoremler yalnızca , aynı derecede homojen olduğunda da geçerlidir . Şimdi, eğlenceli bir gerçektir ki veya regularisation olumlu homojen olmasına rağmen, aynı derecede yok (derecesi$\Theta$$W$$\Phi$$l_1$$l_2$$\Phi$$\Phi$, daha önce bahsedilen basit CNN durumunda, katman sayısı ile artar). Bunun yerine, parti normalizasyonu ve yol-SGD gibi daha modern düzenlileştirme yöntemleri, aynı derecede pozitif homojen bir normalleştirme fonksiyonuna tekabül eder ve bu çerçeveye tam olarak uymamakla birlikte bırakma, buna benzer şekilde güçlü benzerliklere sahiptir. Bu, yüksek doğruluk elde etmek için, ve düzenlemelerinin neden yeterli olmadığını ; Bildiğim kadarıyla, bu, Al Rahimi'nin konuşmasında doğru bir şekilde belirtildiği gibi, toplu normalleşmenin etkinliğini açıklayan en yakın şey, aksi halde çok belirsiz.$\Phi$$l_1$$l_2$

Bazı insanların Teorem 1'e dayanarak yaptıkları bir başka gözlem, ReLU'nun neden ölü nöronlar problemiyle bile iyi çalıştığını açıklayabildiğidir . Bu sezgiye göre, bazı ReLU nöronlarının “ölmesi” (sıfır aktivasyona gitmesi ve daha sonra asla iyileşmemesi, çünkü için ReLU'nun derecesi sıfır olduğu için) bir özellik değil, bir özelliktir. ", eğer asgari seviyeye ulaştıysak ve tam bir alt ağ ölmüşse, o zaman kesinlikle küresel bir asgari seviyeye ulaştık ( Teorem 1 hipotezi altında$x<0$). Bir şeyleri özlüyorum, ama bu yorumun çok zor olduğunu düşünüyorum. Her şeyden önce, eğitim sırasında ReLU'lar yerel bir asgariye ulaşmadan çok önce "ölebilir". İkincisi, ReLU birimleri "öldüğünde", her zaman tam bir alt ağ üzerinde yaptıkları kanıtlanmalıdır: bunun gerçekten doğru olduğu tek durum, sadece bir gizli katmana sahip olduğunuz zaman , tabii ki her bir nöron bir alt ağ. Fakat genel olarak “ölü nöronları” iyi bir şey olarak görmekte çok dikkatli olurdum.

Referanslar:

B. Haeffele ve R. Vidal, Yapay Sinir Ağı Eğitiminde Global İyilik , IEEE Bilgisayarla Görme ve Örüntü Tanıma Konferansı, 2017.

B. Haeffele ve R. Vidal. Tensör faktoringinde derin iyimserlik, derin öğrenme ve ötesi , arXiv, abs / 1506.07540, 2015.

---

Görüntü sınıflandırması, doğal görüntülerde yaygın olarak bulunan ancak bilgi içermeyen konum, poz, bakış açısı, ışıklandırma, ifade vb. Gibi çeşitli dönüşümlerde değişmez (veya en azından sağlam, yani çok zayıf bir şekilde duyarlı) olan öğrenme gösterimleri gerektirir. sınıflandırma görevi için. Konuşma tanıma için de aynı şey: perde, ses seviyesi, hız, aksandaki değişiklikler. vb., kelimenin sınıflandırmasında bir değişikliğe yol açmamalıdır. CNN'lerde kullanılan evrişim, maksimum havuz, ortalama havuz vb. İşlemler tam da bu amaca sahiptir, bu yüzden sezgisel olarak bu uygulamalar için çalışacaklarını umuyoruz. Fakat bu sezgiyi destekleyen teoremlerimiz var mı? Bir yoktur dikey çeviri değişmezliği teoremiadı ne olursa olsun, dikey yönde çeviri ile ilgisi yoktur, ancak temelde, takip eden katmanlarda öğrenilen özelliklerin katman sayısı arttıkça değişmez hale geldiğini söyleyen bir sonuçtur. Bu eski bir karşıdır yatay çeviri değişmezliği teoremi ama ancak saçılma ağları tutan değil cnns için. Bununla birlikte teorem çok tekniktir:

• (giriş resminizin) kare-bütünleştirilebilir olduğunu varsayalım$f$
• , girdi görüntüsünü çevrilmiş bir kopyasına çeviri operatörü ile çalıştığını varsayalım . Öğrenilmiş bir evrişim çekirdeği (filtre) bu hipotezi yerine getirir.$T_t$$f$$T_t f$
• ağınızdaki tüm filtrelerin, doğrusal olmayanların ve havuzlamanın , temelde bir tür zayıf düzenlilik ve sınırlılık koşulları olan zayıf bir kabul edilebilirlik koşulunu sağladığını varsayalım . Bu koşullar, öğrenilmiş konvolüsyon çekirdeği (her bir tabaka üzerinde bazı normalizasyon işlemleri yapıldığı sürece), ReLU, sigmoid, tanh, vb. Doğrusal olmayanlar ve ortalama havuzlama ile yerine getirilir; Bu yüzden bazı (hepsi değil) gerçek dünya CNN mimarilerini kapsar.
• Son olarak, her bir katmanın bir havuzlama faktörü olduğunu varsayalım, yani her bir katmana bir havuzlama uygulanmış ve bilgileri etkili bir şekilde atar. koşulu ayrıca teoremin daha zayıf bir sürümü için de yeterli olacaktır.$n$$S_n> 1$$S_n\geq 1$

İle gösterir tabaka çıkış girişi CNN, . Sonunda:$\Phi^n(f)$$n$$f$

$$\lim_{n\to\infty}|||\Phi^n(T_f f)-\Phi^n(f)|||=0$$

(üçlü çubuklar bir hata değildir) temel olarak her katmanın gittikçe daha değişken hale gelen özellikleri öğrendiği ve sonsuz derinlikte bir ağ sınırında mükemmel bir değişmez mimariye sahip olduğumuz anlamına gelir. CNN'ler sınırlı sayıda katmana sahip olduklarından, uygulayıcılar tarafından iyi bilinen bir çeviri değişmezi değildir.

Kaynak: T. Wiatowski ve H. Bolcskei, Özellik Ekstraksiyonuna Yönelik Derin Döngüsel Sinir Ağlarının Matematiksel Teorisi , arXiv: 1512.06293v3 .

---

Sonuç olarak, Derin Sinir Ağı'nın Vapnik-Chervonkensis boyutuna veya Rademacher karmaşıklığına bağlı olarak genelleme hatası için sayısız sınır, bazı DNN'lerin neden bu kadar iyi çalıştıklarını açıklayamayacakları anlamına gelen parametrelerin sayısıyla birlikte büyüyor. Uygulamada, parametre sayısı, eğitim örneklerinden daha büyük olsa bile. Nitekim, VC teorisi Derin Öğrenmede çok kullanışlı değildir.

Tersine, geçen yılın bazı sonuçları, bir DNN sınıflandırıcısının genelleme hatasını sinir ağının derinliğinden ve boyutundan bağımsız bir miktarla sınırladı, ancak yalnızca eğitim setinin yapısına ve giriş alanına bağlı. Öğrenme prosedürü ve eğitim seti ve giriş alanı ile ilgili bazı teknik varsayımlar altında, ancak DNN (özellikle CNN'ler tamamen kaplanmıştır) hakkında çok az varsayımla (özellikle CNN'ler tamamen kaplanmıştır), daha sonra olasılık en az ,$1-\delta$

$$\text{GE} \leq \sqrt{2\log{2}N_y\frac{\mathcal{N_{\gamma}}}{m}}+\sqrt{\frac{2\log{(1/\delta)}}{m}}$$

nerede:

• $\text{GE}$ , beklenen kayıp (olası tüm test noktalarında öğrenilen sınıflandırıcının ortalama kaybı) ve ampirik kayıp (sadece iyi eğitim alıştırma seti hatası) arasındaki fark olarak tanımlanan genelleme hatasıdır.
• $N_y$ sınıfların sayısıdır
• $m$ eğitim setinin büyüklüğüdür
• $\mathcal{N_{\gamma}}$ , veriyi kapsayan , girdi alanının yapısına ve eğitim setindeki farklı sınıfların noktaları arasındaki minimum ayrıştırmaya ilişkin bir miktarın kapsayan sayısıdır . Referans:

J. Sokolic, R. Giryes, G. Sapiro ve M. Rodrigues. Değişmeyen sınıflandırıcıların genelleme hatası . AISTATS'ta, 2017

Bence sizin aldatmayacağınız teorem, istatistiksel öğrenmede oldukça temel olarak kabul edilir.

Teoremi (Vapnik ve Chervonenkis, 1971) Let etki alanı ile ilgili fonksiyonların bir hipotez sınıf olmak için ve kayıp fonksiyonu olsun kaybı. Sonra, aşağıdakiler eşdeğerdir:$H$$X$$\{0, 1\}$$0 − 1$

1. $H$ düzgün yakınsaklık özelliğine sahiptir.
2. $H$ , PAC öğrenilebilirdir.
3. $H$ sınırlı bir VC boyutuna sahiptir.

Burada nicel bir sürümde kanıtlanmıştır:

VN Vapnik ve AY Chervonenkis: Olayların göreceli sıklıklarının olasılıklarına eşit yakınsaması üzerine. Olasılık Teorisi ve Uygulamaları, 16 (2): 264-280, 1971.

Yukarıda formüle edilmiş olan versiyon, öğrenme teorisinden elde edilen diğer sonuçların hoş bir ifadesiyle birlikte burada bulunabilir :

Shalev-Shwartz, Shai ve Shai Ben-David. Makine öğrenmeyi anlama: Teoriden algoritmaya. Cambridge üniversitesi basını, 2014.

Çekirdek numarası, birçok yerde kullanılan ve Hilbert Spaces hakkında birçok soyut matematikten gelen genel bir fikirdir. Burada cevap yazmam için çok fazla teori var (kopyala ...), ancak bunu gözden geçirirseniz, onun sağlam temelleri hakkında iyi bir fikir edinebilirsiniz:

http://www.stats.ox.ac.uk/~sejdinov/teaching/atml14/Theory_2014.pdf

En sevdiğim, Kraft eşitsizliği.

Teoremi: herhangi bir açıklama yöntemi için sonlu Alfabe için , uzunlukları kod sözcüğü eşitsizliği tatmin gerekir .$C$$A = \{1,\dots, m\}$$L_C(1), \dots, L_C(2)$$\sum_{x \in A} 2 ^{-L_C(x)} \leq 1$

Bu eşitsizlik , olasılık yoğunlukları ile sıkıştırma ile ilgilidir : bir kod verildiğinde, bu kod tarafından temsil edilen sonucun uzunluğu, kod tarafından tanımlanan bir modelin negatif log olasılığıdır.

Ayrıca, makine öğrenmesi için bedava öğle yemeği teoremi, tüm sekansların sıkıştırılamayacağını belirten hiper sıkıştırma teoremi olmayan daha az bilinen bir kardeşe sahiptir.

Bunu ana teorem olarak adlandırmazdım, ama ileriye dönük (bazen Evrensel yaklaşım teoremi olarak da adlandırılır), ileri beslemeli sinir ağlarının yaklaşık güçlerini belirttiği için ilginç (ve en azından benim için şaşırtıcı olanı) olduğunu düşünüyorum.

Teorem: Let sabit olmayan bir ve monotinically artan sürekli bir fonksiyon olsun. Herhangi bir süren bir için işlev ve herhangi bir , bir integern orada mevcut ve algılayıcı, bir çok katmanlı bir gizli katmanlı sahip sahip Nöronlar aktivasyon işlev öyle$\sigma$$f:[0,1]^m\to\mathbb{R}$$\epsilon>0$$N$$F$$N$$\sigma$

$$|F(x)-f(x)|\le\epsilon$$ tümü için .$x\in[0,1]^m$

Elbette, bu bir varoluş ifadesi olduğundan, uygulayıcılar için etkisi ihmal edilebilir düzeydedir.

Bir kontrol bulunabilir Hornik, Muitilayer İleri besleme Networks yaklaşım Özellikleri, sinir ağları 4 (2), 1991,

Bu soruya odaklanan hoş bir yazı (genel makine öğrenme teoremleri yerine özellikle derin öğrenme) burada:

https://medium.com/mlreview/modern-theory-of-deep-learning-why-does-it-works-so-well-9ee1f7fb2808

Derin sinir ağlarının bu kadar iyi genellenebilmesi için ortaya çıkan ana teoremlerin erişilebilir bir özetini sunar.