Sinir ağları için çekirdekleşme hilesi

Sinir ağları ve SVM'leri öğreniyorum. Okuduğum öğreticiler SVM'ler için çekirdekleştirmenin ne kadar önemli olduğunu vurguladı. Bir çekirdek işlevi olmadan, SVM'ler yalnızca doğrusal bir sınıflandırıcıdır. Çekirdekleştirme ile SVM'ler, onları daha güçlü bir sınıflandırıcı yapan doğrusal olmayan özellikler de içerebilir.

Bana öyle geliyor ki, sinir ağlarına çekirdekleme de uygulanabiliyor gibi gözüküyor, ancak gördüğüm sinir ağlarındaki öğreticilerin hiçbiri bundan bahsetmedi. İnsanlar çekirdek hilesini sinir ağları ile sık kullanıyor mu? Birisinin büyük bir fark yaratıp yaratmadığını görmek için onunla deney yapması gerektiğini düşünüyorum. Çekirdekleşme sinir ağlarına SVM'lere yardımcı olduğu kadar yardımcı olur mu? Neden ya da neden olmasın?

(Çekirdek numarayı sinir ağlarına dahil etmenin birkaç yolunu hayal edebilirim. Bir yol, girdiyi ön işlemek için uygun bir çekirdek işlevini, bir vektörü, daha yüksek boyutlu bir girdiye, bir vektöre kullanmak olacaktır. içinde için . çok tabakalı sinir ağları için, bir başka alternatif sinir ağının her seviyede bir çekirdek fonksiyonu uygulamak için olabilir.)$\mathbb{R}^n$$\mathbb{R}^{m}$$m\ge n$

Terminolojiyi konuyu kafa karıştırıcı bir şekilde karıştırıyor olabileceğinizi düşünüyorum. SVM'ler doğrusal bir karar sınırı, yani bir hiper düzlem tanımlayarak çalışır. Bu hiper düzlemi noktalar arasındaki iç ürünler olarak tanımlayabiliriz. Bu nedenle, bu iç ürünü yüksek boyutlu, hatta sonsuz boyutlu bir alanda tanımlarsak, bu yeni alanda köprü gibi görünen şey orijinal özellik alanında gerekli bir doğrusal değildir. Yani her şey hala doğrusal, yaptığımız tek şey (yeni iç çarpım yoluyla) noktaları daha yüksek boyutlu bir alana gömmek. Belki de bütün bunları zaten biliyorsunuzdur.

Sinir ağları ile ilgili dikkate alınması gereken 2 konu vardır. İlki @Yuval Filmus tarafından getirildi, çünkü gizli katman sinir ağları noktalar arasındaki iç ürünlerden daha fazlasına bağlı. Gizli katmanı kaldırırsanız, sadece çekirdek sürümleri olan lojistik regresyon gibi bir şeyiniz vardır . Belki bunun üstesinden gelmenin bir yolu var ama görmüyorum.

İkinci olarak, girdiyi daha yüksek fakat sonsuz olmayan bir boyutsal uzaya yansıtarak önişlemeden bahsediyorsunuz. Sinir ağları bir karar yüzeyi tanımlar ve bu yüzey doğrusal olmakla sınırlandırılmaz. Bu, noktaların daha yüksek boyutlu bir alana yansıtılmasından elde edilen kazancın farklı olacağı anlamına gelir, yani iyi bir ağırlık seti bulmayı kolaylaştırabilir, ancak modelimizi daha güçlü hale getirmedik. Bu , bize yeterince çok sayıda gizli ünite verildiğinde, herhangi bir işleve (bazı kısıtlamalar altında) yaklaşabileceğimizi söyleyen Evrensel yaklaşım teoreminden gelir. Bu son ifade oldukça boş ve bundan bahsetmekten nefret ediyorum. Size doğru ağırlıkları nasıl bulacağınız hakkında bir şey söylemezseniz, bir uygulama açısından tabloya fazla bir şey getirmez.

Çekirdek hile, SVM'ler için öğrenme sürecinin özel bir özelliği nedeniyle SVM'ler için mümkündür. Sinir ağları bu özelliğe sahip gibi görünmüyor (anlayabildiğim kadarıyla).

Let Eğitim seti noktalar olabilir. Normalde, bir makine öğrenme algoritmasının değerlerine bakmasını beklersiniz . Bununla birlikte, SVM öğrenme süreci oldukça dikkate değer bir özelliğe sahiptir. değerlerini bilmek gerekmez . Herhangi bir giriş noktası çifti için değerini hesaplamak yeterlidir (yani, seçtiğiniz herhangi bir giriş vektörü çifti için nokta-ürünü hesaplamak için); SVM öğrenme sürecinin tüm ihtiyacı budur.$x_1,\dots,x_n \in \mathbb{R}^d$$x_i$$x_i$$x_i \cdot x_j$

SVM öğrenme sürecinin bu özel özelliği, çekirdek hilesini kullanmamızı sağlar. Bir çekirdek fonksiyonu tanımlayabiliriz, böylece girişlerin doğrusal olmayan bazı dönüşümlerinin nokta . Girdi vektörlerini doğrusal olmayan bir dönüşüm (bazı ) dönüştürüyorsak, . Bir sonraki harika özellik, bazı doğrusal olmayan dönüşümler için , açık bir şekilde hesaplamaktan ve daha sonra nokta ürünlerini hesaplamaktan daha verimli bir şekilde hesaplayabilmenizdir ; hesaplayabilirsiniz$K$$K(x_i,x_j)$$\phi : \mathbb{R}^d \to \mathbb{R}^m$$m > d$$K(x_i,x_j) = \phi(x_i) \cdot \phi(x_j)$$\phi$$K(x_i,x_j)$$\phi(x_i),\phi(x_j)$$K(x_i,x_j)$içerisinde bir süre (örneğin) yerine zaman.$O(d)$$O(m)$

Ne yazık ki, sinir ağları bu serin hileden yararlanmak için herhangi bir yolu yok gibi görünüyor, çünkü sinir ağları için öğrenme süreci sadece (veya ) değerlerinden daha fazlasına bağlı gibi görünüyor ; tüm 'nin tam değerlerini gerektirir . Bu yüzden, eğer istersek, girişleri doğrusal olmayan bir ağ üzerinden doğrusal olmayan bir fonksiyonla önceden dönüştürebilmemize rağmen, SVM'ler için yapabileceğimiz gibi bunu daha verimli hale getirmek için çekirdek hile kullanmanın bir yolu yok gibi görünüyor.$x_i \cdot x_j$$K(x_i,x_j)$$x_i$

Yaptığım bazı gözlemleri paylaşmak istiyorum. Girdi boyutu: 144. Bir sinir ağı eğitimi aldım ve eğitim sırasında gizli katmanların çıktıları lojistik regresyon için girdi olarak verildi ve modele uyulduktan sonra ortalama kayıp fonksiyonu değeri çizildi.

Katman boyutundaki artışla, gizli katmanların özelliklerinin veya çıktılarının doğrusal olarak ayrılabilir hale geldiğini görebiliriz. Bu, çekirdeklendirilmiş özellik vektörünü öğrenmenin amacı olsa da , sinir ağı bunu dahili olarak yapıyor gibi görünüyor.