Çekirdek nedir ve onu diğer işlevlerden ayıran nedir?

13

Çekirdek işlevlerine dayanan birçok makine öğrenme algoritması var gibi görünüyor. SVM'ler ve NN'ler iki değil. Peki bir çekirdek fonksiyonunun tanımı nedir ve geçerli olması için gereksinimler nelerdir?

svm terminology kernel-trick

— Franck Dernoncourt
kaynak

5

NN'lerin çekirdek işlevlerine güvendiklerini söyleyemem - doğrusal olmamaları için bir transfer işlevine güveniyorlar , ancak bu çekirdek işleviyle aynı şey değil

— tdc

11

X, y üzerinde S için, belirli fonksiyonlar K (x, y) bir iç ürün (genellikle farklı bir alanda) olarak ifade edilebilir. K genellikle bir çekirdek veya çekirdek işlevi olarak adlandırılır. Çekirdek sözcüğü matematik boyunca farklı şekillerde kullanılır, ancak bu makine öğreniminde en yaygın kullanımdır.

Çekirdek hilesi, gözlemleri, V'de anlamlı doğrusal yapı kazanacak ümidiyle, haritayı açıkça hesaplamak zorunda kalmadan, genel bir S setinden bir iç ürün alanına V (doğal normuyla donatılmış) eşlemenin bir yoludur. Bu, verimlilik (çok yüksek boyutlu bir alanda çok hızlı hesaplama) ve pratiklik (doğrusal ML algoritmalarını doğrusal olmayan ML algoritmalarına dönüştürebiliriz) açısından önemlidir.

K fonksiyonunun geçerli bir çekirdek olarak kabul edilebilmesi için Mercer koşullarını karşılaması gerekir . Bu pratik terimlerle, çekirdek matrisinin (sahip olduğunuz her veri noktasının çekirdek ürününü hesaplamak) her zaman pozitif yarı-kesin olmasını sağlamamız gerektiği anlamına gelir. Bu, eğitim objektif fonksiyonunun çok önemli bir özellik olan dışbükey olmasını sağlayacaktır.

— carlosdc
kaynak

Teşekkürler @carlosdc, ama korkuyorum ki bu yaşlı köpeğe yeni numaralar öğretmeye çalışıyorsun. Bunların çoğu kafamın üzerinde. Mercer'in koşullarını okudum, ama gerçek dünyadaki anlamları benden kayboldu. Yukarıdan, bir çekirdeğin integralinin sınırlı bir değerle sınırlanması gerektiğini varsayıyorum. Bu varsayım doğru mu?

1

Çekirdek matrisi PSD ise hedefin dışbükey olduğu kısım hedefe bağlıdır. Bu SVM'ler için geçerlidir, ancak Gauss süreçlerinde, Çekirdek matrisinin geçerli bir kovaryans matrisi olması ve dolayısıyla ters çevrilebilir olmasıdır.

— bayerj

2

Gönderen Williams, Christopher KI, Carl Edward Rasmussen. " Makine öğrenimi için Gauss süreçleri. " MIT Press 2, no. 3 (2006). Sayfa 80 .

Çekirdek = girişlerin bir çift eşleme iki bağımsız bir fonksiyonu , içine . $x \in X$ $x' \in X$ $\mathbb{R}$

Ayrıca, çekirdek = çekirdek işlevi.

Makine öğrenimi algoritmalarında kullanılan çekirdekler tipik olarak pozitif semidefinit gibi daha fazla özelliğe sahiptir.

— Franck Dernoncourt
kaynak

2

Daha az teknik açıklama deneyecek.

İlk olarak, iki vektör arasındaki nokta çarpımı ile başlayın. Bu size vektörlerin ne kadar "benzer" olduğunu söyler. Vektörler veri kümenizdeki noktaları temsil ediyorsa, nokta ürün size benzer olup olmadıklarını söyler.

Ancak, bazı (birçok) durumda, nokta ürün benzerliğin en iyi ölçütü değildir. Örneğin:

Belki düşük noktalı ürünlere sahip noktalar başka nedenlerden dolayı benzerdir.
Nokta olarak iyi temsil edilmeyen veri öğeleriniz olabilir.

Yani, nokta ürünü kullanmak yerine, sadece iki nokta alan ve benzerliklerinin bir ölçüsünü veren bir işlev olan bir "çekirdek" kullanırsınız. Bir işlevin teknik olarak çekirdek olması için hangi teknik koşulların karşılanması gerektiğinden% 100 emin değilim, ama bu fikir.

Çok güzel bir şey, çekirdeğin, alan hakkında bilgi sahibi olduğunuz formdan gelen xyz nedeni nedeniyle iki noktanın aynı olduğunu söyleyebilmeniz açısından, alan bilginizi soruna sokmanıza yardımcı olabilmesidir.

— roundsquare
kaynak