Kovaryans fonksiyonlar veya çekirdekler - tam olarak nedir?

Gauss süreçleri ve bunların makine öğreniminde nasıl uygulandıkları konusunda oldukça yeniyim. Bu yöntemlerin ana cazibesi olan kovaryans fonksiyonları hakkında okumaya ve duymaya devam ediyorum. Öyleyse, herkes bu sezgisel işlevlerde neler olduğunu sezgisel bir şekilde açıklayabilir mi?

Aksi takdirde, bunları açıklayan belirli bir öğreticiye veya belgeye işaret edebilirseniz.

Gevşek terimlerle, kernel veya kovaryans işlevi , giriş alanınızdaki iki noktası arasındaki istatistiksel ilişkiyi belirtir ; olduğunu, nasıl belirgin olarak Gauss Süreci (GP) değerinde bir değişiklik de gp bir değişiklikle ögelerinden . Bir anlamda, girişleri (*) arasındaki benzerliği tanımlamak olarak düşünebilirsiniz .$k(x, x^\prime)$$x, x^\prime$$x$$x^\prime$$k(\cdot, \cdot)$

Tipik çekirdekler, noktalar arasındaki Öklid mesafesine (veya doğrusal dönüşümlerine) bağlı olabilir, ancak eğlence çok daha fazlasını yapabileceğinizi fark ettiğinizde başlar.

David Duvenaud'un dediği gibi:

Çekirdekler her türlü veri yapısı üzerinde tanımlanabilir: Metin, görüntüler, matrisler ve hatta çekirdekler. NIPS kağıdı almanın kolay bir yolu olarak kullanılan yeni bir veri türüne bir çekirdek getirmek.

GP'ler için çekirdeklere kolay bir genel bakış için, onun Çekirdek Yemek Kitabı'nı ve içindeki referansları sıcak bir şekilde öneriyorum .

(*) @Dikran Marsupial notlarında olduğu gibi, sohbetin doğru olmadığına dikkat edin; tüm benzerlik ölçütleri geçerli çekirdekler değildir (cevabına bakınız).

@Lacerbi'nin bir çekirdek fonksiyonunun (veya bir Gauss Süreci ayarında kovaryans fonksiyonu) önerdiği gibi, esas olarak bir benzerlik ölçüsüdür, böylece iki giriş vektörü uygulamanın ihtiyaçlarına göre "benzer" olarak kabul edilirse, çekirdeğin değeri yüksektir. farklı olmaları durumunda daha düşük. Ancak , tüm benzerlik ölçütleri geçerli çekirdek işlevleri değildir. Geçerli bir çekirdek olması için, işlevin dönüştürülmüş bazı özellik alanlarında bir iç ürünü hesaplaması olarak yorumlanması gerekir, yani burada , giriş vektörlerini özellik alanına eşleyen bir işlevdir.$K(x, x') = \phi(x)\cdot\phi(x')$$\phi(\cdot)$

Öyleyse neden bazı özellik alanlarında çekirdek bir iç ürün olarak yorumlanabilir? Bunun nedeni, doğrusal modeller için (lojistik regresyon gibi) genelleştirme performansı üzerine teorik sınırlar belirlemenin doğrusal olmayan modellere (sinir ağı gibi) kıyasla çok daha kolay olmasıdır. Çoğu doğrusal model, girdi vektörlerinin sadece iç ürünler şeklinde görünmesi için yazılabilir. Bu, çekirdek özellik alanında doğrusal bir model oluşturarak doğrusal olmayan bir model oluşturabileceğimiz anlamına gelir. Bu, verilerin sabit bir dönüşümüdür, bu nedenle doğrusal model için tüm teorik performans sınırları otomatik olarak yeni çekirdek doğrusal olmayan modele * uygulanır.

İlk başta kavraması zor olan önemli bir nokta, özel uygulamamız için iyi olacak bir özellik alanı düşünmeme ve daha sonra bu özellik alanını ortaya çıkaran bir çekirdek tasarlama eğiliminde olduğumuzdur. Genel olarak iyi bir benzerlik metriği buluruz ve daha sonra bir çekirdek olup olmadığını görürüz (test basittir, genel pozisyondaki noktalarda çekirdek fonksiyonunun çift değerlendirmelerinin herhangi bir matrisi pozitif tanımlıysa, o zaman geçerli bir çekirdektir) .

$^*$ Elbette çekirdek parametrelerini genelleme performansını optimize etmek için ayarlarsanız, örneğin çapraz doğrulama hatasını en aza indirerek, artık sabit bir dönüşüm değil, verilerden öğrenilen ve güzel teorinin çoğu geçersiz kılındı. Bu yüzden pratikte, çekirdek yöntemlerinin tasarımının arkasında çok sayıda güven verici teori olmasına rağmen, sınırların kendileri genellikle pratik uygulamalar için geçerli değildir - ancak modeli destekleyen temel ilkeler olduğu için hala güven vericidir.