“Çekirdek numarası” nı doğrusal yöntemlere uygulamak?

Çekirdek hüner birkaç makine öğrenme modellerinde (örneğin kullanılır SVM ). İlk olarak 1964'te "Örüntü tanıma öğreniminde potansiyel işlev yönteminin teorik temelleri" makalesinde tanıtılmıştır.

Wikipedia tanımı bunun

orijinal doğrusal olmayan gözlemleri, daha sonra doğrusal sınıflandırıcının kullanıldığı daha yüksek boyutlu bir alana eşleyerek doğrusal olmayan bir problemi çözmek için doğrusal bir sınıflandırıcı algoritması kullanma yöntemi; bu, yeni boşlukta, orijinal boşluktaki doğrusal olmayan sınıflandırmaya denk doğrusal bir sınıflandırma yapar.

Doğrusal olmayan sorunlara genişletilen doğrusal modelin bir örneği çekirdek PCA'dır . Çekirdek numarası herhangi bir doğrusal modele uygulanabilir mi veya belirli kısıtlamaları var mı?

machine-learning kernel-trick

— Shane
kaynak

BTW, çekirdekler SVM'ler için gerçekten gerekli değildir. SVM'nin "kalbi" yumuşak marj maksimizasyonu prensibidir. Çekirdek gösterimine gitmek, sorun boyutluluğunuzu O (d) yerine O (m ^ 2) yapar; burada m, örnek sayısıdır ve d, özellik alanınızın boyutudur, bu nedenle m ^ 2 d'den fazlaysa, daha iyi yapmalıyız

— Yaroslav Bulatov

@Yaroslav: Referans için teşekkürler. "Modifiye Sonlu Newton Yöntemi" nin herhangi bir uygulamasından haberdar mısınız?

— Shane

hayır, ancak Keerthi ve Langford sayfalarında her ikisi de Yahoo Research

— Yaroslav Bulatov

Yanıtlar:

Çekirdek hilesi yalnızca problem formülasyonundaki örneklerin nokta ürünler (Destek Vektör Makineleri, PCA, vb.) Olarak göründüğü doğrusal modellere uygulanabilir.

— ebony1
kaynak

Cevap için teşekkürler. @mbq @ ebony1: IMO, bu topluluğun daha fazlasını çekmek için sitede daha ciddi makine öğrenimi soruları göndermek için daha fazla çaba sarf etmemiz gerekiyor.

— Shane

@Shane Tamamen katılıyorum, ama metaoptimize.com/qa gibi diğer SO sitelerine ne dersiniz ?

— chl

@chl: Bu da bir seçenek, ancak StackExchange'in bir parçası değil (bir kişi tarafından ve farklı yazılımlar tarafından kontrol ediliyor) ve kişisel olarak bu farklı veri analizi topluluklarının tek bir yerde birleşmesini tercih ederim.

— Shane

@Shane Tamam, mantıklı.

— chl

ayrıca Machine Learning yığın değişim teklif alanı var51.stackexchange.com/proposals/7607/machine-learning

— Yaroslav Bulatov

B. Schölkopf'tan iki referans daha :

Schölkopf, B. ve Smola, AJ (2002). Çekirdeklerle öğrenme . MIT tuşuna basın.
Schölkopf, B., Tsuda, K. ve Vert, J.-P. (2004). Hesaplamalı biyolojide çekirdek yöntemleri . MIT tuşuna basın.

ve çekirdek makinelerine adanmış bir web sitesi .

— chl
kaynak

@ ebony1 anahtar noktayı verir (+1), ben lojistik regresyon ve Poisson regresyon gibi genelleştirilmiş doğrusal modellerin nasıl çekirdeklendirileceğini tartışan bir makalenin ortak yazarıydım, oldukça basittir.

GC Cawley, GJ Janacek ve NLC Talbot, Genelleştirilmiş çekirdek makineleri, IEEE / INNS Uluslararası Sinir Ağları Ortak Konferansı Bildirileri (IJCNN-2007), sayfa 1732-1737, Orlando, Florida, ABD, 12-17 Ağustos 2007. ( www , pdf )

Ayrıca burada bulabileceğiniz bir (araştırma kalitesi) MATLAB araç kutusu (ne yazık ki talimat yok) yazdım .

Hedef dağılımı modellemek, belirsizlik quanifikasyonu vb. İçin oldukça yararlıdır.

— Dikran Keseli
kaynak