Hangi çekirdek yöntemi en iyi olasılık çıktılarını verir?

Son zamanlarda varsayılan olayların olasılıklarını tahmin etmek için Platt'ın SVM çıktılarını ölçeklemesini kullandım. Daha doğrudan alternatifler "Çekirdek lojistik Regresyonu" (KLR) ve ilgili "İthalat Vektör Makinesi" gibi görünmektedir.

Olasılık çıktıları veren hangi çekirdek yönteminin şu anda en son teknoloji olduğunu söyleyen var mı? KLR'nin R uygulaması var mı?

Yardımın için çok teşekkürler!

logistic svm kernel-trick

— RichardN
kaynak

(+1) Çok ilginç bir soru ...

— steffen

Yanıtlar:

Gauss süreç sınıflandırması (Beklenti Yayılımı kullanarak) muhtemelen makine öğreniminde en son teknolojidir. Rasmussen ve Williams'ın (ücretsiz olarak indirilebilir) mükemmel bir kitabı var, web sitesi çok iyi bir MATLAB uygulamasına sahip. Daha yazılım, kitap, bildiri vb burada . Bununla birlikte, uygulamada, KLR muhtemelen çoğu sorun için de iyi çalışacaktır, büyük zorluk çekirdeği ve düzenlileştirme parametrelerini seçmektir, bu da muhtemelen en iyi çapraz doğrulama ile yapılır, ancak bir kerelik izinsiz çapraz doğrulama yaklaşık olarak tahmin edilebilir çok verimli bir şekilde bkz. Cawley ve Talbot (2008).

— Dikran Keseli
kaynak

(+1) Model seçimi konusunda bağlantı ve tavsiye için teşekkürler.

— chl

Eklemeliyim, Laplace yaklaşımına dayalı uygulamaları kullanmamalıyım - posterior çok eğri ve mod merkezli bir simetrik yaklaşım genellikle çok iyi çalışmaz.

— Dikran Marsupial

Teşekkürler Dikran! Bana KLR ve Çekirdek yumuşatma arasındaki ilişkiyi açıklayabilir misiniz? KLR modeli svm [kayıp + ceza] formülasyonuna benzer şekilde yapılmış ve gradyanlı iniş yoluyla çözülmüştür. Fakat aynı zamanda KLR ile ilgili referanslar (örneğin "Çekirdek Lojistik Regresyonu ve İthalat Vektör Makinesi", Zhu ve Hastie 2005'te) yumuşatma literatürüne gider (ör. "Genelleştirilmiş Katkı Modelleri", Hastie ve Tibshirani 1990).

— RichardN

Düzeltme literatürüne aşina değilim, ancak çekirdek modelleri eğri düzeltmeyle yakından ilişkilidir. Bakmak için en iyi yer , hem düzeltme hem de çekirdek yöntemlerini kapsayan Grace Wahba'nın ( stat.wisc.edu/~wahba ) yayınları olacağını düşünüyorum .

— Dikran Marsupial

Teşekkürler, Wahba'nın yayınlarına daha yakından bakacağım. KLR uygulamasını en iyi R'de tavsiye edebilir misiniz?

— RichardN

Sanırım lojistik regresyon çekirdeğinin parametrik olmayan bir çekirdek olduğunu biliyorsunuz, bu yüzden her şeyden önce bu kısıtlamaya sahipsiniz.

R paketi ile ilgili olarak bildiğim ve oldukça iyi çalışan bir paket np : Karışık veri türleri için parametrik olmayan çekirdek yumuşatma yöntemleri

Bu paket, sürekli, sırasız ve sıralı faktör veri türlerinin bir karışımını sorunsuz bir şekilde işleyen çeşitli parametrik olmayan (ve yarı parametrik) çekirdek yöntemleri sağlar.

Son teknoloji çekirdeği ile ilgili olarak , 2009'da bu makalede açıklananlarla denemeyi tavsiye edebilirim. Sizin için en iyi ve daha gerçek olanı seçmek için dikkatlice okuyun.

— mariana soffer
kaynak

Hey Mariana, cevabınız için teşekkürler, ancak bir yanlış anlama yaptık: "Çekirdek yöntemleri" ile ifade ettiğim, çekirdek düzeltme yöntemlerini değil, "çekirdek hile" kullanan Destek vektör makinesi gibi yöntemler anlamına gelir.

— RichardN