Bayes kement vs başak ve levha

Soru: Değişken seçimi için öncekini diğerine göre kullanmanın avantajları / dezavantajları nelerdir?

I olasılığını olduğunu varsayalım: ı yerleştirmek için her iki önsel biri: veya:

y \sim N (X w, σ^{2} I)

$y\sim\mathcal{N}(Xw,\sigma^2I)$

w_{i} \sim π δ_{0} + (1 - π) N (0, 100) π = 0.9,

$w_i\sim \pi\delta_0+(1-\pi)\mathcal{N}(0,100)\\ \pi=0.9\,,$

w_{i} \sim \exp (- λ | w_{i} |) λ \sim Γ (1, 1) .

$w_i\sim \exp(-\lambda|w_i|)\\ \lambda \sim \Gamma(1,1)\,.$

I koymak ağırlıkları en sıfırdır ve önceki bir gama vurgulamak 'düzene' parametresi almak için. $\pi=0.9$ $\lambda$

Bununla birlikte, profesörüm, kement versiyonunun katsayıları 'küçültdüğünü' ve ısrarla doğru değişken seçimi yapmadığını, yani ilgili parametrelerin bile fazla büzülmesini ısrarla ısrar ediyor.

Varyasyonel Bayes kullandığım için kişisel olarak Kement versiyonunu uygulamayı daha kolay buluyorum. Aslında etkili bir şekilde koyan Sparse Bayesian Öğrenme makalesi daha da az çözüm sunar. $\frac{1}{|w_i|}$

bayesian feature-selection

— sachinruk
kaynak

Profesörünüz ilgili parametreleri daralttığı konusunda haklı, ama ne olacak? Onları sadece hatayı azaltmaya önemli ölçüde katkıda bulunmadıkları ölçüde küçültür. Ve neden uygun değişken seçimi yapmaya odaklanın .. Odaklama (test) hatasını azaltmaya odaklanmamalıdır

— seanv507

Çoğu sorun için evet kabul ediyorum. Bununla birlikte, bazı problemler için (örneğin, gen ifadesi ile kanser tespiti), hangi özelliklerin katkıda bulunan faktörler olduğunu bulmak çok önemlidir. ps O zamandan beri o sahte olduğu için postdoc dan taşındım. Makine öğrenme ftw !!!

— sachinruk

Spike ve Slab değişken seçiminde altın standart olur ve ben de LASSO ile çalışmayı tercih ederim. @Sachin_ruk: daha önce başak ve döşeme Varyasyonel Bayes kullanılarak da uygulanabilir ...

— Sandipan Karmakar

@SandipanKarmakar, Variational Bayes ile başak ve slaba bir bağlantı gönderebilir misiniz?

— sachinruk

Sorunuz modelleme [hangisi önce?] Ve uygulama [varyasyonel Bayes] konularını birleştiriyor. Ayrı olarak işlenmelidir.

— Xi'an

Bu yöntemlerin her ikisi de (LASSO ve spike-slab) farklı parametreler belirttiğiniz Bayes kestirim problemleri olarak yorumlanabilir. Başlıca farklılıklardan biri, LASSO yönteminin öncekiler için sıfır üzerine herhangi bir nokta kütlesi koymamasıdır (yani, parametreler hemen hemen hiç sıfır değildir). sıfır.

Benim düşünceme göre, spike-slab yönteminin ana avantajı, parametre sayısının veri noktalarının sayısından fazla olduğu ve çok sayıda parametreyi tamamen ortadan kaldırmak istediğiniz sorunlara uygun olmasıdır. modelden. Bu yöntem, öncekinde büyük bir nokta kütlesini sıfıra indirdiğinden, parametrelerin sadece küçük bir kısmını içerme eğiliminde olan ve umarım verilerin aşırı uyumunu önleyen posterior tahminler verecektir.

Profesörünüz size birincisinin değişken bir seçim yöntemi yapmadığını söylediğinde, muhtemelen bunun anlamı budur. LASSO altında, parametrelerin her biri kesinlikle sıfırdan farklıdır (yani, hepsi modeldedir). Olasılık aynı zamanda parametre desteği üzerinde sıfır olmadığı için, bu aynı zamanda her birinin neredeyse sıfır olmayan bir priori olduğu anlamına gelir (yani, hepsi modeldedir). Şimdi, bunu bir hipotez testi ile tamamlayabilir ve parametreleri modelin dışına çıkarabilirsiniz, ancak bu Bayesian modelinin üzerine uygulanan ek bir test olacaktır.

Bayes kestiriminin sonuçları verilerden bir katkı ve bir öncekinden bir katkı yansıtacaktır. Doğal olarak, sıfır civarında daha yakın bir şekilde konsantre edilmiş olan bir önceki dağılım (başak ve levha gibi), daha az konsantre olan (LASSO gibi) bir öncekine göre sonuçta ortaya çıkan parametre tahmin edicileri gerçekten "küçültecektir". Tabii ki, bu "küçülme" yalnızca belirttiğiniz önceki bilgilerin etkisidir. LASSO'nun önceki şekli, tüm parametre tahminlerini, daha önceki düz bir düzene göre ortalamaya doğru daralttığı anlamına gelir.

— Ben - Monica'yı eski durumuna döndür
kaynak