Önce üçüncü sorunuza cevap vereceğim ve diğer ikinize daha sonra değineceğim.
- Sizce "Kement (ve ilgili) ... ama posterior dağılımda değil" derken ne demek istiyor?
Slaytlarındaki bu rakam ne demek istediğini gösteriyor. Kement düzenleyiciyi önceki bir dağıtım olarak ifade etmek, önceki dağıtımınızın Laplacian veya çift üstel dağılım şeklinde olacağı anlamına gelir . Bu dağılım, seyrek bir düzenleyici etki elde etmek için 0'a ayarlanmış karakteristik pürüzsüz olmayan bir tepe noktasına sahiptir. Kement düzenli bir sonuç almak için, posterior dağılımınızın modunu almalısınız.
Şekilde, mavi kesik çizgi Laplacian'ın önceki dağılımını temsil eder. Düz siyah renkte posterior dağılım, solda modda zayıf bir olasılıkla 0'a sahipken, mod sağda güçlü bir olasılıkla sıfırdan farklıdır.
Bununla birlikte, tam posterior dağılım seyrek değildir, çünkü ondan örnek alırsanız nadiren 0'a yakın bir değer elde edersiniz ve aslında sürekli bir dağıtım olduğu için asla tam olarak 0 elde edemezsiniz.
Kement yaklaşımı ile esnekliğe ulaşmak için, genellikle arka modda bir kesme eşiği ayarlamanız gerekir. İdeal durum posterior modunuz 0'a eşitse, ancak bunu rahatlatabilir ve mutlak değeri aldıktan sonra posterior modu 0,2'den düşükse değişkeninizi ortadan kaldırabilirsiniz.
Kement altında bu sparifikasyonun gerçekleştirilmesi, regresörlerin dahil edildiği veya hariç tutulduğu "tek karar" olan belirli bir dizi elenmiş ve alıkonulmuş regresör verir.
Değişken seçimine tam bir Bayes yaklaşımı, daha önce başak ve slab, hangi değişkenlerin model boyunca dahil edilmesi veya hariç tutulması gerektiği konusunda belirsizliği korur.
İlk sorunuza cevap vermek için:
- Temel olarak regresörlerin dahil edilebilecek her bir alt kümesini test eden kaba kuvvet yaklaşımı kullanmaları açısından daha mı iyi?
Bu bir yanlış anlamadır, çünkü her iki yöntem de dahil edilebilecek tüm regresör alt gruplarını test etmez.
- Dezavantajı hesaplama süresi bunu yapıyor mu?
Bu aynı zamanda bir yanlış anlamadır, çünkü hesaplama süresine regresörlerin olası her alt kümesini test eden kaba kuvvet baskın değildir.
Bazı veriler göz önüne alındığında Scott'ın amacını açıklığa kavuşturmak için bir cezalandırılmış olabilirlik ihtiyatlılık yaklaşımı kullanırsanız, tam olarak bir set dahil edilmiş ve hariç tutulan regresör alırsınız. Ancak başak ve slab sparifikasyon yaklaşımı kullanırsanız, her bir regresör için her biri ayrı bir dahil olma veya dışlanma olasılığı olan tam bir posterior dağılımınız vardır. Bazı regresörler% 70 dahil olma şansına sahipken, diğerleri% 25 şansa sahip olabilir. Bu, birçok uygulamada tercih edilebilir, çünkü tek bir veri kümesi verildiğinde, hangi regresörlerin önemli olup olmadığı konusunda hala belirsizliğe sahip olmalıyız.
Sezgisel olarak, bir başak ve levha daha önce, kement gibi cezalandırılmış bir olasılık yaklaşımına kıyasla içerilen / hariç tutulan regresörlerin olası alanını daha iyi temsil eder.