İstatistiksel çıkarım yaparken düzenlemeyi kullanma

18

Kestirimci modeller oluştururken düzenlileşmenin yararlarını biliyorum (sapma ve varyans, aşırı takmayı önleme). Ancak, regresyon modelinin temel amacı katsayılara çıkarım olduğunda (hangi öngörücülerin istatistiksel olarak anlamlı olduğunu görmek) düzenlileştirme (kement, sırt, elastik ağ) yapmanın iyi bir fikir olup olmadığını merak ediyorum. İnsanların düşüncelerini ve bununla ilgili akademik dergilere veya akademik olmayan makalelere bağlantılar duymak isterim.

— user162381
kaynak

4

Düzenli hale getirme, bayes gözleriyle görülebilir, örneğin, kement, önceden bazı çifte üslülere karşılık gelir (çapraz doğrulama ile seçilen ölçek ile). Yani bir olasılık tam koylara gitmek.

— kjetil b halvorsen

1

hangi yordayıcıların sıfır olmadığını belirlemek, kementin ne olduğudur! Hangisinin istatistiksel olarak sıfırdan farklı olduğunu belirlemek istiyorsanız, kement gibi yöntemleri düşünmek son derece faydalıdır

— user795305

8

"Düzenleme" terimi çok çeşitli yöntemleri kapsar. Bu cevabın amacı için, "cezalandırılmış optimizasyon" anlamına gelecek şekilde daraltacağım, yani optimizasyon probleminize bir veya cezası ekleyeceğim . $L_1$ $L_2$

Eğer durum buysa, cevap kesin bir "Evet! Pekala".

Bunun nedeni bir ekleme olduğunu veya için olabilirlik fonksiyonu uçlarına ceza tam olarak bir ihtimalle bir önceki ya ekleyerek bir Laplace veya Gauss ile aynı matematiksel fonksiyonun arka dağılımını (Asansör konuşmasını almak için: önce dağıtım belirsizliği açıklar verileri görmeden önce parametrelerin posterior dağılımı, verileri gördükten sonra parametrelerin belirsizliğini açıklar), bu da Bayesian istatistiklerine yol açar 101. Bayes istatistikleri çok popülerdir ve tahmini etkilerin çıkarılması amacıyla her zaman gerçekleştirilir. $L_1$ $L_2$

Bu "Evet!" Bölüm. "Şey" posterior dağıtımınızı optimize etmek yapılır ve "Maximum A Posterior" (MAP) tahmini denir. Ancak Bayesilerin çoğu MAP tahminini kullanmaz, MCMC algoritmaları kullanarak arka dağılımdan örnek alırlar! Bunun birkaç avantajı vardır, bunlardan biri varyans bileşenlerinde daha az aşağı yönlü önyargıya sahip olma eğilimindedir.

Kısaca, Bayesci istatistiklerle ilgili ayrıntılara girmemeye çalıştım, ancak bu sizi ilgilendiriyorsa, aramaya başlayacağınız yer.

— Cliff AB
kaynak

2

(+1) Ancak bu öncelikleri yalnızca iyi tahminler verdikleri için kullandıysam - gerçekten de onları bu amaç için iyi ayarlamış olabilirim - o zaman MAP tahminleri veya posterior dağılımlar hakkında ne yapacağım? (Tabii ki verileri görmeden önce parametreler hakkındaki bilgileri temsil etmek için öncelikleri

— seçtiysem

1

@Scortchi: Bu çok iyi bir nokta: cezaları seçmek için çapraz doğrulamayı kullanmak sizi klasik Bayes çerçevesinden (bildiğim kadarıyla) iyi çıkarıyor. Düzenleme parametrelerini seçmek için CV ile bir model oluşturmak bu cevaba denk gelmez, ancak uzman bilgilerine dayanarak seçilen sabit cezalarla düzenlemeyi kullanmak.

— Cliff AB

2

Dikkat edilmesi gereken bir nokta: Önceki + MCMC yaklaşımı yalnızca tüm potansiyel katsayıların posteriorları incelenir ve raporlanırsa geçerli sonuçlar verecektir. Aksi takdirde, seçici bir çıkarım ortamındayız ve en naif çıkarım metodolojileri geçersiz olacaktır.

— user3903581

1

(+1) İyi cevap! Ancak, "Ama Bayesilerin çoğu MAP tahminini kullanmıyorlar, MCMC algoritmaları kullanarak arka dağılımdan örnek alıyorlar!" Görünüşe göre çoğu Bayes, tahmincilerini seçerken posteriorun tamamını kullanıyor. Sorunu görmek için, posterior dağılım için örnekten MAP için bir tahmin yapılabileceğini unutmayın.

— user795305

8

Sırt tipi cezalar ile kement tipi cezalar kullanarak tahmin yapmak arasında büyük bir fark vardır. Mahya tipi tahmin ediciler, tüm regresyon katsayılarını sıfıra doğru küçültme eğilimindedir ve eğilimlidir, ancak herhangi bir değişkeni tam sıfıra çekmedikleri için asimptotik dağılım türetmesi kolaydır. Sırt tahminlerindeki önyargı, sonraki hipotez testlerinin gerçekleştirilmesinde sorunlu olabilir, ancak ben bu konuda uzman değilim. Öte yandan, Kement / elastik-net tip cezalar birçok regresyon katsayısını sıfıra indirir ve bu nedenle model seçim teknikleri olarak görülebilir. Verilere dayanarak seçilen modellerde çıkarım yapma sorunu genellikle seçici çıkarım sorunu veya seçim sonrası çıkarım olarak adlandırılır. Bu alanda son yıllarda birçok gelişme görülmüştür.

$y\sim N(\mu,1)$ $\mu$ $\mu$ $|y| > c >0$ $c$ $y$ $c$ $y$

Benzer şekilde, Kement (veya elastik ağ), örnek alanın seçilen modelin seçilmesini sağlayacak şekilde kısıtlar. Bu kesilme daha karmaşıktır, ancak analitik olarak tarif edilebilir.

Bu kavrayışa dayanarak, geçerli test istatistikleri elde etmek için verilerin kesik dağılımına dayanarak çıkarım yapılabilir. Güven aralıkları ve test istatistikleri için Lee ve arkadaşlarının çalışmalarına bakın: http://projecteuclid.org/euclid.aos/1460381681

Yöntemleri R paket selectiveInference içinde uygulanır .

Model seçiminden sonra (kement için) tartışılan en uygun tahmin (ve test): https://arxiv.org/abs/1705.09417

ve (çok daha az kapsamlı) yazılım paketlerini şu adreste bulabilirsiniz: https://github.com/ammeir2/selectiveMLE

— user3903581
kaynak

4

Özellikle hangi tahmin edicilerin istatistiksel olarak anlamlı olduğuna dayalı çıkarım için regresyon kullanmaya çalışıyorsanız, ancak beklediğiniz bir sebepten ötürü özellikle LASSO'yu öneriyorum.

Uygulamada, bir modeldeki öngörücüler ilişkili olma eğilimindedir. Önemli bir çoklu-doğrusallık olmasa bile, regresyonun ilişkili öngörücüler kümesi arasında "anlamlı" öngörücüler seçimi, örneklemden örneğe önemli ölçüde değişebilir.

Evet, regresyonunuz için LASSO yapın. Ardından, orijinal verilerden çoklu önyükleme örneklerinde (birkaç yüz kadar) tüm model oluşturma işlemini (LASSO cezasını seçmek için çapraz doğrulama dahil) tekrarlayın. Bu şekilde seçilen "anlamlı" öngörücüler kümesinin ne kadar değişken olabileceğini görün.

Tahmincileriniz birbiriyle son derece dikey olmadığı sürece, bu süreç p-değerlerini bir regresyonda bireysel belirleyicilerin "önemli ölçüde" önemli olduğu anlamında yorumlamak konusunda iki kez düşünmenizi sağlamalıdır.

— EDM
kaynak

1

+1 Yazılan her şeye katılıyorum, çok pragmatik cevap ama neden LASSO yerine elastik ağ kullanmıyorsunuz? (OP de belirtilirse) Sırt düzenlenmesi, öngörücüler arasındaki korelasyonları biraz daha belirgin bir şekilde kontrol edecektir.

— usεr11852 diyor Reinstate Monic

Aslında, kement VEYA elastik ağ üzerinden seçilen modellerde geçerli p değerlerini, tahminleri ve güven aralıklarını hesaplamak mümkündür, sadece doğru yapılması gerekir.

— user3903581

@ user3903581 Gerçek bir sıfır hipotezinin örneğin çoğaltılmış örneklerin% 5'inden daha düşük bir katsayı ile sonuçlanması açısından geçerli bir frekanslı LASSO p-değerleri alabileceğine itiraz etmiyorum. Sorun, nedensel çıkarımları, ancak bu şekilde ilişkili "yordayıcılar" tarafından dile getirilen konuları dikkate almadan "anlamlı" kabul edilen yordayıcılara atfetmek için çok sık yapılan girişimlerde yatmaktadır.

— EdM