Bayes düşünme hakkında aşırı düşünme

Geleneksel frekansçı istatistik alanındaki tahmin modellerini doğrulamak için yöntem ve yazılım geliştirmeye çok zaman ayırdım. Daha fazla Bayesci fikri hayata geçirirken ve öğretirken kucaklamak için bazı önemli farklılıklar görüyorum. Birincisi, Bayes öngörülü modelleme analistten aday özelliklerine göre özelleştirilebilen önceki dağılımlar hakkında çok düşünmesini ister ve bu öncelikler modeli kendilerine çeker (yani, farklı tahmin özellikleri için farklı miktarlarda büzülme / cezalandırma / düzenlileştirme elde eder) ). İkincisi, "gerçek" Bayesci yol tek bir modelle sonuçlanmaz, ancak bir tahmin için bütün bir posterior dağılım elde edilir.

Bu Bayesian özellikleri göz önünde bulundurulduğunda, aşırı sığdırma ne demektir? Değerlendirmeli miyiz? Öyleyse nasıl? Bir Bayes modelinin saha kullanımı için güvenilir olduğunu nasıl bilebiliriz? Yoksa tahmin için geliştirdiğimiz modeli kullandığımızda posteriordan beri tartışmalı bir nokta tüm dikkat çekici belirsizlikleri taşıyacak mı?

Bayes modelini tek bir sayıya, örneğin posterior ortalama / mod / medyan riske damıtmaya zorlarsak, düşünce nasıl değişir?

Burada bazı ilgili düşünceler görüyorum . Paralel bir tartışma burada bulunabilir .

Takip eden soru :: Tamamen Bayesçiysek ve verileri görmeden önce öncelikleri düşünmek için biraz zaman harcıyorsak ve veri olasılığının uygun şekilde belirtildiği bir modele uyarsak, aşırı sığdırma konusunda modelimizden memnun olmaya zorlanıyor muyuz? ? Ya da rastgele seçilen bir konunun ortalama olarak iyi tahmin edilebileceği sıkça yapılan dünyada yapmamız gerekiyor mu, ancak çok düşük bir tahmin veya çok yüksek bir tahmin değeri olan bir konu seçersek, regresyon olacaktır ne demek?

Bir Bayes modelinin, önceden tahmin edilen dağıtımdan alınan verileri sistematik olarak geçersiz kılamayacağını (veya eksik olduğunu) söyleyerek başlayabilirim; bu, Bayesian yazılımının, toplanan verilere uygulanmadan önce doğru çalıştığını doğrulamak için bir prosedürün temeli dünya.

Ancak, önceden öngörülen dağıtımdan alınan tek bir veri kümesini veya koşullandırdığınız verilere uygulanan çeşitli öngörücü önlemlerin, gelecekteki verilere uygulanan aynı öngörücü önlemlerden daha iyi görünmesi açısından dünyadan toplanan tek bir veri kümesini geçersiz kılabilir. aynı işlemle üretilir. Richard McElreath'un Bayesli kitabının 6. bölümü aşırı uyuma adanmıştır.

Aşırı takmanın şiddeti ve sıklığı, özellikle bir etkinin ölçeği hakkında bilgilendirici olanlar, iyi önceliklerle azaltılabilir. İnanılmaz derecede büyük değerlere daha önce kaybolma olasılığını koyarak, posterior dağılımın, üzerinde koşullandırdığınız verilerin inanılmaz derecede büyük bir etki gösterebileceği bazı kendine özgü yönlerinden aşırı derecede heyecanlanmasını önlersiniz.

Aşırı takmayı tespit etmenin en iyi yolları, herhangi bir gözlemi şartlandırma setinin dışında bırakmayan bir posterior dağılımdan yaklaşık olarak tahmin edilebilecek bir kerelik çıkış çapraz doğrulamasını içerir. Koşullandırdığınız hiçbir bireysel "gözlem" [*] 'in posterior dağılım üzerinde aşırı büyük bir etkisi olmadığı varsayımı vardır, ancak bu varsayım, Genelleştirilmiş Pareto dağılımındaki şekil parametresinin tahmini boyutunun değerlendirilmesi ile kontrol edilebilir (posterior dağılımdan her çekilişte değerlendirilen bir gözlemin mantık olasılığından türetilen) önem örnekleme ağırlıklarına uymalıdır. Bu varsayım yerine getirilirse, her gözlem için bu gözlem atlanmış gibi tahmini önlemler alabilirsiniz, posterior geriye kalan gözlemlere bağlı olarak alınmış ve posterior prediktif dağılım atlanmış gözlem için oluşturulmuştur. Dışarıda bırakılan gözlemlerle ilgili tahminleriniz acı çekiyorsa, modeliniz başlamak için fazla uyuyordu. Bu fikirler, Burada ve orada yapılan alıntıları içeren R için loo paketi .

Tek bir sayıya damıtma gelince,% 50 tahmin aralığı içinde kalan gözlemlerin oranını hesaplamayı seviyorum. Bu oranın bir yarıdan fazla olduğu ölçüde, dahil etme göstergesi işlevindeki gürültüyü kesmek için bir avuç gözlemden fazlasına ihtiyacınız olmasına rağmen, model aşırı uyuyor. (Bu overfit olabilir), farklı modellerin karşılaştırılması için, beklenen günlük tahmini yoğunluk ile (hesaplanan loofonksiyon tuvaletpaket) iyi bir önlemdir (IJ Good tarafından önerilen), çünkü daha esnek bir modelin mevcut verilere daha az esnek bir modelden daha iyi uyma olasılığını dikkate alır, ancak gelecekteki verileri daha kötü tahmin etmesi beklenir. Ancak bu fikirler, herhangi bir önleyici tedbir beklentisine uygulanabilir (bu, uygulayıcılar için daha sezgisel olabilir); tuvalet paketindeki E_looişleve bakın .

[*] Hiyerarşik bir modelde neyin gözlem teşkil ettiğini seçmelisiniz. Örneğin, yeni bir hastayı veya mevcut bir hasta için yeni bir zaman noktasını tahmin etmekle ilgileniyor musunuz? Her iki şekilde de yapabilirsiniz, ancak birincisi , hastaya özgü parametreleri entegre etmek için olasılık fonksiyonunu (yeniden) yazmanızı gerektirir.

Aşırı sığdırma, modelin eğitim setinde iyi çalıştığı, ancak test setinde kötü performans gösterdiği anlamına gelir. IMHO, iki kaynaktan geliyor: kullandığımız veriler ve model (veya öznellik).

Veri muhtemelen daha önemli bir faktördür. Hangi modeli / yaklaşımı kullanırsak kullanalım, verilerimizin yeterince temsili olduğunu varsayıyoruz, yani (eğitim) verilerimizden elde ettiğimiz de popülasyon için genelleştirilebilir. Uygulamada durum her zaman böyle değildir. Veriler doğru değilse, standart katlamalı CV aşırı takılmadan kaçınmanın bir anlamı yoktur.$k$

Sonuç olarak, eğer sıkça davranırsak, aşırı uydurma kaynağı MLE'den gelir. Eğer Bayesiysek, bu daha önceki ((elbette) olasılık dağılımının (öznel) seçiminden gelir. Bu nedenle, posterior dağılım / ortalama / medyan kullansanız bile, başlangıçtan zaten fazla taktınız ve bu fazla takma devam ediyor. Önceden dağıtım ve olasılıkın doğru seçimi yardımcı olacaktır, ancak yine de modellerdir, asla tamamen takılmayı önleyemezsiniz.