Bayesci Model Ortalamasının (BMA) avantajlarını gösteren basit örnek

Araştırmamda bir Bayesci Model Ortalaması (BMA) yaklaşımı kullanıyorum ve yakında meslektaşlarıma çalışmalarım hakkında bir sunum yapacağım. Bununla birlikte, BMA benim alanımda gerçekten iyi bilinmemektedir, bu yüzden onları tüm teori ile sunduktan ve gerçekten problemime uygulamadan önce, BMA'nın neden işe yaradığına dair basit ama öğretici bir örnek sunmak istiyorum.

Birinin seçebileceği iki model ile basit bir örnek düşünüyordum, ancak gerçek veri üreten model (DGM) arasında bir yer var ve kanıtlar gerçekten bunlardan birini desteklemiyor. Dolayısıyla, birini seçip onlardan devam ederseniz, model belirsizliğini görmezden gelir ve bir hata yaparsınız, ancak BMA, gerçek model model setinin bir parçası olmasa da, en azından ilgili parametrenin doğru arka yoğunluğunu verir. Örneğin, her gün iki hava tahmini (A ve B) vardır ve biri hava durumunu en iyi tahmin etmek ister, bu nedenle klasik istatistiklerde önce ikisi arasında en iyi tahminciyi bulmaya çalışırsınız, ancak gerçek aradaki bir yerdeyse (yani bazen A doğrudur, bazen B). Ama resmileştiremedim. Böyle bir şey ama fikirlere çok açığım. Umarım bu soru yeterince spesifiktir!

Literatürde şimdiye kadar okuduğum şeylerden güzel örnekler bulamadım:

• Kruschke (2011) , Bayesci istatistiklere harika bir giriş yaparken, BMA'ya gerçekten odaklanmıyor ve 4. bölümde sahip olduğu para atma örneği Bayesci istatistikleri tanıtmak için harika, ancak bir araştırmacıyı BMA'yı kullanmaya ikna etmiyor. ("Neden yine üç modelim var, biri madalyonun adil ve iki tanesi her iki yönde de taraflı olduğunu söylüyor?")
• Okuduğum diğer tüm şeyler ( Koop 2003 , Koop / Poirier / Tobias (2007) , Hoeting ve diğerleri (1999) ve tonlarca diğerleri) harika referanslardır, ancak bunlarda basit bir oyuncak örneği bulamadım.

Ama belki de burada iyi bir kaynağı kaçırdım.

Yani BMA tanıtmak için kullandığı iyi bir örneği var mı? Belki de olasılıkları ve posteriorları bile göstererek, bunun oldukça öğretici olacağını düşünüyorum.

Son zamanlarda benzer bir şey yaptım. Başkalarını ikna etmeye çalışmak değil, küçük bir proje yapmak, BMA'nın tadına bakmamı sağlıyor. Yaptığım şey, ikili yanıtı, yanıtı etkileyen üç bağımsız değişkeni ve yanıtı etkilemeyen yedi değişkeni içeren bir veri kümesi oluşturmaktı. Daha sonra BMA sonuçlarını lojistik regresyondaki sık tahminlerle karşılaştırdım. En azından bu durumda BMA yaklaşımının oldukça iyi göründüğünü düşünüyorum. Daha erişilebilir hale getirmek istiyorsanız, değişkenleri ya da bir şeyi genel ve olarak adlandırmak yerine her zaman adlandırabilirsiniz .$X$$y$

Bunun için kullandığım R kodu aşağıda sunulmuştur. Umarım size ilham verebilir!

# The sample size
n <- 100

# The 'true' coefficient vector
Beta <- cbind(c(-1.5, 0.45, -3))

# Generate the explanatory variables which have an effect on the outcome
set.seed(1)
X <- cbind(rnorm(n, 0, 1), rnorm(n, 4, 2), rnorm(n, 0.5, 1))

# Convert this into probabilities
prob <- 1/(1+exp(-X %*% Beta))

# Generate some uniform numbers. If the elements are smaller than the corresponding elements in the prob vector, then return 1.
set.seed(2)
runis <- runif(n, 0, 1)
y <- ifelse(runis < prob, 1, 0)

# Add the nonsense variables
X <- cbind(X, rpois(n, 3))        # Redundant variable 1 (x4)
X <- cbind(X, rexp(n, 10))        # Redundant variable 2 (x5)
X <- cbind(X, rbeta(n, 3, 10))    # Redundant variable 3 (x6)
X <- cbind(X, rbinom(n, 10, 0.5)) # Redundant variable 4 (x7)
X <- cbind(X, rpois(n, 40))       # Redundant variable 5 (x8)
X <- cbind(X, rgamma(n, 10, 20))  # Redundant variable 6 (x9)
X <- cbind(X, runif(n, 0, 1))     # Redundant variable 7 (x10)


# The BMA
library(BMA)
model <- bic.glm(X, y,  glm.family="binomial", factor.type=FALSE, thresProbne0 = 5, strict = FALSE)

# The frequentist model
model2 <- glm(y~X, family = "binomial")

old.par <- par()
par(mar=c(3,2,3,1.5))
plot(model, mfrow=c(2,5))
par(old.par)

summary(model)
summary(model2)

Bunun için harika bir kaynak:
Stefan Zeugner'dan BMS ile Ortalama Bayes Modeli Ortalaması (2012)

R-paketi BMS kullanıyor , daha fazla bilgi burada bulunabilir:
http://bms.zeugner.eu/

Paketle gerçek dünyadaki örnekleri çoğaltmak için iki uygulamalı öğretici burada bulunabilir:

• http://bms.zeugner.eu/tutorials/fls/
• http://bms.zeugner.eu/tutorials/fat/

Bayesian yöntemlerine daha genel bir motivasyon ve güncel giriş şu makaledir:

Zaman Geldi: Örgütsel Bilimlerde Veri Analizi için Bayesci Yöntemler John K. Kruschke, Herman Aguinis ve Harry Joo