REML için bir Bayes yorumu var mı?

REML'nin Bayes yorumu mevcut mudur? Sezgime göre REML, ampirik Bayes tahmin prosedürlerine güçlü bir benzerlik taşıyor ve merak ediyorum ki bir tür asimptotik eşdeğerlik (bazı uygun öncelik sınıfları altında) gösterilip gösterilmediğini merak ediyorum. Hem ampirik Bayes hem de REML , örneğin rahatsızlık parametreleri karşısında gerçekleştirilen 'uzlaşılmış' tahmin yaklaşımları gibi görünmektedir .

Temel olarak, bu soru ile aradığım şey, bu tür argümanların ortaya çıkmaya meyilli olduğu üst düzey içgörüdür. Tabii ki, bazı nedenlerden dolayı bu tür bir argüman olmadığını olamaz yararlı REML için izlenecek, bu yüzden de açığız fikir sağlayacağını neden için bir açıklama!

bayesian asymptotics reml

— David C. Norris
kaynak

Bu makale anlamlı görünmektedir: Foulley J. (1993). Sınırlı maksimum olasılığın nasıl elde edileceğini gösteren basit bir argüman. J. Dairy Sci. 76, 2320-2324. 10.3168 / jds.S0022-0302 (93) 77569-4 sciencedirect.com/science/article/pii/…

— djw

Bayes yorumları, posterior dağılımla ilgili tahminciler için sadece Bayes analizi çerçevesinde mevcuttur. Bu nedenle, REML tahmin edicisine Bayesian bir yorum verilebilmesinin tek yolu (yani arkadan alınan bir tahminci olarak yorumlama) REML analizindeki kısıtlı log olasılığını karşılık gelen bir log-posterior olarak almak Bayes analizi; bu durumda REML tahmincisi Bayesian teorisinden bir MAP tahmincisi olacak ve buna karşılık gelen Bayes yorumlaması olacaktır.

REML tahmincisini bir MAP tahmincisi olacak şekilde ayarlama: REML analizindeki sınırlı log olasılığının bir Bayes analizinde log-posterior olarak nasıl ayarlanacağını görmek nispeten basittir. Bunu yapmak için, önceki-log'un, REML işlemi tarafından kaldırılan log-olasılık olasılığının negatif olması gerekir. Diyelim ki günlük olabilirlik burada artık log olabilirliği ve ilgilenilen parametredir ( bizim sıkıntı parametremizdir). Önce ayarlanması karşılık gelen posterior verir: $\ell_\mathbf{x}(\theta, \nu) = \ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta)$ $\ell_{\text{RE}}(\theta)$ $\theta$ $\nu$ $\pi(\theta, \nu) \propto \exp(-\ell_*(\theta, \nu))$

\begin{aligned} π (θ | x) & \propto \int L_{x} (θ, ν) π (θ, ν) d ν \\ \propto \int \exp (ℓ_{x} (θ, ν)) \exp (- ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{x} (θ, ν) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{*} (θ, ν) + ℓ_{RE} (θ) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{RE} (θ)) d ν \\ = \int L_{RE} (θ) d ν \\ \propto L_{RE} (θ) . \end{aligned}

$\begin{equation} \begin{aligned} \pi(\theta|\mathbf{x}) &\propto \int L_\mathbf{x}(\theta, \nu) \pi(\theta, \nu) d\nu \\[6pt] &\propto \int \exp(\ell_\mathbf{x}(\theta, \nu)) \exp(-\ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_\mathbf{x}(\theta, \nu) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_{\text{RE}}(\theta)) d\nu \\[6pt] &= \int L_{\text{RE}}(\theta) d\nu \\[6pt] &\propto L_{\text{RE}}(\theta). \\[6pt] \end{aligned} \end{equation}$

Bu bize şunları verir:

{\hat{θ}}_{MAP} = \arg max_{θ} π (θ | x) = \arg max_{θ} L_{RE} (θ) = {\hat{θ}}_{REML} .

$\hat{\theta}_\text{MAP} = \arg \max_\theta \pi(\theta|\mathbf{x}) = \arg \max_\theta L_{\text{RE}}(\theta) = \hat{\theta}_\text{REML}.$

Bu sonuç, REML tahmincisini bir MAP tahmincisi olarak yorumlamamıza izin verir, bu nedenle REML tahmincisinin uygun Bayes yorumu , yukarıdaki önceliğin altındaki arka yoğunluğu en üst düzeye çıkaran tahmin edicidir .

REML tahmin edicisine Bayesian bir yorum yapma yöntemini resimledikten sonra, şimdi bu yaklaşımla ilgili bazı büyük sorunlar olduğunu not ediyoruz . Bir sorun, verilere bağlı olan günlük olabilirlik bileşeni kullanılarak oluşturulmasıdır . Bu nedenle, bu yorumu elde etmek için gerekli olan “önceki”, verileri görmeden önce oluşturulabilecek bir işlev olması anlamında gerçek bir öncelik değildir. Başka bir sorun, öncekinin çoğu zaman yanlış olacağıdır (yani, biriyle bütünleşmez) ve parametre değerleri aşırı hale geldikçe ağırlıkta artabilir. (Bunun bir örneğini aşağıda göstereceğiz.) $\ell_*(\theta, \nu)$

Bu sorunlara dayanarak , REML tahmincisi için makul bir Bayes yorumunun olmadığı iddia edilebilir . Alternatif olarak, REML tahmin edicisinin yukarıdaki Bayes yorumunu hala koruduğu ve belirtilen formdaki gözlemlenen verilerle çakışması gereken ve son derece uygunsuz olabilen bir "önceki" altında maksimum posteriori tahmincisi olduğu iddia edilebilir.

Normal verilere sahip örnek: REML tahmininin klasik örneği , kesinlik ile ilgilendiğiniz normal örneğidir. ve ortalama bir sıkıntı parametresidir. Bu durumda, günlük olasılığı işlevine sahip olursunuz: $x_1,...,x_n \sim \text{N}(\nu, 1/\theta)$ $\theta$ $\nu$

ℓ_{x} (ν, θ) = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} .

$\ell_\mathbf{x}(\nu,\theta) = - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2.$

REML'de bu günlük olasılığını iki bileşene ayırıyoruz:

\begin{aligned} ℓ_{*} (ν, θ) & = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} \\ ℓ_{RE} (θ) & = - \frac{n - 1}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} . \end{aligned}

$\begin{equation} \begin{aligned} \ell_*(\nu,\theta) &= - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \\[10pt] \ell_\text{RE}(\theta) &= - \frac{n-1}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\bar{x})^2. \end{aligned} \end{equation}$

Varyans için tarafsız bir tahminci veren kalıntı olasılığını en üst düzeye çıkararak hassasiyet parametresi için REML tahmincisini elde ederiz:

\frac{1}{{\hat{θ}}_{REML}} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} .

$\frac{1}{\hat{\theta}_\text{REML}} = \frac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2.$

Bu durumda, REML tahmincisi "önceki" yoğunluk için bir MAP tahmincisine karşılık gelecektir:

π (θ) \propto θ^{n / 2} \exp (\frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2}) .

$\pi(\theta) \propto \theta^{n/2} \exp \Bigg( \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \Bigg).$

Gördüğünüz gibi, bu "önceki" aslında gözlenen veri değerlerine bağlıdır, bu nedenle verileri görmeden önce oluşturulamaz. Dahası, ve aşırı değerlere gittikçe daha fazla ağırlık koymadan önce açıkça "uygunsuz" olduğunu görebiliriz . (Aslında, bu önceki oldukça çılgınca.) Eğer "tesadüf" ile bu sonuca karşılık gelen bir önceki bir şey olsaydı, o zaman REML kestirimcisi o öncekinin altında bir MAP tahmincisi olacaktı ve dolayısıyla Öncekinin altındaki posterioru maksimuma çıkaran tahminci $\theta$ $\nu$

— Ben - Monica'yı eski durumuna döndür
kaynak

Ne kadar açık bir cevap! Sonuç olarak REML'yi daha iyi anladığımı hissediyorum, ki bu büyük ölçüde temel amacımdı. Argümanınızı açma yaklaşımınız, esasen özdeşleşmeyi yapmak, daha sonra öncekini 'çözmek' için olmuştur. Sonra bana REML'ye yönelik bir eleştiri (Bayes perspektifinden) gibi görünen daha önce yıkmaya devam edersiniz. Çok güzel yapılmış!

— David C. Norris

Evet, kullandığım yöntem bu. Benzetmeyle, genellikle MLE'ye aynı yöntemle Bayesian bir yorum veririz - yani, MLE'nin daha önce tekdüze bir şekilde MAP olduğunu anlayarak. Genel olarak, bazı fonksiyonların maksimize edilmesi ile oluşturulan klasik bir tahmin edicinin Bayes analogunu bulmak istediğimizde, bu fonksiyonu posteriora ayarladık ve daha önce için çözdük. Eğer bu daha önce mantıklı geliyorsa, iyi bir Bayesce yorumumuz var; Eğer önceki deliyse (REML gibi) o zaman iyi bir Bayes yorumu bulunmadığına dair iyi bir argümanımız var.

— Ben - Monica'yı eski haline getirin