Parametreler ve gizli değişkenler

Bunu daha önce sordum ve bir model parametresini neyin gizli bir değişken haline getirdiğini tanımlamakta gerçekten zorlanıyordum. Bu sitedeki bu konuyla ilgili çeşitli konulara bakıldığında, ana ayrım şöyle görünüyor:

Gizli değişkenler gözlenmez ancak değişkenler ve parametreler de gözlendiğinden onlarla ilişkili bir olasılık dağılımına sahiptir ve onlarla ilişkili bir dağılımları yoktur ve bunların sabit olduğunu ve denediğimiz sabit ama bilinmeyen bir değere sahip olduğunu anladım. bulabilirsiniz. Ayrıca, bunlarla ilişkili tek bir doğru değer olsa da veya en azından varsaydığımız şey bu parametreler hakkındaki belirsizliğimizi temsil etmek için parametrelere öncelik verebiliriz. Umarım şimdiye kadar haklıyım?

Şimdi, bir dergi makalesinde Bayesian ağırlıklı doğrusal regresyon için bu örneğe bakıyordum ve gerçekten bir parametre ve bir değişkenin ne olduğunu anlamak için mücadele ediyorum:

y_{i} = β^{T} x_{i} + ϵ_{y_{i}}

$y_i = \beta^T x_i + \epsilon_{y_i}$

Burada ve gözlenir, ancak sadece değişken olarak kabul edilir, yani kendisiyle ilişkili bir dağılımı vardır. $x$ $y$ $y$

Şimdi, modelleme varsayımları:

y \sim N (β^{T} x_{i}, σ^{2} / w_{i})

$y \sim N(\beta^Tx_i, \sigma^2/w_i)$

Yani, varyansı ağırlıklandırılır. $y$

Sırasıyla normal ve gama dağılımları olan ve üzerinde de bir önceki dağılım vardır. $\beta$ $w$

Böylece, tam günlük olasılığı şu şekilde verilir:

\log p (y, w, β | x) = Σ \log P (y_{i} | w, β, x_{i}) + \log P (β) + Σ \log P (w_{i})

$\log p(y, w, \beta |x) = \Sigma \log P(y_i|w, \beta, x_i) + \log P(\beta) + \Sigma \log P(w_i)$

Şimdi, bunu hem anladığım kadarıyla ve modeli parametrelerdir. Bununla birlikte, gazetede gizli değişkenler olarak adlandırılmaya devam ediyorlar. Akıl yürütmem ve , ikisi de değişkeni için olasılık dağılımının bir parçasıdır ve model parametreleridir. Bununla birlikte, yazarlar onlara gizli rastgele değişkenler olarak davranırlar. Bu doğru mu? Eğer öyleyse, model parametreleri ne olurdu? $\beta$ $w$ $\beta$ $w$ $y$

Makale burada bulunabilir ( http://www.jting.net/pubs/2007/ting-ICRA2007.pdf ).

Makale Otomatik Aykırı Algılama: Ting ve ark.

— Luca
kaynak

Makaleye atıfta bulunmak (& belki bir bağlantı) listelemenize yardımcı olabilir. Sorunun bir kısmı, bunların Frequentist ve Bayes perspektiflerinden tamamen farklı olmasıdır. Bayes perspektiften bakıldığında, bir parametre yok bir dağılıma sahip - bu belirsizliği temsil etmek eklendi sadece bir şey değildir.

— gung - Monica'yı eski

İnsanların bir şeyleri açıklamadan makaleyi okumalarını beklediğimi düşündükleri için haksızlık olacağını düşündüm ama şimdi söyledim.

— Luca

Neden gizli değişkene öncekini koyamıyorsunuz? Ben Bayesli bir acemiyim, ama bunu yapabilmen gerekir gibi görünüyor.

— robin.datadrivers

Bence tabii ki Bayesyan düzeninde mutlaka var. Ancak, bu ayarda neden veya değişkenleri olduğundan emin değilim . Bana göre modelin parametrelerine benziyorlar. Bu kurulumda bir parametre yerine değişken söyleyen yapar söyleyerek sorun yaşıyorum . Ben de bir acemi değilim, açıkça görebileceğiniz gibi ...

w

$w$

β

$\beta$

w

$w$

— Luca

Teşekkürler @Luca. Eğer olsaydı iyi olmaz gerektiren güzel kağıt okumak için insanları, ancak bağlam için orada olan. Bence bunu doğru yaptın.

— gung - Monica'yı eski

Makalede ve genel olarak, (rastgele) değişkenler olasılık dağılımından alınan her şeydir. Gizli (rastgele) değişkenler , doğrudan gözlemlemediğiniz değişkenlerdir ( gözlenir, değildir, ancak her ikisi de rv'dir). Gizli bir rastgele değişkenten, gözlenen verilere koşullu olasılık dağılımı olan bir posterior dağılım elde edebilirsiniz. $y$ $\beta$

Öte yandan, değerini bilmeseniz bile bir parametre sabittir. Maksimum Olabilirlik Tahmini, örneğin, parametrenizin en olası değerini verir. Ama size tam bir dağılım değil, bir nokta verir, çünkü sabit şeylerin dağıtımları yoktur! (Bu değerden ne kadar emin olduğunuza veya bu değerin hangi aralıkta olduğuna dair bir dağıtım koyabilirsiniz, ancak bu, değerin kendisinin dağılımı ile aynı değildir, bu yalnızca değer aslında rastgele ise değişken)

Bayesli bir ortamda, hepsine sahip olabilirsiniz. Burada parametreler küme sayısı gibi şeylerdir; bu değeri modele verirsiniz ve model bunu sabit bir sayı olarak görür. rastgele bir değişkendir, çünkü bir dağılımdan çizilir ve ve gizli rastgele değişkenlerdir, çünkü olasılık dağılımlarından da çizilirler. Aslında bağlıdır ve "parametreleri" bunları yapmaz, sadece yapar iki rasgele değişkenlere bağlıdır. $y$ $\beta$ $w$ $y$ $\beta$ $w$ $y$

Bu makalede ve rasgele değişkenler olduğunu düşünüyorlar. $\beta$ $w$

Bu cümlede:

Tüm parametreler ve tüm günlük olasılığı sabit değerlere yaklaşana kadar bu güncelleme denklemlerinin yinelemeli olarak çalıştırılması gerekir

teoride rastgele değişkenler değil iki parametre hakkında konuşurlar, çünkü EM'de parametreler üzerinde optimizasyon yaparsınız.

— alberto
kaynak

Soru gizli değişkenlerle ilgiliydi .

— Tim

sabit, umarım şimdi daha açıktır.

— alberto