Önyargılı bir madeni parayı zamanla değişen önyargı ile nasıl modelleyebilirim?

Eğimli bozuk para modellerinde genellikle bir parametre . Bir dizi tahmin etmenin bir yolu, önceden bir beta kullanmak ve binom olasılığı ile posterior dağılımı hesaplamaktır. $\theta = P(\text{Head} | \theta)$ $\theta$

Çünkü bazı garip fiziksel sürecin ayarlarım,, benim jeton özellikleri yavaş yavaş değişiyor ve zaman bir fonksiyonu olur . Verilerim bir dizi sıralı çizim yani . Ayrık ve düzenli bir zaman çizelgesinde her bir için sadece bir beraberlik olduğunu düşünebilirim . $\theta$ $t$ $\{H,T,H,H,H,T,...\}$ $t$

Bunu nasıl modellersiniz? Gizli değişkenin olduğu gerçeğine uyarlanmış ve binom olasılığını koruyan bir Kalman filtresi gibi bir şey düşünüyorum . Çıkarımın izlenebilir olmasını sağlamak için modellemek için ne kullanabilirim ? $\theta$ $P(\theta(t+1)|\theta(t))$

Aşağıdaki cevapları düzenleyin (teşekkürler!) : 'yi HMM veya Kalman filtrelerinde olduğu gibi 1. sıradaki Markov Zinciri olarak modellemek istiyorum. Yapabileceğim tek varsayım nin düzgün olmasıdır. Ben yazabilirim ile küçük Gauss gürültüsü (Kalman filtresi fikri), ancak bu gereksinimi dağılacağı yönündeki içinde kalmalıdır . @J Dav fikrini takiben, gerçek satırı ile eşlemek için bir probit işlevi kullanabilirdim , ancak bunun analitik olmayan bir çözüm vereceği sezgisine sahibim. ile bir beta dağılımı $\theta(t)$ $\theta(t)$ $P(\theta(t+1)|\theta(t)) = \theta(t) + \epsilon$ $\epsilon$ $\theta$ $[0,1]$ $[0,1]$ $\theta(t)$ ve daha geniş bir değişiklik hile yapabilir.

Bu soruyu soruyorum çünkü bu sorunun daha önce çalışılmış olması gerektiği kadar basit olduğunu hissediyorum.

time-series bayesian kalman-filter

— repied2
kaynak

Başarı oranının zamanla nasıl değiştiğine dair bir modeliniz varsa bir tahmin alabilirsiniz. Birçok farklı model işe yarayacaktır ve tahminler varsayılan modele göre çok değişebilir. İzlenebilirliğin bir model seçmek için pratik bir kriter olduğunu düşünmüyorum. Süreci anlamak ve beklediğiniz davranışa uygun karakteristikler gösteren bir model aramak istiyorum.

— Michael R. Chernick

@MichaelChernick: Teşekkürler. Yapabileceğim tek varsayım sorunsuz ve yavaş hareket ettiği. Üstelik izlenebilirlik önemli bir kriterdir, çünkü aslında çözümü önemsiz olmayan bağımlılıklara sahip çok değişkenli duruma genişletmek istiyorum. İdeal bir çözüm analitik olacaktır ve yeni bir veri geldiğinde parametre tahminlerinin 'çevrimiçi' güncellenmesini sağlayacaktır.

θ

$\theta$

— repied2

Ne demek istediğinizi " sorunsuz ve yavaş hareket ediyor " ile ölçebilir misiniz ? Tamsayılar ayrıktır ve tamsayılarda rasgele değerler alan pürüzsüz işlevler vardır, bu da pürüzsüzlüğün hiçbir kısıtlama vermediği anlamına gelir. Bazı "yavaş" kavramları hâlâ herhangi bir kısıtlama getirmezken bazıları da kısıtlama getirmez.

θ

$\theta$

— Douglas Zare

"Yavaşça" ne kadar hızlıdır, 0.1 / birim zaman veya 0.001 ya da olasılıktaki bir değişiklik gibi ... Ve ne kadar bir dizinin olmasını bekliyorsunuz? Aralık nispeten dar mı (örn. 0,2 - 0,4) veya (0,1) 'e yakın mı?

— jbowman

@DouglasZare 'pürüzsüz' ile, E [θ_t + 1 | θ_t] = θ_t (veya çok yakın) ve VAR'ın (θ_t + 1 | θ_t) küçük olduğunu belirtmek istedim. jumping etrafta zıplamıyor (aksi halde hiçbir şey gerçekten yapılamaz).

— repied2

Yanıtlar:

Analitik çözüm içeren bir model bulabileceğinizden şüpheliyim, ancak modelinizin bağımlılık yapısı basit olduğundan doğru araçlar kullanılarak çıkarım hala izlenebilir hale getirilebilir. Bir makine öğrenimi araştırmacısı olarak, Beklenti Yayılım tekniği kullanılarak çıkarım oldukça verimli hale getirilebildiğinden aşağıdaki modeli kullanmayı tercih ederim:

Let olması sonucunu inci çalışma. Zamanla değişen parametreyi tanımlayalım $X(t)$ $t$

$\eta(t+1) \sim \mathcal{N}(\eta(t), \tau^2)$ için . $t \geq 0$

ile bağlamak için gizli değişkenleri tanıtın $\eta(t)$ $X(t)$

$Y(t) \sim \mathcal{N}(\eta(t), \beta^2)$ ,

ve model olarak $X(t)$

$X(t) = 1$ ise ve , aksi. Aslında 'leri görmezden gelebilir ve sadece , ( cdf ile standart normal) ancak gizli değişkenlerin girilmesi çıkarımı kolaylaştırır. Ayrıca, orijinal parametrelendirmenizde . $Y(t) \geq 0$ $X(t) = 0$ $Y(t)$ $\mathbb{P}[X(t)=1] = \Phi(\eta(t)/\beta)$ $\Phi$ $\theta(t) = \eta(t)/\beta$

Çıkarım algoritmasını uygulamakla ilgileniyorsanız, bu makaleye göz atın . Algoritmayı kolayca uyarlayabilmeniz için çok benzer bir model kullanıyorlar. EP'yi anlamak için aşağıdaki sayfa faydalı olabilir. Bu yaklaşımı izlemekle ilgileniyorsanız bana bildirin; Çıkarım algoritmasının nasıl uygulanacağı konusunda daha ayrıntılı tavsiyeler verebilirim.

— d_ijk_stra
kaynak

Yorumumda ayrıntılı olarak açıklamak için p (t) = p exp (-t) gibi bir model, basit olabilir ve maksimum olabilirlik tahmini kullanarak p tahmin ederek p (t) tahminine izin verir . Ancak olasılık gerçekten katlanarak azalır. Daha erken ve sonraki zamanlarda gözlemlediğinizden daha yüksek başarı sıklığına sahip zaman aralıklarını gözlemlerseniz bu model açıkça yanlış olur. Salınım davranışı p (t) = p | sint | olarak modellenebilir . Her iki model de çok izlenebilir ve maksimum olasılıkla çözülebilir ancak çok farklı çözümler sunarlar. $_0$ $_0$ $_0$

— Michael R. Chernick
kaynak

OP, , zamanındaki başarı olasılığını bir markovian süreç olarak modellemek istiyor, için bazı fonksiyonel formlar belirtmemektedir .

t

$t$

θ (t)

$\theta(t)$

θ (t)

$\theta(t)$

— Makro

@macro haklı, için parametrik bir form sağlayamıyorum ve bu işlev düzgün olmadığı için bu istenmiyor . Gizli Markov Modeli veya Kalman filtresine benzer, ancak 0 ile 1 arasında gerçek değerleri alan ve bir Bernouilli olasılığına sahip gizli bir değişkeni olan 1. siparişin bir Markov modelini istiyorum.

t h e t a (t)

$theta(t)$

— repied2

@pierre Düzenlemeden önce, p değişkeninin zamanını tahmin etmek istediğinizi ve sadece HMM'yi olası bir yaklaşım olarak önerdiğinizi ortaya çıktı. Ben t ile değişen şekilde fonksiyonel bir form tavsiye değildi. Daha fazla bilgi olmadan çeşitli tiplerde birçok modelin oluşturulabileceğine ve iki örneğim daha fazla bilgi olmadan model seçeneklerinin çok farklı cevaplar verebileceğini göstermekti. Neden bir HMM'de ısrar edesin? Biri işe yaradıysa ve verilerinize uyuyorsa, neden "analitik olmayan" olduğu için reddedin

— Michael R. Chernick

Uygun istatistiksel çözümler bulmanın pratik istatistiksel problemleri çözmenin yolu olmadığını öneriyorum!

— Michael R. Chernick

@MichaelChernick Son olarak: Bunun iyi bilinen bir sorun olduğunu ve insanların yeterince esnek analitik çözüm önerdiğini umuyorum çünkü analitik bir çözüm bulmak istiyorum. Ancak 'gerçek dinamikleri' modellemenin genel olarak hesaplama maliyetinden daha önemli olduğu fikrine katılıyorum. Ne yazık ki bu büyük veri içindir ve yavaş bir algo işe yaramaz :-(

— repied2

Olasılıkınız ile değişir, ancak Michael'ın dediği gibi, nasıl olduğunu bilmiyorsunuz. doğrusal mı değil mi? Olasılık oranınızın olduğu bir model seçim problemine benziyor : $t$ $p$

$p=\Phi(g(t,\theta))$ oldukça doğrusal olmayan bir fonksiyonuna bağlı olabilir. sadece 0 ile 1 olasılıkları garanti eden sınırlayıcı bir fonksiyondur. $g(t,\theta)$ $\Phi$

Basit bir keşif yaklaşımı , farklı doğrusal olmayan ile için birkaç deneme denemek ve standart Bilgi Ölçütlerine dayalı bir modeli seçimi yapmak olacaktır . $\Phi$ $g()$ $g()$

Senin cevaplamak için yeniden eddited soru:

Söylediğiniz gibi probit kullanmak yalnızca sayısal çözümler anlamına gelir, ancak bunun yerine bir lojistik işlev kullanabilirsiniz:

Lojistik fonksiyon: $P[\theta(t+1)] = \frac{1}{1+\exp{(\theta(t)+\epsilon)}}$

Doğrusallaştırıcı: $\log{\frac{P}{1-P}} = \theta(t)+\epsilon$

Bunun Kalman filtre yaklaşımı altında nasıl çalışabileceğinden emin değilim, ancak yine de veya diğerleri gibi doğrusal olmayan bir spesifikasyonun rastgele bir terim olmadan inanacağına inanıyorum. işi yap. Gördüğünüz gibi, bu işlev sürekli ve farklılaştırılabilir olması anlamında "smoth" tir. Maalesef eklemek , istemediğiniz bir şey olan ortaya çıkan olasılıktan atlamalar oluşturacaktır, bu yüzden tavsiyem çıkarmak olacaktır . $\theta(t+1)=a t^3 +bt^2+ct + d$ $\epsilon$ $\epsilon$

Logit olasılığı: $P[Coin_{t+1}=H | t] = \frac{1}{1+\exp{(\theta(t))}}$

Bernoulli etkinliğinde (Markov Zinciri) zaten rasgele var ve nedeniyle ek bir kaynak ekliyorsunuz . Böylece, probleminiz açıklayıcı değişken olarak ile maksimum olasılıkla tahmin edilen bir Probit veya Logit olarak çözülebilir . Sanırım bu, azimliğin çok önemli olduğunu kabul ediyorsun. Temel amacınız belirli bir yöntemi (HMM ve Kalman Filtresi) uygulamak ve probleminize en basit geçerli çözümü vermemekse. $\epsilon$ $t$

— JDav
kaynak

Bir probit kullanırsanız, çok değişkenli bir probit tahmin edilebildiğinden, çok değişkenli bir uzantı basittir. Bağımlılıklar, ima edilen çok değişkenli normal dağılımın kovaryans matrisi tarafından örtülü olacaktır.

— JDav