Yeni gözlem akışı olarak MLE'yi tekrar tekrar güncelleme

Genel Soru

İstatistiksel bağımsız veri var ki $x_1$ , $x_2$ ..., . Biz yinelemeli en çok olabilirlik tahmini hesaplamak istediğiniz streaming . Yani, yeni bir gözlemliyoruz ve tahmini tahminimizi bir şekilde kademeli olarak güncellemek istiyoruz sıfırdan başlamak zorunda kalmadan. Bunun için genel algoritmalar var mı? $\sim f(x\,|\,\boldsymbol{\theta})$ $\boldsymbol{\theta}$

{\hat{θ}}_{n - 1} = \underset{θ \in R^{p}}{\arg max} \prod_{i = 1}^{n - 1} f (x_{i} | θ),

$\hat{\boldsymbol{\theta}}_{n-1}=\underset{\boldsymbol{\theta}\in\mathbb{R}^p}{\arg\max}\prod_{i=1}^{n-1}f(x_i\,|\,\boldsymbol{\theta}),$

x_{n}

$x_n$

{\hat{θ}}_{n - 1}, x_{n} \to {\hat{θ}}_{n}

$\hat{\boldsymbol{\theta}}_{n-1},\,x_n \to \hat{\boldsymbol{\theta}}_{n}$

Oyuncak Örneği

Eğer $x_1$ , $x_2$ , ... $\sim N(x\,|\,\mu, 1)$ , o

{\hat{μ}}_{n - 1} = \frac{1}{n - 1} \sum_{i = 1}^{n - 1} x_{i} and {\hat{μ}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} x_{i},

$\hat{\mu}_{n-1} = \frac{1}{n-1}\sum\limits_{i=1}^{n-1}x_i\quad\text{and}\quad\hat{\mu}_n = \frac{1}{n}\sum\limits_{i=1}^nx_i,$ böylece

{\hat{μ}}_{n} = \frac{1}{n} [(n - 1) {\hat{μ}}_{n - 1} + x_{n}] .

$\hat{\mu}_n=\frac{1}{n}\left[(n-1)\hat{\mu}_{n-1} + x_n\right].$

maximum-likelihood online

— jcz
kaynak

Bu sorunun tersini unutmayın: eski gözlemler silindiğinde tahmin ediciyi güncelleme.

— 19:19 Hong Ooi

Özyinelemeli en küçük kareler (RLS) bu sorunun belirli bir örneğine (çok ünlü) bir çözümdür, değil mi? Genel olarak, stokastik filtreleme literatürünün araştırılmasında faydalı olabileceğine inanıyorum.

— jhin

Yanıtlar:

Yeterlilik kavramına ve özellikle minimum yeterli istatistiğe bakınız . Çoğu durumda, belirli bir örnek boyutundaki tahmini hesaplamak için tüm numuneye ihtiyacınız vardır, bir boyuttan daha küçük bir örnekten güncelleme yapmak için önemsiz bir yol yoktur (yani uygun bir genel sonuç yoktur).

Dağıtım üstel bir aile ise (ve diğer bazı durumlarda; üniforma düzgün bir örnektir), birçok durumda aradığınız şekilde güncellenebilecek güzel bir istatistik vardır (yani, yaygın olarak kullanılan bir dizi dağıtımda) hızlı güncelleme).

Hesaplamak veya güncellemek için herhangi bir doğrudan yolun farkında olmadığım bir örnek, Cauchy dağılımının konumunun tahminidir (örneğin, birimi basit bir parametre problemi yapmak için birim ölçeği ile). Bununla birlikte, daha önce fark etmediğim daha hızlı bir güncelleme olabilir - güncelleme durumunu dikkate almak için gerçekten bir bakıştan daha fazlasını yaptığımı söyleyemem.

Öte yandan, sayısal optimizasyon yöntemleri ile elde edilen MLE'lerle, önceki tahmin çoğu durumda harika bir başlangıç noktası olacaktır, çünkü tipik olarak önceki tahmin güncellenmiş tahmine çok yakın olacaktır; bu anlamda en azından hızlı güncelleme mümkün olmalıdır. Bu genel durum olmasa bile - multimodal olabilirlik fonksiyonları ile (yine bir örnek için Cauchy'ye bakın), yeni bir gözlem en yüksek modun öncekinden biraz uzak olmasına yol açabilir (her birinin konumu En büyük birkaç modun çok fazla değişmediği, hangisinin en yüksek olduğu iyi değişebilir).

— Glen_b-Monica'yı eski durumuna döndür
kaynak

Teşekkürler! MLE'nin muhtemelen orta akım değiştirme modları hakkındaki nokta, bunun genel olarak neden zor olacağını anlamak için özellikle yararlıdır.

— jcz

Yukarıdaki birim ölçekli Cauchy modeli ve verilerle (0.1,0.11,0.12,2.91,2.921,2.933) kendiniz görebilirsiniz. Modların yeri için log olasılığı 0.5 ve 2.5'e yakındır ve (biraz) daha yüksek tepe noktası 0.5'e yakın olanıdır. Şimdi bir sonraki gözlemi (10) yapın ve iki zirvenin her birinin modu zar zor hareket eder, ancak şimdi ikinci zirve önemli ölçüde daha yüksektir. Degrade iniş bu olduğunda size yardımcı olmaz, neredeyse tekrar başlamak gibidir. Nüfusunuz farklı konumlara sahip iki benzer büyüklükteki alt grubun bir karışımıysa, bu tür durumlar oluşabilir -. ...

— ctd

ctd ... nispeten büyük bir örnekte bile. Doğru durumda mod değiştirme oldukça sık meydana gelebilir.

— Glen_b

n

$n$

Evet doğru; Cevapta tartışıp tartışmayacağımı kendimle tartıştım.

— Glen_b -Monica

Makine öğreniminde buna, çevrimiçi öğrenme .

@ Glen_b'in işaret ettiği gibi, MLE'nin önceki tüm verilere erişmeye gerek kalmadan güncellenebileceği özel durumlar vardır. Ayrıca belirttiği gibi, MLE'yi bulmak için genel bir çözüm olduğuna inanmıyorum.

Yaklaşık çözümü bulmak için oldukça genel bir yaklaşım, stokastik degrade iniş gibi bir şey kullanmaktır. Bu durumda, her gözlem geldiğinde, gradyanı bu bireysel gözlemle ilgili olarak hesaplar ve parametre değerlerini bu yönde çok küçük bir miktarda hareket ettiririz. Belirli koşullar altında, bunun yüksek olasılıkla MLE'nin bir mahallesine yaklaşacağını gösterebiliriz; mahalle adım boyutunu küçülttüğümüz için daha sıkı ve daha sıkıdır, ancak yakınsama için daha fazla veri gerekir. Bununla birlikte, bu stokastik yöntemler genel olarak iyi performans elde etmek için, örneğin, kapalı form güncellemelerinden çok daha fazla uğraşmayı gerektirir.

— Cliff AB
kaynak