MLE, iid verisi gerektirir mi? Yoksa sadece bağımsız parametreler mi?

Parametreleri maksimum olabilirlik tahmini (MLE) kullanarak tahmin etmek, bir dağılım ailesi (P (X = x | θ) üzerinde parametre uzayında (θ) değerler (x) ile meydana gelen örneğin (X) olasılığını haritalayan olabilirlik fonksiyonunun değerlendirilmesini içerir. ) values ​​(not: bu konuda doğru muyum?) üzerinde θ ve X için değer örnektir (bir vektör).

Sadece verileri çoğalttığımız için, verilerin bağımsız olması takip ediyor mu? Örneğin, MLE'yi zaman serisi verilerine sığdırmak için kullanamadık mı? Yoksa parametrelerin bağımsız olması mı gerekiyor?

Olabilirlik fonksiyonu, model parametrelerinin bir fonksiyonu olarak bir E olayının (veri kümesi x ) olasılığı olarak tanımlanır θ$E$${\bf x}$$\theta$

$${\mathcal L}(\theta;{\bf x})\propto {\mathbb P}(\text{Event }E;\theta)= {\mathbb P}(\text{observing } {\bf x};\theta).$$

Bu nedenle, gözlemlerin bağımsızlığı varsayımı yoktur. Klasik yaklaşımda parametrelerin bağımsızlığı için tanım yoktur , çünkü bunlar rastgele değişken değildir; ilgili bazı kavramlar tanımlanabilirlik , parametre dikliği ve Maksimum Olabilirlik Tahmincilerinin (rasgele değişkenler) bağımsızlığı olabilir.

Bazı örnekler,

(1). Ayrık durum . ile (bağımsız) münferit gözlemler bir örnek P ( gözlemlemek  x j ; θ ) > 0 , daha sonra${\bf x}=(x_1,...,x_n)$${\mathbb P}(\text{observing } x_j ; \theta)>0$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n{\mathbb P}(\text{observing } x_j ; \theta).$$

Özellikle, eğer , N ile biliniyorsa,$x_j\sim \text{Binomial}(N,\theta)$$N$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n \theta^{x_j}(1-\theta)^{N-x_j}.$$

(2). Sürekli yaklaşım . Let bir sürekli rastgele değişken bir numune olduğu X dağılımı ile, F ve yoğunluk f ölçüm hatası ile, £ değerinin , bu, takımları da dikkate ( x j - ε , X j + ϵ ) . Sonra${\bf x}=(x_1,...,x_n)$$X$$F$$f$$\epsilon$$(x_j-\epsilon,x_j+\epsilon)$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n {\mathbb P}[\text{observing } (x_j-\epsilon,x_j+\epsilon);\theta] = \prod_{j=1}^n[F(x_j+\epsilon;\theta)-F(x_j-\epsilon;\theta)] \end{eqnarray*}$$

Ne zaman küçük, bundan (ortalama değer Teoremi kullanılarak) yakınsanabilir$\epsilon$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n f(x_j;\theta) \end{eqnarray*}$$

Normal durumda olan bir örnek için bir göz atın bu .

(3). Bağımlı ve Markov modeli . Varsayalım ki muhtemelen bağımlı ve izin gözlemler bir dizi ön olması ortak yoğunluğu x , daha sonra${\bf x}=(x_1,...,x_n)$$f$${\bf x}$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta). \end{eqnarray*}$$

Ek olarak Markov özelliği tatmin edildiyse ,

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta) = f(x_1;\theta)\prod_{j=1}^{n-1} f(x_{j+1} \vert x_j ;\theta). \end{eqnarray*}$$

Ayrıca bir göz atın bu .

(+1) Çok iyi bir soru.

Küçük bir şey, MLE maksimum olabilirlik tahminini (çoklu değil) ifade eder, bu da olasılığı en üst düzeye çıkarmanız anlamına gelir. Bu, olasılığın IID örneklemesi tarafından üretilmesi gerektiğini belirtmez.

Örneklemenin bağımlılığı istatistiksel modelde yazılabilirse, olasılığı buna göre yazar ve her zamanki gibi en üst düzeye çıkarırsınız.

Eğer ne zaman söz bir vaka değer değil bağımlılığı varsayalım değişkenli Gauss örnekleme ki (örneğin zamanında serileri analizi) 'dir. İki Gauss değişkeni arasındaki bağımlılık, büyük olasılıkla desteklemediğiniz kovaryans terimleriyle modellenebilir.

Basit bir örnek vermek gerekirse, aynı ortalama ve varyansla ilişkili Gauss değişkenlerinden boyutlu bir örnek çizdiğinizi varsayalım . Olasılığı şöyle yazarsınız:$2$

$$\frac{1}{2\pi\sigma^2\sqrt{1-\rho^2}}\exp\left(-\frac{z}{2\sigma^2(1-\rho^2)}\right),$$

burada bir$z$

$$z = (x_1-\mu)^2-2\rho(x_1-\mu)(x_2-\mu)+(x_2-\mu)^2.$$

Bu, bireysel olasılıkların ürünü değildir. Yine de, MLE'lerini almak için bunu parametrelerle maksimize edersiniz.$(\mu, \sigma, \rho)$

Elbette, Gauss ARMA modelleri, kovaryans fonksiyonları açıkça türetilebildiğinden, bir olasılığa sahiptir. Bu temel olarak gui11ame'in 2'den fazla gözleme cevabının bir uzantısıdır. Minimal googling gibi kağıtları üreten bu bir olasılık genel formda verilir.

Bir başka, bir ölçüde, daha ilgi çekici bir örnek sınıfı, çok seviyeli rastgele etki modelleri tarafından verilmektedir . Form verilerini varsa endeksler j iç içe ı (öğrenciler düşünüyorum j sınıflarında ı , diyelim ki, düzeyli modellerin klasik uygulama için) , o zaman, ϵ i j ⊥ u i varsayarsak , olasılık ln L ∼ ∑

$$y_{ij} = x_{ij}'\beta + u_i + \epsilon_{ij},$$ $j$$i$$j$$i$$\epsilon_{ij} \perp u_i$ ve bireysel gözlemler değil, kümeler düzeyinde tanımlanan olabilirlik katkılarının toplamıdır. (Tabii ki, Gauss davasında, analitik ANOVA benzeri bir çözüm üretmek için integralleri itebilirsiniz. Ancak, y i j yanıtınız için bir logit modeli söylediyseniz, sayısal entegrasyondan çıkmanın bir yolu yoktur. ) $$\ln L \sim \sum_i \ln \int \prod_j f(y_{ij}|\beta,u_i) {\rm d}F(u_i)$$ $y_{ij}$