Ortalama ve varyans bilindiğinde, iki değişkenli normal verilerin kovaryansının maksimum olasılık tahmini nedir?

Ortalama olarak sıfır ve varyans olarak var olan iki değişkenli normal dağılımdan rastgele bir örneğimiz olduğunu varsayalım, bu yüzden bilinmeyen tek parametre kovaryanstır. Kovaryansın MLE'si nedir? gibi bir şey olması gerektiğini biliyorum ama bunu nasıl biliyoruz? $\frac{1}{n} \sum_{j=1}^{n}x_j y_j$

— Stacy
kaynak

Bir başlangıç olarak, aslında 0 ve 0 olduklarını bildiğimizde ve ile araçları tahmin etmenin biraz amca olduğunu düşünmüyor musunuz?

\bar{x}

$\bar{x}$

\bar{y}

$\bar{y}$

— Wolfgang

Çok amca, düzeltti. Hala bunun nasıl kolayca takip edebileceğini göremiyorum. Örnek varyansına benzer, ancak neden MLE (bu değilse ve başka bir hata yapmadıkça)

— Stacy

Silinmiş yazıldı ? Bu formülü kullanmak, ve araçların tahmini olarak gördüğünüz anlamına gelmez .

\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$\frac{1}{n}\sum_{i=1}^n(x_i-\bar x)(y_i - \bar y)$

\bar{x}

$\bar x$

\bar{y}

$\bar y$

— Stéphane Laurent

@ StéphaneLaurent Evet, ilk gönderide formül yazdığınız gibi verildi.

— Wolfgang

Korelasyon katsayısının tahmincisi (iki değişkenli bir standart normal durumda kovaryansa eşittir)

\tilde{r} = \frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}

$\tilde r = \frac 1n\sum_{i=1}^nx_iy_i$

"Örnek Momentler Tahmincisi", örnek kovaryanstır. Bakalım maksimum olabilirlik tahmin ediciyle çakışıyor mu, . $\hat \rho$

Korelasyon katsayısı normal bir çift değişkenli standart ortak yoğunluk isimli $\rho$

f (x, y) = \frac{1}{2 π \sqrt{1 - ρ^{2}}} \exp {- \frac{x^{2} + y^{2} - 2 ρ x y}{2 (1 - ρ^{2})}}

$f(x,y) = \frac{1}{2 \pi \sqrt{1-\rho^2}} \exp\left\{-\frac{x^2 +y^2 -2\rho xy}{2(1-\rho^2)}\right\}$

ve boyutu bir iid numunenin log olasılık, böylece olduğu $n$

\ln L = - n \ln (2 π) - \frac{n}{2} \ln (1 - ρ^{2}) - \frac{1}{2 (1 - ρ^{2})} \sum_{i = 1}^{n} (x_{i}^{2} + y_{i}^{2} - 2 ρ x_{i} y_{i})

$\ln L = -n\ln(2\pi) -\frac n2\ln(1-\rho^2) - \frac 1{2(1-\rho^2)}\sum_{i=1}^n(x_i^2 +y_i^2 -2\rho x_iy_i)$

(burada iid varsayımı, elbette iki boyutlu popülasyonun her çekilişi ile ilgilidir)

göre türevi almak ve sıfıra eşitlemek, cinsinden bir 3d derece polinom verir : $\rho$ $\rho$

\hat{ρ} : n {\hat{ρ}}^{3} - (\sum_{i = 1}^{n} x_{i} y_{i}) {\hat{ρ}}^{2} - (1 - \frac{1}{n} \sum_{i = 1}^{n} (x_{i}^{2} + y_{i}^{2})) n \hat{ρ} - \sum_{i = 1}^{n} x_{i} y_{i} = 0

$\hat \rho: n\hat \rho^3 -\left(\sum_{i=1}^nx_iy_i\right)\hat\rho^2 -\left(1- \frac 1n\sum_{i=1}^n(x_i^2 +y_i^2) \right)n\hat \rho - \sum_{i=1}^nx_iy_i =0$

Gerçek katsayısı -it olarak değerlendirilen türevin beklenen değerini alırsa, hesaplamaların doğru olduğu doğrulanabilir . $\rho$

Kompaktlık için, ve örnek varyanslarının toplamı olan . 1. türev ifadesini bölersek, MoM tahmincisi görünecektir, $(1/n)\sum_{i=1}^n(x_i^2 +y_i^2) = (1/n)S_2$ $X$ $Y$ $n$

\hat{ρ} : {\hat{ρ}}^{3} - \tilde{r} {\hat{ρ}}^{2} + [(1 / n) S_{2} - 1] \hat{ρ} - \tilde{r} = 0

$\hat \rho: \hat \rho^3 -\tilde r \hat \rho^2 + \big[(1/n)S_2-1\big]\hat \rho -\tilde r=0$

\Rightarrow \hat{ρ} ({\hat{ρ}}^{2} - \tilde{r} \hat{ρ} + [(1 / n) S_{2} - 1]) = \tilde{r}

$\Rightarrow \hat \rho\Big(\hat \rho^2 -\tilde r \hat \rho + \big[(1/n)S_2-1\big] \Big) = \tilde r$

Cebir yaparak, edersek ve sadece, , yani sadece örnek varyanslarının toplamı eşitse, gerçek varyansların toplamı. Genel olarak $\hat \rho = \tilde r$ $(1/n)S_2 =2$

\hat{ρ} \neq \tilde{r}

$\hat \rho \neq \tilde r$

Peki burada ne oluyor? Birisi daha açıklayacaktır, şu an için bir simülasyon deneyelim: Korelasyon katsayısı ile iki standart normalden oluşan bir iid örneği oluşturdum . Örneklem büyüklüğü . Örnek değerler $\rho=0.6$ $n=1.000$

\sum_{i = 1}^{n} x_{i} y_{i} = 522.05, S_{2} = 1913.28

$\sum_{i=1}^nx_iy_i = 522.05,\;\;S_2 = 1913.28$

Momentler Yöntemi tahmincisi bize

\tilde{r} = \frac{522.05}{1000} = 0.522

$\tilde r = \frac {522.05}{1000} = 0.522$

Günlük olasılığına ne olur? Görsel olarak,

resim açıklamasını buraya girin

Sayısal olarak,

\begin{array}{rrr} ρ & 1st deriv & lnL \\ 0.5 & - 70.92 & - 783.65 \\ 0.51 & - 59.41 & - 782.47 \\ 0.52 & - 47.7 & - 781.48 \\ 0.53 & - 35.78 & - 780.68 \\ 0.54 & - 23.64 & - 780.1 \\ 0.55 & - 11.29 & - 779.75 \\ 0.56 & 1.29 & - 779.64 \\ 0.57 & 14.1 & - 779.81 \\ 0.58 & 27.15 & - 780.27 \\ 0.59 & 40.44 & - 781.05 \\ 0.6 & 53.98 & - 782.18 \end{array}

$\begin{array}{| r | r | r |} \hline \hline ρ&\text{1st deriv}&\text{lnL}\\ \hline 0.5&-70.92&-783.65\\ 0.51&-59.41&-782.47\\ 0.52&-47.7&-781.48\\ 0.53&-35.78&-780.68\\ 0.54&-23.64&-780.1\\ 0.55&-11.29&-779.75\\ 0.56&1.29&-779.64\\ 0.57&14.1&-779.81\\ 0.58&27.15&-780.27\\ 0.59&40.44&-781.05\\ 0.6&53.98&-782.18\\ \hline \end{array}$

ve log-olasılığının maksimum olarak biraz önce olduğunu görüyoruz burada da birinci türev sıfır olur . Değerleri için hiçbir sürpriz gösterilmemiş. Ayrıca, 1. türevin başka bir kökü yoktur. $\rho=0.56$ $(\hat \rho = 0.558985)$ $\rho$

Dolayısıyla bu simülasyon, maksimum olabilirlik tahmin edicisinin moment tahmincisi yöntemine (iki rv arasındaki örnek kovaryans) eşit olmadığı sonucuna varır.

Ama öyle görünüyor ki "herkes" öyle diyor ki ... birileri bir açıklama yapmalı.

GÜNCELLEME

MLE'nin Momentler Yöntemi tahmincisi olduğunu kanıtlayan bir referans: Anderson, TW ve Olkin, I. (1985). Çok değişkenli normal dağılım parametrelerinin maksimum olabilirlik tahmini. Lineer cebir ve uygulamaları, 70, 147-171.
Burada tüm araçların ve varyansların değişmekte özgür olması ve sabit olmaması önemli midir?

... Muhtemelen evet, çünkü başka birinin (şimdi silinmiş) cevabındaki @ guy yorumu, verilen ortalama ve varyans parametreleriyle, iki değişkenli normalin kavisli üstel ailenin bir üyesi olduğunu söylüyor (ve böylece bazı sonuçlar ve özellikler değişir) ... ki bu iki sonucu uzlaştırmanın tek yolu gibi görünüyor.

— Alecos Papadopoulos
kaynak

Bu biraz şaşırtıcı, ama bazı yansımalardan sonra beklenmelidir. Sorun regresyon katsayısı tahmin olarak adlandırılabilecek edilebilir modelinde burada . Bu doğrusal bir model değildir, bu nedenle MLE'nin basit bir nokta ürünü olmasını beklemek için hiçbir neden yoktur. Aynı mantık gösterileri (sanırım!) Biz sadece biliyorsanız o sonra MLE olduğunu ve biz sadece biliyorsanız . Hiçbirini bilmezsek, MOM tahmincinizi alırız.

ρ

$\rho$

Y = ρ X + ϵ

$Y = \rho X + \epsilon$

ϵ \sim N (0, {\sqrt{1 - ρ^{2}}}^{2})

$\epsilon \sim \mathcal N(0, \sqrt{1 - \rho^2}^2)$

Var (X)

$\mbox{Var}(X)$

x^{'} y / x^{'} x

$x'y / x'x$

x^{'} y / y^{'} y

$x'y / y'y$

Var (Y)

$\mbox{Var}(Y)$

— Guy

@guy: Çok ilginç. Bence bu argümanlar biraz genişlediyse, ayrı bir cevap olarak gönderilmeyi hak ediyor!

— amip

@guy Bu formülasyonun eşdeğer olduğunu düşünmüyorum, çünkü regresyon kurulumundaki log olabilirliği . İki değişkenli yoğunluk formülasyonunda eklenen katsayısı mevcut değildir.

ϵ^{2} = (y - ρ x)^{2} = y^{2} - 2 ρ x y + ρ^{2} x^{2}

$\epsilon^2=(y-\rho x)^2 = y^2 -2\rho xy + \rho^2 x^2$

ρ^{2}

$\rho^2$

x^{2}

$x^2$

— Alecos Papadopoulos

Tahminim . Düşünün ve , daha sonra tahmini beklenmektedir.

\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$\frac{1}{n}\sum_{i=1}^n(x_i-\bar x)(y_i - \bar y)$

n = 2

$n=2$

y_{1} = y_{2}

$y_1=y_2$

0

$0$

— Stéphane Laurent

@AlecosPapadopoulos . Terimi, payda iptal edilir , orijinal giriş-olasılıkla katkıda bulunur olan veriler sadece terimi, böylece . Ancak bu, iyi bilinen çarpanlara ayırma hemen sonra da , . Bunlara terimini dahil etmeyi ihmal ettiğim için diğer iddialarım yanlış .

x^{2} + y^{2} - 2 ρ x y = (1 - ρ^{2}) x^{2} + (y - ρ x)^{2}

$x^2 + y^2 - 2\rho x y = (1 - \rho^2) x^2 + (y - \rho x)^2$

(1 - ρ^{2}) x^{2}

$(1 - \rho^2) x^2$

(1 - ρ^{2})

$(1 - \rho^2)$

(y - ρ x)^{2} / (1 - ρ^{2})

$(y - \rho x)^2 / (1 - \rho^2)$

X \sim N (μ_{X}, σ_{X}^{2})

$X \sim N(\mu_X, \sigma^2_X)$

[Y | X] \sim N (μ_{Y} + ρ_{X} \frac{σ_{Y}}{σ_{X}} (X - μ_{X}), σ_{Y | X}^{2} {\sqrt{1 - ρ^{2}}}^{2})

$[Y|X] \sim N(\mu_Y + \rho_X \frac{\sigma_Y}{\sigma_X} (X - \mu_X), \sigma^2_{Y|X} \sqrt{1 - \rho^2}^2)$

σ_{Y} / σ_{X}

$\sigma_Y/\sigma_X$

— Guy

Belirtilen koşullar altında ( ve ), boyutta rasgele örneği için olabilirlik fonksiyonu olduğu $\mu_X = \mu_Y = 0$ $\sigma_X = \sigma_Y = 1$ $n$

L (ρ | X, Y) = \frac{1}{(2 π [1 - ρ^{2}])^{n / 2}} \exp [- \frac{1}{2 (1 - ρ^{2})} (X^{'} X - 2 ρ X^{'} Y + Y^{'} Y)] .

$L(\rho\; |\; X, Y) = \frac{1}{(2\pi[1-\rho^2])^{n/2}}\exp \left[-\frac{1}{2(1-\rho^2)}(X'X - 2\rho X'Y + Y'Y)\right].$

Şimdi log-olasılık bulmak ve göre türev almak . Ardından, için çözerek 0'a ayarlayın . Bulduğunuz şeyin aslında küresel bir maksimum olduğunu göstermek için elbette uygun bir test yapmalısınız. $\rho$ $\hat{\rho}$

— Dennis
kaynak