Maksimum Olabilirlik Tahmin Edicileri - Çok Değişkenli Gauss

bağlam

Çok Değişkenli Gauss, Makine Öğreniminde sıkça görülür ve aşağıdaki sonuçlar, türevleri olmayan birçok ML kitap ve dersinde kullanılır.

Bir matris şeklinde verilen veriler $\mathbf{X}$ boyutları $m \times p$ , biz veri aşağıdaki varsayarsak $p$ -variate Gauss parametrelerle dağılımı ortalama $\mu$ ( $p \times 1$ ) ve kovaryans matrisi $\Sigma$ ( $p \times p$ ) Maksimum Olabilirlik Tahmin olan tarafından verilen:

• $\hat \mu = \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}}$
• $\hat \Sigma = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T$

Çok değişkenli Gaussian bilgisinin birçok ML kursu için bir ön koşul olduğunu anlıyorum, ancak bir çok öz-öğrenicinin istatistiklerin etrafında zıpladığını hissettiğim için, kendi kendine yeten bir cevapta tam türev almanın yararlı olacağını düşünüyorum. stackexchange ve math.stackexchange web siteleri cevap arıyor.

---

Soru

Çok değişkenli Gauss için Maksimum Olabilirlik Tahmincilerinin tam türevi nedir

---

Örnekler:

Doğrusal Diskriminant Analizi hakkındaki bu ders notları (sayfa 11) veya bunlar ders sonuçlarını kullanır ve önceki bilgileri alır.

Kısmen cevaplanan veya kapatılan birkaç mesaj da vardır:

• Çok değişkenli normal dağılım için maksimum olabilirlik tahmincisi
• Çok değişkenli normal dağılım için Maksimum Olabilirlik Tahminini anlamak için yardıma mı ihtiyacınız var?

Maksimum Olabilirlik Tahmin Edicilerinin Türetilmesi

Elimizdeki varsayalım rastgele boyut her vektörleri, p : X ( 1 ) , X ( 2 ) , . . . , X ( m ), burada her rasgele vektör p değişkenleri arasında bir gözlem (veri noktası) olarak yorumlanabilir . Her X ( i ) çok değişkenli Gauss vektörleri olarak kullanılıyorsa:$m$$p$$\mathbf{X^{(1)}, X^{(2)},...,X^{(m)}}$$p$$\mathbf{X}^{(i)}$

$$\mathbf{X^{(i)}} \sim \mathcal{N}_p(\mu, \Sigma)$$

parametreleri bilinmiyor. Tahminlerini elde etmek için maksimum olabilirlik yöntemini kullanabilir ve günlük olabilirlik işlevini en üst düzeye çıkarabiliriz.$\mu, \Sigma$

Rasgele vektörlerin bağımsızlığı ile, verilerin derz yoğunluğunun olduğuna dikkat edin . . . , M } bireysel yoğunluklarının ürün Π m i = 1 f X ( i ) ( x ( i ) , μ , Σ ) . Logaritmayı almak log-olasılık fonksiyonunu verir$\mathbf{ \{X^{(i)}}, i = 1,2,...,m\}$$\prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} ; \mu , \Sigma })$

$$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \log \prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} | \mu , \Sigma }) \\ & = \log \ \prod_{i=1}^m \frac{1}{(2 \pi)^{p/2} |\Sigma|^{1/2}} \exp \left( - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \\ & = \sum_{i=1}^m \left( - \frac{p}{2} \log (2 \pi) - \frac{1}{2} \log |\Sigma| - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \end{aligned}$$

$$\begin{aligned} l(\mu, \Sigma ; ) & = - \frac{mp}{2} \log (2 \pi) - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \end{aligned}$$

karsanmas μ$\hat \mu$

İle ilgili olarak türevini almak ve aşağıdaki matris taşı kimlik kullanımı yapacak sıfıra eşit:$\mu$

,wA'ya bağlı değilseveAsimetrikse.$\mathbf{ \frac{\partial w^T A w}{\partial w} = 2Aw}$$\mathbf{w}$$\mathbf{A}$$\mathbf{A}$

$$\begin{aligned} \frac{\partial }{\partial \mu} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \sum_{i=1}^m \mathbf{ \Sigma^{-1} ( \mu - x^{(i)} ) } = 0 \\ & \text{Since $\Sigma$ is positive definite} \\ 0 & = m \mu - \sum_{i=1}^m \mathbf{ x^{(i)} } \\ \hat \mu &= \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}} \end{aligned}$$

Which is often called the sample mean vector.

Deriving $\hat \Sigma$

Deriving the MLE for the covariance matrix requires more work and the use of the following linear algebra and calculus properties:

• The trace is invariant under cyclic permutations of matrix products: $tr[ACB] = tr[CAB] = tr[BCA]$
• Since $x^TAx$ is scalar, we can take its trace and obtain the same value: $x^tAx = tr[x^TAx] = tr[x^txA]$
• $\frac{\partial}{\partial A} tr[AB] = B^T$
• $\frac{\partial}{\partial A} \log |A| = A^{-T}$

Combining these properties allows us to calculate

$$\frac{\partial}{\partial A} x^tAx =\frac{\partial}{\partial A} tr[x^TxA] = [xx^t]^T = x^{TT}x^T = xx^T$$

Which is the outer product of the vector $x$ with itself.

We can now re-write the log-likelihood function and compute the derivative w.r.t. $\Sigma^{-1}$ (note $C$ is constant)

$$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \text{C} - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \\ & = \text{C} + \frac{m}{2} \log |\Sigma^{-1}| - \frac{1}{2} \sum_{i=1}^m tr[ \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)^T \Sigma^{-1} } ] \\ \frac{\partial }{\partial \Sigma^{-1}} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \frac{m}{2} \Sigma - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \ \ \text{Since $\Sigma^T = \Sigma$} \end{aligned}$$

Equating to zero and solving for $\Sigma$

$$\begin{aligned} 0 &= m \Sigma - \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \\ \hat \Sigma & = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T \end{aligned}$$

Sources

• https://people.eecs.berkeley.edu/~jordan/courses/260-spring10/other-readings/chapter13.pdf
• http://ttic.uchicago.edu/~shubhendu/Slides/Estimation.pdf

An alternate proof for $\widehat{\Sigma}$ that takes the derivative with respect to $\Sigma$ directly:

Picking up with the log-likelihood as above:

$$\begin{eqnarray} \ell(\mu, \Sigma) &=& C - \frac{m}{2}\log|\Sigma|-\frac{1}{2} \sum_{i=1}^m \text{tr}\left[(\mathbf{x}^{(i)}-\mu)^T \Sigma^{-1} (\mathbf{x}^{(i)}-\mu)\right]\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| + \sum_{i=1}^m\text{tr} \left[(\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T\Sigma^{-1} \right]\right)\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| +\text{tr}\left[ S_\mu \Sigma^{-1} \right] \right) \end{eqnarray}$$ where $S_\mu = \sum_{i=1}^m (\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T$ and we have used the cyclic and linear properties of $\text{tr}$. To compute $\partial \ell /\partial \Sigma$ we first observe that $$\frac{\partial}{\partial \Sigma} \log |\Sigma| = \Sigma^{-T}=\Sigma^{-1}$$ by the fourth property above. To take the derivative of the second term we will need the property that $$\frac{\partial}{\partial X}\text{tr}\left( A X^{-1} B\right) = -(X^{-1}BAX^{-1})^T.$$ (from The Matrix Cookbook, equation 63). Applying this with $B=I$ we obtain that $$\frac{\partial}{\partial \Sigma}\text{tr}\left[S_\mu \Sigma^{-1}\right] = -\left( \Sigma^{-1} S_\mu \Sigma^{-1}\right)^T = -\Sigma^{-1} S_\mu \Sigma^{-1}$$ because both $\Sigma$ and $S_\mu$ are symmetric. Then $$\frac{\partial}{\partial \Sigma}\ell(\mu, \Sigma) \propto m \Sigma^{-1} - \Sigma^{-1} S_\mu \Sigma^{-1}.$$ Setting this to 0 and rearranging gives $$\widehat{\Sigma} = \frac{1}{m}S_\mu.$$

This approach is more work than the standard one using derivatives with respect to $\Lambda = \Sigma^{-1}$, and requires a more complicated trace identity. I only found it useful because I currently need to take derivatives of a modified likelihood function for which it seems much harder to use $\partial/{\partial \Sigma^{-1}}$ than $\partial/\partial \Sigma$.