Bir matris fonksiyonunun türevinin bu hesaplanmasını haklı kılan nedir?

Andrew Ng'in makine öğrenimi kursunda şu formülü kullanıyor:

$\nabla_A tr(ABA^TC) = CAB + C^TAB^T$

ve aşağıda gösterilen hızlı bir kanıt yapar:

$\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + (\nabla_{\circ^T}tr(\circ^T)Cf(A))^T \\ =C^TAB^T + ((Cf(A))^T)^T \\ = C^TAB^T + CAB$

Kanıt herhangi bir yorum olmadan çok yoğun görünüyor ve bunu anlamakta zorlanıyorum. İkinci eşitlikten üçüncü eşitliğe tam olarak ne oldu?

machine-learning matrix derivative

— Moneyball
kaynak

, ve boyutları hakkında özel varsayımlar yapmalıdır , aksi takdirde bu formül genel olarak bir anlam ifade etmez. Sol tarafta rasgele negatif olmayan tamsayı için bir matrisi, a matrisi ve bir matrisi olmalıdır . Ancak, sağdaki ürünler olmadığı sürece tanımlanmaz .

A

$A$

B

$B$

C

$C$

A

$A$

i \times j

$i\times j$

B

$B$

j \times j

$j\times j$

C

$C$

i \times m

$i\times m$

i, j, m

$i,j,m$

i = m

$i=m$

— whuber

@whuber anlıyorum. Varsayımlar göz önüne alındığında, hâlâ .

\circ

$\circ$

— MoneyBall

İkinci ve üçüncü satır arasında . İkinci ve üçüncü satır arasında ürün kuralını kullandı. daha sonra kurtulmak için zincir kuralını kullanır .

f (A) = A B

$f(A)=AB$

f ()

$f()$

— Brian Borchers

Adımların birçoğunu kafa karıştırıcı hale getiren gösterimin ince ama ağır bir kötüye kullanımı vardır. Matris çarpımı, transpozisyon, izler ve türevlerin tanımlarına geri dönerek bu sorunu ele alalım. Açıklamaları atlamak isteyenler için, titiz bir gösterinin ne kadar kısa ve basit olabileceğini görmek için "Hepsini Bir Araya Koymak" bölümüne gidin.

Gösterim ve Kavramlar

boyutlar

ifadesinin bir matrisi olduğunda anlamlı olması için , bir (kare) matrisi olmalı ve bir matrisi olmalıdır, bu durumda ürün matrisi. İzi almak için (bu, çapraz öğelerin toplamıdır, ), sonra , bir kare matris yapar. $ABA^\prime C$ $A$ $m\times n$ $B$ $n\times n$ $C$ $m\times p$ $m\times p$ $\operatorname{Tr}(X)=\sum_i X_{ii}$ $p=m$ $C$

Türevler

" " gösterimi , bir ifadenin göre türevini belirtir . Genellikle farklılaşma fonksiyonlarında gerçekleştirilen bir işlemdir . noktasındaki türev, doğrusal bir dönüşüm . Bu vektör uzayları için bazlar seçildiğinde, böyle bir dönüşüm bir matrisi olarak temsil edilebilir . Burada durum böyle değil! $\nabla_A$ $A$ $f:\mathbb{R}^N\to\mathbb{R}^M$ $x\in \mathbb{R}^N$ $Df(x):\mathbb{R}^N\to\mathbb{R}^M$ $M\times N$

Vektör olarak matrisler

Bunun yerine , bir unsuru olarak kabul edilmektedir : katsayıları, uzunluğunda bir vektöre girilir (genellikle satır satır veya sütun sütun) . Fonksiyon nereden, gerçek değerlere sahip . Sonuç olarak, a olmalıdır bu üzerinde doğrusal bir çizgi gösteren bir sıra vektörü açıklanmıştır: matris . Ancak, sorudaki hesaplamalar doğrusal formları temsil etmenin farklı bir yolunu kullanır : katsayıları matrislerine geri alınır. $A$ $\mathbb{R}^{mn}$ $N=mn$ $f(A)=\operatorname{Tr}(ABA^\prime C)$ $M=1$ $Df(x)$ $1\times mn$ $\mathbb{R}^{mn}$ $m\times n$

Doğrusal bir form olarak iz

Let bir sabit matrisi. Daha sonra, iz ve matris çarpımının tanımı ile, $\omega$ $m\times n$

\begin{aligned} Tr (A ω^{'}) & = \sum_{i = 1}^{m} (A ω^{'})_{i i} = \sum_{i = 1}^{m} (\sum_{j = 1}^{n} A_{i j} (ω^{'})_{j i}) = \sum_{i, j} ω_{i j} A_{i j} \end{aligned}

$\eqalign{ \operatorname{Tr}(A\omega^\prime) &= \sum_{i=1}^m(A\omega^\prime)_{ii} = \sum_{i=1}^m\left(\sum_{j=1}^n A_{ij}(\omega^\prime)_{ji}\right) = \sum_{i,j} \omega_{ij}A_{ij} }$

Bu katsayılar en genel olası bir doğrusal kombinasyonu ifade : aynı şekilde şekil bir matrisidir ve aralıksız olarak katsayısı ve sütun katsayısı lineer kombinasyon halinde kullanılabilmektedir. Çünkü , rolleri ve eşdeğer salgı veren, açık olabilir $A$ $\omega$ $A$ $i$ $j$ $A_{ij}$ $\omega_{ij}A_{ij}=A_{ij}\omega_{ij}$ $\omega$ $A$

\begin{matrix} (1) & \sum_{i, j} ω_{i j} A_{i j} = Tr (A ω^{'}) = Tr (ω A^{'}) . \end{matrix}

$\sum_{i,j} \omega_{ij}A_{ij} = \operatorname{Tr}(A\omega^\prime) = \operatorname{Tr}(\omega A^\prime).\tag{1}$

veya işlevlerinden herhangi biriyle sabit bir matris tanımlayarak , doğrusal olabilir uzayında formları olarak matrisler matrisler. (Bunları - ! Fonksiyonlarının türevleriyle karıştırmayın .) $\omega$ $A\to \operatorname{Tr}(A \omega^\prime)$ $A\to \operatorname{Tr}(\omega A^\prime)$ $m\times n$ $m\times n$ $\mathbb{R}^n$ $\mathbb{R}^m$

Türev Hesaplama

Tanım

İstatistiklerde karşılaşılan birçok matris fonksiyonunun türevleri, tanımdan en kolay ve güvenilir bir şekilde hesaplanır: gerçekten karmaşık matris farklılaşma kurallarına başvurmanıza gerek yoktur. Bu tanım söylüyor noktasında türevli lineer transformasyon vardır, ancak ve ancak şekildedir $f$ $x$ $L$

f (x + h) - f (x) = L h + o (| h |)

$f(x+h) - f(x) = Lh + o(|h|)$

isteğe bağlı olarak küçük bir yer değiştirme . Küçük oh gösterimi , tarafından farkına yaklaşmada yapılan hatanın, yeterince küçük için boyutundan keyfi olarak daha küçük olduğu anlamına gelir . Özellikle, ile orantılı hataları her zaman göz ardı edebiliriz . $h\in \mathbb{R}^N$ $f(x+h)-f(x)$ $Lh$ $h$ $h$ $|h|^2$

Hesaplama

Tanımı söz konusu işleve uygulayalım. Terimi içindeki iki çarpımı ile çarpma, genişletme ve yoksayma , $h$

\begin{matrix} (2) & \begin{aligned} f (A + h) - f (A) & = Tr ((A + h) B (A + h)^{'} C) - Tr (A B A^{'} C) \\ = Tr (h B A^{'} C) + Tr (A B h^{'} C) + o (| h |) . \end{aligned} \end{matrix}

$\eqalign{ f(A+h)-f(A) &= \operatorname{Tr}((A+h)B(A+h)^\prime C) - \operatorname{Tr}(ABA^\prime C) \\ &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|).\tag{2} }$

türevini tanımlamak için , bunu formuna almalıyız . Sağdaki ilk terim ile zaten bu formdadır . Sağdaki diğer terim için biçimindedir . Bunu yazalım: $L=Df(A)$ $(1)$ $\omega = BA^\prime C$ $\operatorname{Tr}(Xh^\prime C)$ $X=AB$

\begin{matrix} (3) & Tr (X h^{'} C) = \sum_{i = 1}^{m} \sum_{j = 1}^{n} \sum_{k = 1}^{m} X_{i j} h_{k j} C_{k i} = \sum_{i, j, k} h_{k j} (C_{k i} X_{i j}) = Tr ((C X) h^{'}) . \end{matrix}

$\operatorname{Tr}(Xh^\prime C) = \sum_{i=1}^m\sum_{j=1}^n\sum_{k=1}^m X_{ij} h_{kj} C_{ki} = \sum_{i,j,k}h_{kj} \left(C_{ki}X_{ij}\right) =\operatorname{Tr}((CX)h^\prime).\tag{3}$

Çağırma , yeniden olabilir $X=AB$ $(2)$

f (A + h) - f (A) = Tr (h B A^{'} C) + Tr (C A B h^{'}) + o (| h |) .

$f(A+h) - f(A) = \operatorname{Tr}(h\, BA^\prime C\,) + \operatorname{Tr}(CAB\, h^\prime\,)+o(|h|).$

O ise bu biz türev düşünebilir anlamında at olmak bu matrisler oynamak çünkü eser formüllerde rolleri . $f$ $A$

D f (A) = (B A^{'} C)^{'} + C A B = C^{'} A B^{'} + C A B,

$Df(A) = (BA^\prime C)^\prime + CAB = C^\prime A B^\prime + CAB,$

ω

$\omega$

(1)

$(1)$

Hepsini bir araya koy

İşte burada tam bir çözüm.

Let bir olmak , matris bir matrisini ve bir matris. Let . Let bir olmak keyfi küçük katsayılı matrisi. Çünkü (kimliğe göre ) olduğu türevlenebilir ve türevi matrisi tarafından belirlenen doğrusal formdur $A$ $m\times n$ $B$ $n\times n$ $C$ $m\times m$ $f(A) = \operatorname{Tr}(ABA^\prime C)$ $h$ $m\times n$ $(3)$
$\begin{aligned} f (A + h) - f (A) & = Tr (h B A^{'} C) + Tr (A B h^{'} C) + o (| h |) \\ = Tr (h (C^{'} A B^{'})^{'} + (C A B) h^{'}) + o (| h |), \end{aligned}$ $\eqalign{f(A+h) - f(A) &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|) \\ &=\operatorname{Tr}(h(C^\prime A B^\prime)^\prime + (CAB)h^\prime) + o(|h|),}$ $f$ $C^{'} A B^{'} + C A B .$ $C^\prime A B^\prime + CAB.$

Bu, işin sadece yarısını aldığından ve matrislerin ve izlerin yalnızca en temel manipülasyonlarını (çarpma ve transpozisyon) içerdiğinden, sonucun daha basit ve tartışmalı olarak daha gösterişli bir gösterimi olarak düşünülmelidir. Orijinal sunumdaki tek tek adımları gerçekten anlamak istiyorsanız, bunları burada gösterilen hesaplamalarla karşılaştırmanın verimli olduğunu görebilirsiniz.

— whuber
kaynak

Matrisler uyumlu boyutlarda olduğunda, genel olarak olduğunu bilmekte vardır. Bunu bilmek önemsiz bir adımdır (3).

tr (A B C) = tr (C A B)

$\mbox{tr}(ABC)=\mbox{tr}(CAB)$

— Brian Borchers

@Amoeba Mizahi olmaya çalışıp çalışmadığınızı söyleyemem. Ne sorunun ne de cevabın kısmi türevlerle doğrudan ilgisi yoktur. Form , gerçek matrislerin vektör uzayında tanımlanan doğrusal bir formdur . Birisi noktasında fonksiyonunun türevinin bazı matris eşit olduğunu iddia ettiğinde, 'nın doğrusal olduğu anlamına gelir tarafından verilen form .

(1)

$(1)$

Mat (m, n)

$\operatorname{Mat}(m,n)$

m \times n

$m\times n$

f : Mat (m, n) \to R

$f:\operatorname{Mat}(m,n)\to\mathbb{R}$

A

$A$

ω

$\omega$

D f (A)

$Df(A)$

X :\to Tr (X ω^{'})

$X:\to\operatorname{Tr}(X\omega^{\,\prime})$

— whuber

@Amoeba Bu kesinlikle doğru - bu cevabın ilk satırındaki iddiaları fazlasıyla haklı çıkarıyor. Bu yüzden " bu anlamda" yazdım ve daha sonra özette "eşittir" yerine "belirlenen" ifadesini kullandım. Açıklamanın zor olduğunu inkar etmeyeceğim; Nasıl açıklayacağımı düşüneceğim ve tüm görüş ve önerilerinizi takdir ediyorum.

— whuber

@ user10324 Bu sitede yayınladığım şeylerin çoğu kendi formülasyonum. Kaynaklara nadiren başvuruyorum (ve bunu yaptığımda belgeliyorum). Bu yayınlar birçok kitap ve makaleyi okumanın damıtılmasıdır. En iyi kitaplardan bazıları tamamen matematiksel olarak titiz olan, ancak altta yatan fikirleri güzelce açıklayan ve gösteren kitaplar olmuştur. Akla gelen ilk birkaç - sofistike olarak - Freedman, Pisani ve Purves, Statistics (herhangi bir baskı); Jack Kiefer, İstatistiksel Çıkarımlara Giriş ; ve Steven Shreve, Stokastik Finans Hesabı II .

— whuber

@whuber Sonunda izin doğrusal formunun ne olduğunu kavramıştım. Açıklamanızı daha dikkatli okuyabildiğimde, aynı soruyu ayrı gönderilerde tekrar sorduğunuz için özür dilerim. Bir sorum daha var. Herhangi bir matris fonksiyonunun türevlerini bulmak için denkleminiz uygulanabilirse, , aynı boyuta sahip midir? Eğer , o zaman ?

f (x + h) - f (x) = L h + o (| h |)

$f(x+h)−f(x)=Lh+o(|h|)$

h

$h$

x

$x$

x \in R^{m \times n}

$x \in \mathbb{R}^{m \times n}$

h \in R^{m \times n}

$h \in \mathbb{R}^{m \times n}$

— MoneyBall