Negatif Türetme. Sıkışmak

Yani, bu soru biraz dahil olmakla birlikte, bunu olabildiğince basit bir şekilde ileriye doğru yapmaya çalıştım.

Hedef: Uzun lafın kısası, yok negentropi bir türetme vardır değil yüksek mertebeden cumulant'larının dahil ve bunu elde edilmiştir anlamaya çalışıyorum.

Arka plan: (Tüm bunları anlıyorum)

Burada bulunan 'Bağımsız Bileşen Analizi' kitabını kendi kendime çalışıyorum . (Bu soru Bölüm 5.6'dan alınmıştır, 'Entropinin Polinom Olmayan Fonksiyonlarla Yaklaştırılması' kitabına sahipseniz).

Biz kimin negentropi elimizdeki bazı gözlemlerden tahmin etmek isteyen rastgele değişken ve hangi. PDF verilir . Nögentropi, standartlaştırılmış bir Gauss rasgele değişkeninin diferansiyel entropisi ile diferansiyel entropisi arasındaki farktır . Buradaki diferansiyel entropi tarafından verilir , böylece: $x$ $x$ $p_x(\zeta)$ $x$ $H$

H (x) = - \int_{- \infty}^{\infty} p_{x} (ζ) l o g (p_{x} (ζ)) d ζ

$H(x) = -\int_{-\infty}^{\infty} p_x(\zeta) \: log(p_x(\zeta)) \: d\zeta$

ve böylece, negentropi tarafından verilir

J (x) = H (v) - H (x)

$J(x) = H(v) - H(x)$

burada , tarafından PDF verilen standart bir Gauss rv'dir . $v$ $\phi(\zeta)$

Şimdi, bu yeni yöntemin bir parçası olarak, kitabım PDF'sinin bir tahminini şu şekilde verdi: $x$

p_{x} (ζ) = ϕ (ζ) [1 + \sum_{i} c_{i} F^{i} (ζ)]

$p_x(\zeta) = \phi(\zeta) [1 + \sum_{i} c_i \; F^{i}(\zeta)]$

(Burada . Bu arada, olan değil , bir güç, ancak bir dizin yerine). $c_i = \mathbb{E}\{F^i(x)\}$ $i$

Şimdilik, bu yeni PDF formülünü 'kabul ediyorum' ve başka bir gün soracağım. Bu benim asıl sorunum değil. Şimdi yaptığı şey, PDF'sinin bu versiyonunu negentropi denklemine geri takmak ve şu şekilde bitiyor: $x$

J (x) \approx \frac{1}{2} \sum_{i} E {F^{i} (x)}^{2}

$J(x) \approx \frac{1}{2}\sum_i\mathbb{E} \{F^i(x)\}^2$

Unutmayın, sigma (burada ve yazının geri kalanı için), sadece indeks etrafında döngüler . Örneğin, sadece iki fonksiyonumuz olsaydı, sinyal ve için dönecektir . Tabii ki, size kullandığı işlevleri anlatmalıyım. Görünüşe göre, bu fonksiyonları şu şekilde tanımlanır: $i$ $i=2$ $i=2$ $F^i$

Fonksiyonlar bu durumda polinom fonksiyonlar değildir. (Rv sıfır ortalama ve birim varyans olduğu varsayılmaktadır ). Şimdi, bazı kısıtlamalar yapalım ve bu işlevlerin özelliklerini verelim: $F^i$ $x$

$F^{n + 1} (ζ) = ζ, c_{n + 1} = 0$ $F^{n+1}(\zeta) = \zeta, \: \: c_{n+1} = 0$
$F^{n + 2} (ζ) = ζ^{2}, c_{n + 1} = 1$ $F^{n+2}(\zeta) = \zeta^2, \: \: c_{n+1} = 1$
Hesaplamaları basitleştirmek için, tamamen teknik bir varsayım daha yapalım: , şöyle bir ortonormal sistem oluşturur: $F^i, i = 1, ... n$

$\int ϕ (ζ) F^{i} (ζ) F^{j} (ζ) d ζ = {\begin{cases} 1, if i = j \\ 0, if i \neq j \end{cases}$ $\int \phi(\zeta) F^i(\zeta)F^j(\zeta)d\zeta= \begin{cases} 1, \quad \text{if } i = j \\ 0, \quad \text{if } i \neq j \end{cases}$
ve

$\int ϕ (ζ) F^{i} (ζ) ζ^{k} d (ζ) = 0, for k = 0, 1, 2$ $\int \phi(\zeta)F^i(\zeta)\zeta^k d(\zeta) = 0, \quad \text{for } k = 0,1,2$

Neredeyse! Tamam, o zaman tüm bunlar arka plandı ve şimdi soru için. Bu durumda görev, bu yeni PDF'yi diferansiyel entropi formülüne yerleştirmektir . Bunu anlarsam, gerisini anlayacağım. Şimdi, kitap türetmeyi veriyor (ve ben buna katılıyorum), ama sonuna doğru sıkışıp kaldım, çünkü nasıl iptal edildiğini bilmiyorum / göremiyorum. Ayrıca, Taylor genişlemesindeki small-o gösterimini nasıl yorumlayacağımı bilmiyorum. $H(x)$

Sonuç budur:

Taylor genişletme kullanarak şunu elde ederiz: $(1+\epsilon)log(1+\epsilon) = \epsilon + \frac{\epsilon^2}{2} + o(\epsilon^2)$ $H(x)$

H (x) = - \int ϕ (ζ) (1 + \sum c_{i} F^{i} (ζ)) (l o g (1 + \sum c_{i} F^{i} (ζ) + l o g (ζ)) d (ζ) = - \int ϕ (ζ) l o g (ζ) - \int ϕ (ζ) \sum c_{i} F^{i} (ζ) l o g (ϕ (ζ)) - \int ϕ (ζ) [\sum c_{i} F^{i} (ζ) + \frac{1}{2} (\sum c_{i} F^{i} (ζ))^{2} + o ((\sum c_{i} F^{i} (ζ))^{2})]

$H(x) = -\int \phi(\zeta) \; (1 + \sum c_i F^i(\zeta)) \; (log(1 + \sum c_i F^i(\zeta) + log(\zeta)) \; d(\zeta) \\ = -\int \phi(\zeta) log(\zeta) -\int \phi(\zeta) \sum c_i F^i(\zeta) log(\phi(\zeta)) -\int \phi(\zeta) \; [\sum c_i F^i(\zeta) + \frac{1}{2}(\sum c_i F^i(\zeta))^2 + o((\sum c_i F^i(\zeta))^2)]$

ve bu yüzden

Soru: (Bunu anlamıyorum)

H (x) = H (v) - 0 - 0 - \frac{1}{2} \sum c_{i}^{2} + o ((\sum c_{i})^{2}

$H(x) = H(v) - 0 - 0 -\frac{1}{2}\sum c_i^2 + o((\sum c_i)^2$

Yani, benim sorunum: hariç , son denklemde son 4 terimi nasıl elde ettiğini anlamıyorum. (örneğin, 0, 0 ve son 2 terim). Bundan önce her şeyi anlıyorum. Yukarıdaki özelliklerde verilen diklik ilişkilerinden yararlandığını söylüyor, ama nasıl olduğunu göremiyorum. (Ayrıca burada nasıl kullanıldığı anlamında small-o notasyonunu da anlamıyorum.) $H(v)$

TEŞEKKÜRLER!!!!

DÜZENLE:

İlerledim ve okuduğum kitaptan görüntüler ekledim, yukarıda söylediklerimi hemen hemen söylüyor, ancak birisinin ek bir bağlama ihtiyacı olması durumunda.

resim açıklamasını buraya girin

Ve burada, kırmızı ile işaretlenmiş, beni şaşırtan kısım. İşlerin iptal edildiği son bölümü ve içeren son toplamları ve küçük-o gösterim toplamını elde etmek için dikeylik özelliklerini nasıl kullanır ? $c_i^2$

— kafası karışmış
kaynak

İpucu : Açıkça ve iki orta terim için sıfırları almak için yazarın belirtilen varsayımlarını kullanın. Blok alıntı dahil birkaç yazım hatası olmalıdır; ör. , verdiğiniz ortonormal temel tanımında yanlış yerde görünüyor.

\log ϕ (x)

$\log \phi(x)$

\neq

$\neq$

— kardinal

@cardinal Tamam, yazım hatası düzeltildi, teşekkürler. Bununla birlikte, iptal işlemini nasıl gerçekleştirdiği konusunda net değilim. Ben kitabın kendisinden btw gerçek görüntüleri ekledim.

— Spacey

Dürüst olmak gerekirse, bunun matematik sitesinden nasıl veya neden taşındığına dair hiçbir fikrim yok. Her halükarda, burada eşit derecede evde olduğu için mutluyum. Soruya çok çaba harcadınız. :-)

— kardinal

@cardinal Bunu söylediğini duymak beni çok memnun ediyor. :-) Evet, umarım bu kendi kendine çalışma yatırımı bir gün öder. ;-)

— Spacey

Olacak, @Mohammad, olacak! ICA da çok ilginç bir konudur :-).

— Néstor

İlk olarak, sabit olduğunu (beklenti değerleri, sayılardır!) Hatırlayın, böylece integrallerin dışına alınabilirler (göremiyorsanız, notasyonu rahatsız ediyor sizi, sadece değiştirirseniz tarafından üzerine ). $c_i$

c_{i} = \int p_{0} (ξ) G^{i} (ξ) d ξ .

$c_i=\int p_0(\xi)G^i(\xi)d\xi.$

ξ

$\xi$

ξ^{'}

$\xi'$

c_{i}

$c_i$

>> Sıfır terimi elde etmek için:

olduğunu hatırlayın . @Cardinal tarafından önerildiği gibi, açıkça yazmanız gerekir: Elinizdeyken şunları not etmeniz gerekir: burada Sabitleri integrallerin dışına çıkardım. $\varphi(\xi)=\exp(-\xi^2/2)/\sqrt{2\pi}$ $\log\varphi(\xi)$

\log φ (ξ) = - ξ^{2} / 2 - \log \sqrt{2 π} .

$\log\varphi(\xi)=-\xi^2/2-\log\sqrt{2\pi}.$

c_{i} \int φ (ξ) G^{i} (ξ) \log φ (ξ) = - \frac{1}{2} c_{i} \int φ (ξ) G^{i} (ξ) ξ^{2} - \log \sqrt{2 π} c_{i} \int φ (ξ) G^{i} (ξ), (1)

$c_i\int\varphi(\xi)G^i(\xi)\log \varphi(\xi)=-\frac{1}{2}c_i\int\varphi(\xi)G^i(\xi)\xi^2-\log\sqrt{2\pi}c_i\int\varphi(\xi)G^i(\xi),\ \ \ (1)$

Buradan (5.39) 'de o olduğu belirtilerek not olan için . Denklemin sağındaki ilk terimin integrali. bu formdadır ( ) ve ikinci terimdeki integral de ( ). Bu meblağdan meblağlardan yararlanmanız gerekiyor ve işiniz bitti! $\int \varphi(\xi)F^i(\xi)\xi^k$ $0$ $k=0,1,2$ $(1)$ $k=2$ $k=0$

>> terimlerini edinmek için : $\sum c_i^2$

Bu terimleri elde etmek için elde edilecek integralin: Kare toplamı genişletmek için multinom teoremini kullanabiliriz . Bu bize şunu verir: Ancak, yine (5.39) 'dan, bu toplamdaki , için sıfır ve için birdir . Bu, bizi

\int φ (ξ) {(\sum_{i = 1}^{n} c_{i} G^{i} (ξ))}^{2} d ξ .

$\int \varphi(\xi)\left(\sum_{i=1}^{n} c_iG^i(\xi)\right)^2d\xi.$

\int φ (ξ) \sum_{k_{1} + k_{2} + . . . k_{n} = 2} \frac{2!}{k_{1}! k_{2}! . . . k_{n}!} \prod_{1 \leq t \leq n} (c_{t} G^{t} (ξ))^{k_{t}} d ξ .

$\int \varphi(\xi)\sum_{k_1+k_2+...k_n=2} \frac{2!}{k_1! k_2!...k_n!}\prod_{1\leq t \leq n}(c_tG^t(\xi))^{k_t}d\xi.$

\int φ (ξ) G^{i} (ξ) G^{j} (ξ) d ξ

$\int \varphi(\xi)G^{i}(\xi)G^{j}(\xi)d\xi$

i \neq j

$i\neq j$

i = j

$i=j$

\int φ (ξ) {(\sum c_{i} G^{i} (ξ))}^{2} d ξ = \sum c_{i}^{2} .

$\int \varphi(\xi)\left(\sum c_iG^i(\xi)\right)^2d\xi=\sum c_i^2.$

>> notasyonu hakkında $o(\text{whatever})$

Bunun yazarlardan oldukça kafa karıştırıcı olduğunu düşünüyorum, ancak bunu her zaman koyduklarında sipariş terimleri olduğunu (yani, tıpkı büyükler gibi kullandıklarını hatırlıyorum. -O gösterim). Ancak @Macro'nun aynı cevap üzerine yorumladığı gibi, büyük-O notasyonu ile küçük-O notasyonu arasında bir fark vardır. Belki kendiniz kontrol etmeli ve bu Wikipedia makalesinde hangisinin soruna uygun olduğunu görmelisiniz . $\text{whatever}$ $o(\text{whatever})$

Not: Bu arada harika bir kitap. Konuyla ilgili yazarların makaleleri de çok iyi ve ICA'yı anlamaya ve uygulamaya çalışıyorsanız mutlaka okumalısınız.

— Néstor
kaynak

(+1) İyi cevap. Eğer meblağlar sonsuzsa, onları integralle değiştirmek konusunda daha dikkatli olmalıyız. Eğer sonlularsa (OP'nin önerdiği gibi, ama görüntülere yakından bakmadım), o zaman her şey basittir, gösterdiğiniz gibi. :-)

— kardinal

Ah evet! Teşekkür ederim Nestor, ama son iki sonuç, yani ile toplama ve small-o gösterim kısmı ile toplama ne olacak?

c_{i}^{2}

$c_i^2$

— Spacey

@cardinal: Ah evet! Sonludurlar (neden sonsuz yere yazdığımı bilmiyorum ...). Cevabımda bunu değiştirdim.

— Néstor

@Mohammad, cevaplarıma diğer iki sorunuzu yazıyorum ;-).

— Néstor

@ Néstor, bu cevabı + 1'leyiniz ama yeniden: son yorumunuz, sanırım büyük-O ve küçük-o gösterim arasında bir ayrım var .

— Makro