Entropi ve SNR ilişkisi

Genel olarak herhangi bir enropi biçimi belirsizlik veya rastgelelik olarak tanımlanır. Gürültülü bir ortamda, gürültünün artmasıyla, istenen sinyalin bilgi içeriğinden daha emin olmadığımız için entropinin arttığına inanıyorum. Entropi ve SNR arasındaki ilişki nedir? Sinyal gürültü oranındaki artış ile gürültü gücü azalır, ancak bu sinyalin bilgi içeriğinin arttığı anlamına gelmez !! Bilgi içeriği aynı kalabilir, bu da entropinin etkilenmediği anlamına mı gelir?

"Bilgi içeriği aynı kalabilir" dediğinde, toplam sinyaldeki bilgi mi yoksa istenen sinyalin bilgisi mi? Umarım bu her iki duruma da cevap verecektir. Shannon entropisini Kolmogorov'dan çok daha iyi biliyorum, bu yüzden kullanacağım, ama umarım mantık çeviri yapar.

Diyelim ki , istediğiniz sinyal S'nin ve gürültü bileşeninizin N toplamından oluşan toplam sinyaliniz ( X ) . Entropiye H diyelim . Dediğiniz gibi, gürültü karmaşıklığını artırarak sisteme entropi ekler. Bununla birlikte, bu sadece sinyalin bilgi içeriği hakkında daha belirsiz olduğumuz için değil, genel olarak sinyalde daha fazla belirsizlik olduğu için. SNR , S'nin ne olduğundan ne kadar emin olduğumuzu ölçerse , H ( X ) , X'in gelecekteki durumlarını ne kadar iyi tahmin edebileceğimizi ölçer.$X = S + N$$X$$S$$N$$H$$S$$H(X)$$X$ mevcut durumuna göre . Entropi, gürültüye karşı gürültünün bileşiminden bağımsız olarak, tüm sinyalin ne kadar karmaşık olduğu ile ilgilidir.$X$

Gürültüyü kaldırarak ( azaltarak ) SNR'yi arttırırsanız , toplam sinyalin X'in karmaşıklığını ve dolayısıyla entropisini azaltırsınız. S tarafından taşınan hiçbir bilgiyi kaybetmediniz , yalnızca N tarafından taşınan (muhtemelen anlamsız) bilgileri kaybetmediniz . Eğer N rasgele gürültü, daha sonra belli anlamlı bilgi taşımaz, fakat tanımlamak için bilgi, belirli bir miktarda alır , N 'nin N olması olabilir durumlarının sayısına göre belirlenen durumuna, ve bu olma olasılığını bu eyaletlerin her biri. Entropi budur.$N$$X$$S$$N$$N$$N$

Farklı varyanslara sahip iki Gauss dağılımına bakabiliriz, diyelim ki biri , diğeri 100 varyansa sahip . Sadece bir Gauss dağılımı için denkleme baktığımızda, V a r = 100 dağılımının sadece $1$$100$$Var=100$Var=1distr olasılığınındeğeri 10 . Tersine, bu,Var=100distr'nin ortalamadan başka değerler almaolasılığının daha yüksek olduğuveyaVar=1dağılımının ortalamanın yakınındaki değerleri alacağındandaha fazla kesinlik olduğuanlamına gelir. Bu nedenle,Var=1dağılımıVar=100dağılımındandaha düşük bir entropiye sahiptir.$\frac {1} {10}$$var=1$$Var=100$$Var=1$$Var=1$$Var=100$

Daha yüksek varyansın daha yüksek entropi anlamına geldiğini tespit ettik. Hata yayılımına bakıldığında, (bağımsız X , Y için eşit ) doğrudur . Eğer X = S + K , daha sonra entropi için H , H ( x ) = * H ( S + N ) . Dan beri$Var(X+Y) >= Var(X) + Var(Y)$$X$$Y$$X = S + N$$H$$H(X) = H(S+N)$ (dolaylı olarak) bir varyans fonksiyonudur, bazı şeyleri H ( V a r [ X ] ) = H ( V a r [ S + N ] ) diyebiliriz. Basitleştirmek için S ve N'nin bağımsızolduğunu söylüyoruz, bu nedenle H ( V a r [ X ] ) = H ( V a r [ S ] + V a r [ $H$$H(Var[X]) = H(Var[S+N])$$S$$N$ . Geliştirilmiş SNR genellikle gürültü gücünün azaltılması anlamına gelir. SNR değeri daha yüksek olan bu yeni sinyal X = S + ( $H(Var[X]) = H(Var[S] + Var[N])$,k>1 için. Entropi daha sonraH(Var[X])=H(Var[S]+(1/k)2∗Var[N]) olur. k,daha büyük olan, 1böylece,V, birr[N], N azaltıldığında azalır. EğerV$X = S + (\frac {1} {k})N$$k>1$$H(Var[X]) = H(Var[S] + (1/k)^2*Var[N])$$k$$1$$Var[N]$ azalır, V a r [ S + N ] ve dolayısıyla V a r [ X ] azalır, bu da H ( X ) ' de bir azalmaya neden olur.$Var[N]$$Var[S+N]$$Var[X]$$H(X)$

Çok özlü değil, üzgünüm. Kısacası, SNR'yi arttırırsanız entropisi azalır, ancak S'nin bilgisine hiçbir şey yapmazsınız . Şu anda kaynakları bulamıyorum, ancak SNR ve karşılıklı bilgileri (entropiye benzer iki değişkenli bir ölçüm) hesaplamak için bir yöntem var. Belki ana paket, SNR ve entropinin aynı şeyi ölçmemesidir.$X$$S$

İşte [1, p. 186]size OP veya Google çalışanının başlaması için bir teklif:

$\mathcal{H} \approx \text{(number of active components in data)} \times \log \text{SNR}$

$\mathcal{H}$

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006