Entropi ve SNR ilişkisi


14

Genel olarak herhangi bir enropi biçimi belirsizlik veya rastgelelik olarak tanımlanır. Gürültülü bir ortamda, gürültünün artmasıyla, istenen sinyalin bilgi içeriğinden daha emin olmadığımız için entropinin arttığına inanıyorum. Entropi ve SNR arasındaki ilişki nedir? Sinyal gürültü oranındaki artış ile gürültü gücü azalır, ancak bu sinyalin bilgi içeriğinin arttığı anlamına gelmez !! Bilgi içeriği aynı kalabilir, bu da entropinin etkilenmediği anlamına mı gelir?

Yanıtlar:


8

"Bilgi içeriği aynı kalabilir" dediğinde, toplam sinyaldeki bilgi mi yoksa istenen sinyalin bilgisi mi? Umarım bu her iki duruma da cevap verecektir. Shannon entropisini Kolmogorov'dan çok daha iyi biliyorum, bu yüzden kullanacağım, ama umarım mantık çeviri yapar.

Diyelim ki , istediğiniz sinyal S'nin ve gürültü bileşeninizin N toplamından oluşan toplam sinyaliniz ( X ) . Entropiye H diyelim . Dediğiniz gibi, gürültü karmaşıklığını artırarak sisteme entropi ekler. Bununla birlikte, bu sadece sinyalin bilgi içeriği hakkında daha belirsiz olduğumuz için değil, genel olarak sinyalde daha fazla belirsizlik olduğu için. SNR , S'nin ne olduğundan ne kadar emin olduğumuzu ölçerse , H ( X ) , X'in gelecekteki durumlarını ne kadar iyi tahmin edebileceğimizi ölçer.X=S+NXSNHSH(X)X mevcut durumuna göre . Entropi, gürültüye karşı gürültünün bileşiminden bağımsız olarak, tüm sinyalin ne kadar karmaşık olduğu ile ilgilidir.X

Gürültüyü kaldırarak ( azaltarak ) SNR'yi arttırırsanız , toplam sinyalin X'in karmaşıklığını ve dolayısıyla entropisini azaltırsınız. S tarafından taşınan hiçbir bilgiyi kaybetmediniz , yalnızca N tarafından taşınan (muhtemelen anlamsız) bilgileri kaybetmediniz . Eğer N rasgele gürültü, daha sonra belli anlamlı bilgi taşımaz, fakat tanımlamak için bilgi, belirli bir miktarda alır , N 'nin N olması olabilir durumlarının sayısına göre belirlenen durumuna, ve bu olma olasılığını bu eyaletlerin her biri. Entropi budur.NXSNNN

Farklı varyanslara sahip iki Gauss dağılımına bakabiliriz, diyelim ki biri , diğeri 100 varyansa sahip . Sadece bir Gauss dağılımı için denkleme baktığımızda, V a r = 100 dağılımının sadece 11100Var=100Var=1distr olasılığınındeğeri 10 . Tersine, bu,Var=100distr'nin ortalamadan başka değerler almaolasılığının daha yüksek olduğuveyaVar=1dağılımının ortalamanın yakınındaki değerleri alacağındandaha fazla kesinlik olduğuanlamına gelir. Bu nedenle,Var=1dağılımıVar=100dağılımındandaha düşük bir entropiye sahiptir.110var=1Var=100Var=1Var=1Var=100

Daha yüksek varyansın daha yüksek entropi anlamına geldiğini tespit ettik. Hata yayılımına bakıldığında, (bağımsız X , Y için eşit ) doğrudur . Eğer X = S + K , daha sonra entropi için H , H ( x ) = * H ( S + N ) . Dan beriVar(X+Y)>=Var(X)+Var(Y)XYX=S+NHH(X)=H(S+N) (dolaylı olarak) bir varyans fonksiyonudur, bazı şeyleri H ( V a r [ X ] ) = H ( V a r [ S + N ] ) diyebiliriz. Basitleştirmek için S ve N'nin bağımsızolduğunu söylüyoruz, bu nedenle H ( V a r [ X ] ) = H ( V a r [ S ] + V a r [ NHH(Var[X])=H(Var[S+N])SN . Geliştirilmiş SNR genellikle gürültü gücünün azaltılması anlamına gelir. SNR değeri daha yüksek olan bu yeni sinyal X = S + ( 1 olacaktır)H(Var[X])=H(Var[S]+Var[N]),k>1 için. Entropi daha sonraH(Var[X])=H(Var[S]+(1/k)2Var[N]) olur. k,daha büyük olan, 1böylece,V, birr[N], N azaltıldığında azalır. EğerVaX=S+(1k)Nk>1H(Var[X])=H(Var[S]+(1/k)2Var[N])k1Var[N] azalır, V a r [ S + N ] ve dolayısıyla V a r [ X ] azalır, bu da H ( X ) ' de bir azalmaya neden olur.Var[N]Var[S+N]Var[X]H(X)

Çok özlü değil, üzgünüm. Kısacası, SNR'yi arttırırsanız entropisi azalır, ancak S'nin bilgisine hiçbir şey yapmazsınız . Şu anda kaynakları bulamıyorum, ancak SNR ve karşılıklı bilgileri (entropiye benzer iki değişkenli bir ölçüm) hesaplamak için bir yöntem var. Belki ana paket, SNR ve entropinin aynı şeyi ölçmemesidir.XS


Ayrıntılar için teşekkür ederim, entropi ve SNR arasındaki bu ilişkiyi bir makalede ve dolayısıyla atıfta bulunmam gerektiğinden beri yaptığınız küçük bitof analizi için bir referans olsaydı gerçekten harika olurdu.
Ria George

Analizim gayri resmi; her türlü titizliği talep etmek için biraz fazla sezgi / mantığa dayanır. Hemen gördüğüm zayıf nokta, artmış SNR'nin azalmış toplam varyansa eşdeğer olduğu iddiasıdır. Bu ifade, gürültüyü azaltarak SNR'yi artırırsanız, ancak sinyal gücünü artırırsanız zorunlu değildir (çünkü sinyal varyansını artırabilir ==> genel varyans ==> entropi). Yine de bu sonuca varmanın başka bir yolu var. Bence MI ve SNR arasındaki ilişki Schloegl 2010 "BCI Araştırmada Uyarlanabilir Yöntemler - Bir Giriş Eğitimi"
dpbont

X

İki soru. 1) SNR'nin arttığını söylediğinizde, tahmini sinyalin SNR'sini mi kastediyorsunuz? (Sanırım.) 2) Hatanın entropisi arttıkça hatanıza ne olur? Genel olarak konuşursak, entropide artış ya varyansta artış / öngörülebilirlikte azalma anlamına gelir. Belki de hata varyansınızın arttığı bir durum düşünebilirim (ancak hata entropisini artırabilir ancak hatayı azaltabilir) bir hata yanlılığını kaldırırsınız.
dpbont

X=S+NNz(t)=X(t)(a1X(t1)+b1X(t2))X(t)N

1

İşte [1, p. 186]size OP veya Google çalışanının başlaması için bir teklif:

H(number of active components in data)×logSNR

H

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.