Kolmogorov karmaşıklığını kullanarak kanal kodlama sonuçları

12

Genellikle Shannon entropisi kanal kodlama sonuçlarını kanıtlamak için kullanılır. Kaynak-kanal ayırma sonuçları için bile shannon entropisi kullanılır. Shannon (küresel) ve Kolmogorov (yerel) bilgi kavramları arasındaki eşdeğerlik göz önüne alındığında, bu sonuçlar için Kolmogorov karmaşıklığını kullanmak için bir çalışma yapıldı mı (veya en azından kaynak kanal ayırma sonuçlarındaki kaynak kodlama parçasını değiştirmek için)?

it.information-theory kolmogorov-complexity shannon-entropy

— vs
kaynak

Li & Vitanyi kitabının 3. sayısına baktınız mı? Yanılmıyorsam, kitaptaki 8. bölüm en yeni baskıya eklendi ve Bilgi Teorisi ile ilgili bir bölüm içeriyor. Kolmogorov karmaşıklığı açısından analiz edilen Shannon entropisi, karşılıklı bilgi, oran bozulması vb.

— Juho

Merhaba bu doğru. Ancak Shannon'un gürültülü kodlama teoremine bir uygulama yok!

— vs

8

Kanal kapasitesi için Shannon entropisinin Kolmogorov karmaşıklığı ile değiştirilmesi zor görünüyor. Kanal kapasitesinin tanımı entropiden bahsetmez. Shannon entropisini kullanmak kanal kapasitesi için doğru formülü verir (bu Shannon teoremidir). Formülü Shannon entropisi ile Kolmogorov karmaşıklığına sahip bir formülle değiştirdiyseniz, muhtemelen farklı bir formül olurdu ve bu yüzden yanlış cevap olacaktır .

$K$ $C$ $K/C$

Kaynak kanal ayırma teoreminin zor kısmı, ilk sıkıştırma ve sonra kodlamanın belirgin yönteminden (önceki paragrafta açıklanan) daha iyi yapamayacağınızı göstermektedir. Kimsenin bunu Kolmogorov karmaşıklığı ve kanal kapasitesi için kanıtlayıp kanıtlamadığını bilmiyorum, ancak araştırmak makul bir soru.

— Peter Shor
kaynak

K

$K$

K

$K$

1

C \leq 1

$C \leq 1$

Ω (\log^{*} n)

$\Omega(\log^{*}n)$

n

$n$

\log \log n

$\log\log{n}$

r

$r$

\frac{r}{\log^{*} r}

$\frac{r}{\log^{*}r}$

1

Shannon'ın entropisi ve Kolmogorov'un karmaşıklığı konusunda yerel / küresel elemeleri kullandığınızda neden bahsettiğinizden emin değilim.

Eğer yanılıyorsam beni düzeltin.

Shannon'ın entropisi hesaplanabilir. Kolmogorov'un karmaşıklığı değil. Bu nedenle aynı sorunu tarif etmiyorlar.

Shannon'ın entropisini Kolmogrov'un karmaşıklığına bir üst sınır olarak görebilirsiniz.

— Phil
kaynak

Shannon entropisi nasıl bir üst sınırdır? Bence ikisi de aynı.

— T ....