Polinom olarak bilinebilir bilgiye bilgi teorisinin genelleştirilmesi var mı?

9

Özür dilerim, bu biraz "yumuşak" bir soru.

Bilgi teorisinin hesaplama karmaşıklığı kavramı yoktur. Örneğin, bir SAT veya bir SAT örneği ve tatmin edilebilirliği gösteren bir bit örneği aynı miktarda bilgi taşır.

"Polinom olarak bilinebilir" kavramını resmileştirmenin bir yolu var mı?

Böyle bir çerçeve, örneğin, Y verilen polinom zamanında X'i hesaplamak için gereken bit sayısı olarak rastgele bir X bağıl değişkeni arasındaki polinom-KL sapması kavramını tanımlayabilir.

Benzer şekilde, rastgele bir X değişkeninin entropisi, X'i polinom zamanda deşifre edilebilecek bir şekilde kodlamak için gereken bit sayısı olarak tanımlanabilir.

Böyle bir genelleme çalışıldı mı? Tutarlı hale getirilebilir mi?

cc.complexity-theory it.information-theory polynomial-time

— Arthur B
kaynak

1

Bunu Şifreleme SE crypto.stackexchange.com'da sormayı denediniz mi?

— Zsbán Ambrus

2

Kripto halkının bir cevabı olabilir, ancak soru burada mükemmel bir konudur ve burada iyi bir cevap alma şansının daha iyi olabileceğinden şüpheleniyorum. Kısa bir not: lütfen aynı soruyu Crypto.SE'ye tekrar göndermeyin; birden çok SE sitesinde çapraz yayın yapmak site kuralları tarafından yasaklanmıştır.

— DW

9

Evet. Zaman sınırlı Kolmogorov karmaşıklığı böyle bir "genelleme" den en az bir tanesidir (kesin olarak söylemek gerekirse bir genelleme değil, ilgili bir kavramdır). Üniversal bir Turing makinesini sabitleyin $U$ . $t(n)$ ipin zaman sınırlı Sınırlı Kolmogorov karmaşıklığı $x$ bir dize verildi $y$ (göre $U$ ), belirtildi $K^t_U(x | y)$ (alt simge $U$ genellikle bastırılır) en kısa dize olarak tanımlanır $p$ (için bir "program" $U$ ) öyle ki $U(p,y)=x$ ve öyle ki $U(p,y)$ en fazla alır $t(|x|)$ saati. Eğer bunu "koşullu bilgi" tanımınız olarak alırsanız, aynı zamanda bilgi teorisindeki tüm olağan kavramları tanımlayabilirsiniz.

Bununla birlikte, bu zaman sınırlı ortamda, bilgi teorisinin olağan teoremlerinin hepsinin sahip olduğu bilinmemektedir. Örneğin, bilgi simetrisinin her zamanki Kolmogorov karmaşıklığı (zamana bağlı olmayan) için geçerli olduğu bilinir, ancak zaman sınırlı olduğu bilinmez. Bkz. Örneğin, Troy Lee'nin tezinin 6. Bölümü .

Bunun dağıtımlardan ziyade dizeler için geçerli olduğundan endişe ediyorsanız, aslında dizelerin Kolmogorov karmaşıklığı ve Shannon dağıtım entropisinin çok yakından ilişkili olduğunu söyleyen aşağıdaki makaleleri okumanızı öneririz:

Grunwald ve Vitanyi. Shannon Bilgi ve Kolmogorov Karmaşıklığı
Çekiç, Romashchenko, Shen, Vereshchagin. Shannon Entropisi ve Kolmogorov Karmaşıklığı için Eşitsizlikler .

(Öte yandan, ikisi arasında paylaşılmadığı bilinen bazı özellikler vardır, bkz. Muchnik & Vereshchagin, Shannon Entropy ve Kolmogorov Karmaşıklığı .)

— Joshua Grochow
kaynak

Asıl endişem, zamanın Turing Machine'e bağımlı olmasıdır. Turing makineleri birbirlerini en fazla polinom hızlanma veya hızlanma ile taklit edebildiğinden, karmaşıklığı log (log (t)) ile cezalandırmak, onları bir katkı sabitine eşdeğer yapıyor gibi görünmektedir. Ancak, Levin karmaşıklığı log (t) kullanır, neden olduğundan emin değilim.

— Arthur B

1

@Arthur B: Endişenizi anlıyorum, ancak muhtemelen birkaç standart yol var. Tipik olarak, zaman sınırlı Kolmogorov karmaşıklığı hakkında bir ifade kanıtladığınızda, "tüm polinom zaman sınırları için" formunun bir ifadesini kanıtlayabilirsiniz.

t (n)

$t(n)$ , ... ", bu noktada evrensel makineyi değiştirerek meydana gelen herhangi bir polinom yavaşlaması / hızlanması artık geçerli değildir, çünkü ifade her durumda geçerlidir. (Ne söylediğini takip etmedim

\log \log t

$\log \log t$ , ama bence bu sorunu çözmeye çalışmak için farklı bir yol ...)

— Joshua Grochow

2

Bir sorun, bilgi teorisinde alışkın olduğumuz teoremlerin çoğunun hesaplama dünyasında sahip olmamalarıdır. Bu nedenle, entropinin hesaplamalı bir analoğunu resmileştirsek bile, ortaya çıkan teori artık bilgi teorisi gibi görünmeyebilir.

Örneğin, $f$ deterministik bir işlevdir, o zaman $H(f(X)) \le H(X)$ . Bununla birlikte, herhangi bir makul hesaplamalı entropi kavramı için, bu artık geçerli olmayacaktır: örneğin, kısa bir tohumu uzun bir sahte tahliye çıktısına uzanan bir sözde jeneratör üretin. Hesaplanabilir entropinin akla gelebilecek herhangi bir tanımı ile, uzun sahte tahribat çıktısının büyük hesaplama entropisine sahip olacağını tahmin edebilirim (bu uzun dizgiler üzerindeki eşit dağılımdan hesaplama açısından ayırt edilemez), $H(f(X)) \le H(X)$ .

— DW
kaynak

Anlıyorum, ne kadarın kurtarılacağını veya yamalanabileceğini merak ediyorum. Bu durumda, f'nin polinom olarak tersine çevrilebilir olduğu, ancak bu ad-hoc hissettiği kısıtlamasını ekleyebilirsiniz

— Arthur B

Tohumdan üretilen dizeyi hesaplayabildiğimiz için tohumun üretilen psuedo-random dizesinden daha fazla bilgi içerdiğini hissediyorum.

— Kaveh

@Kaveh, eğer bilgi-teorik anlamda konuşuyorsanız: yalancı-üreteç jeneratörü ters çevrilebilirse (belki polinom zamanda değil, prensipte), o zaman onun girdi ve çıktı bilgileri teorik olarak aynı miktarda bilgiye sahiptir; Aksi takdirde, öznel yalancı öznel tersine çevrilemezse, o zaman haklısınız demektir.

— DW

0

Bilgi -roetik hesaplama modelinin farkında değilim, ancak bilgi teorisinin hesaplama karmaşıklığına açık uygulamaları var.

Örneğin, klasik $n \log n$ karşılaştırmaya dayalı sıralamada alt sınır, olası tüm girdi sıralarını ayırt etmek için gereken bir karar ağacının yüksekliği hakkında bilgi teorik bir argümana dayanır. Benzer şekilde, aramanın hesaplama karmaşıklığı, sıra istatistikleri, ortalama, vb. Hakkında bilgi-teorik sınırlamalar yapabilirsiniz.

Daha tipik olarak, bilgi teorik sonuçları hesaplama karmaşıklığı üzerinde daha düşük sınırlar olarak hizmet edebilir. Örneğin, Yao'nun {1} iletişim karmaşıklığı üzerindeki "bilgi-teorik" sonucu, iki kümenin eşit olup olmadığını belirlemeye ilişkin hesaplama alt sınırları anlamına gelir. İletişim karmaşıklığının daha sofistike uygulamaları Turing makineleri için zaman-mekan dengesini sağlar {2}.

{1} Yao, Andrew Chi-Chih. "Dağıtıcı hesaplama ile ilgili bazı karmaşıklık soruları (ön rapor)." On birinci yıllık ACM bilgisayar teorisi sempozyumu bildirileri. ACM, 1979.

{2} Eyal Kushilevitz: İletişim Karmaşıklığı. Bilgisayarlardaki İlerlemeler 44: 331-360 (1997).

— Ari Trachtenberg
kaynak