Kolmogorov karmaşıklığını giriş “boyut” olarak kullanma

Diyelim ki bir dizi problem örneği (olası girdiler) olan hesaplama problemimiz var, örneğin 3-SAT . Normalde algoritmaların veya hesaplama karmaşıklığı teorisinin analizinde, uzunluktaki tüm girdilerin ve bir fonksiyonu bir çözelti algoritması çalışma süresini verir girişi . Zaman dizisini çalıştıran en kötü durum daha sonra $S$

I (n) = {w \in S : | w | = n}

$I(n) = \{w \in S : |w| = n\}$

n

$n$

T (w)

$T(w)$

A

$A$

w

$w$

A

$A$

f_{n} = max_{w \in I (n)} T (w) .

$f_n = \max_{w \in I(n)} T(w).$

Şimdi Kolmogorov karmaşıklığı olan tüm girdilerin setlerini tanımlayalım ve dizisini tanımlayalım Burada , girişlerin "boyutu" nun uzunlukları değil Kolmogorov karmaşıklığı dışında için ortalama çalışma süresi dizisidir .

I^{K} (n) = {w \in S : K (w) = n}

$I^K(n) = \{w \in S : K(w) = n \}$

n

$n$

f_{n}^{K} = \frac{1}{| I^{K} (n) |} \sum_{w \in I^{K} (n)} T (w) .

$f^K_n = \frac{1}{\left|I^K(n)\right|} \sum_{w \in I^K(n)} T(w).$

f^{K}

$f^K$

A

$A$

$f_n$ asimptotik olarak önemli ölçüde farklı olduğu algoritmalar var $f^K_n$ mı? Öyleyse, algoritmaları analiz etmenin bu farklı yolunu kullanırken zaman karmaşıklığı değişen sorunlar var mı?

— Andrew
kaynak

Harika bir soru! Sıklıkla merak ettiğim bir şey - umarım iyi yanıtlar alır. (Parametreyi Kolmogorov karmaşıklığı olan SAT parametresinin karmaşıklığı sorusu olarak görüntüleyebileceğiniz parametreli karmaşıklık b / c etiketini ekledim.)

— Joshua Grochow

Rastgele dizeler, yani çoğu dizeler, orijinal uzunluklarına yakın Kolmogorov karmaşıklığına sahiptir. Girişlerin büyük çoğunluğu için

f_{n} = f_{n}^{K}

$f_{n} = f_{n}^{K}$ Kolmogorov karmaşıklığı yerine hesaplama derinliği hakkında soru

daha ilginç bir sonuç alabilirsiniz. google.com/…

— Chad Brewbaker

Oluşturmak için sert diline PARİTENİN bazı durumlarda karıştırarak

S

$S$ (örneğin, örneğin ila dili tarif biraz geçiş her örneği önek ile), daha sonra

f_{n}^{K}

$f^K_n$ daha küçük olacaktır

f_{n}

$f_n$ . Ne kadar küçük göreceli yoğunluğa bağlıdır.

— András Salamon

Vadhan'ın ders notlarında bir yer var (19 Şubat): people.seas.harvard.edu/~salil/cs221/spring10/lectures.html

— usul

@ AndrásSalamon, evet, umarım çok özensiz değilim, ama benceaslında meşgul-kunduz işlevi olmalıdır.

n \mapsto max_{w : K (w) = n} | w |

$n \mapsto \max_{w: K(w)=n} |w|$

— usul

Yanıtlar:

Eşlik işlevini (veya girdinin tüm / çoğu bitine bağlı olan herhangi bir işlevi) düşünün. Eşlik işlevi için . Yani Öte yandan, $T(w) = \Theta(|w|)$

f_{n} = Θ (n) .

$f_n = \Theta(n).$

f_{n}^{K} = Θ (\frac{1}{| I^{K} (n) |} \sum_{w : K (w) = n} | w |) \geq Ω (\frac{1}{2^{n}} max_{w : K (w) = n} | w |) .

$f_n^K = \Theta\left(\frac{1}{|I^K(n)|} \sum_{w:K(w) = n} |w|\right) \geq \Omega\left(\frac{1}{2^n} \max_{w:K(w) = n} |w|\right).$

olduğuna dikkat edin . Böylece ve . Benzer şekilde, ; böylece “çok hızlı büyür”. Dahası, için hesaplanabilir bir üst sınır olmadığını görmek zor değildir . $K(2^{2^n}) = O(n)$

max_{w : K (w) = n} | w | \geq 2^{2^{Ω (n)}}

$\max_{w:K(w) = n} |w| \geq 2^{2^{\Omega(n)}}$

f_{n}^{K} \geq 2^{2^{Ω (n)}} / 2^{n} \to \infty

$f_n^K \geq 2^{2^{\Omega(n)}} / 2^n \to \infty$

K (2^{\dots^{2^{2^{n}}}}) = O (n)

$K(2^{\dots^{2^{2^n}}}) = O(n)$

f_{n}^{K} \geq 2^{\dots^{2^{2^{Ω (n)}}}} / 2^{n}

$f_n^K \geq 2^{\dots^{2^{2^{\Omega(n)}}}}/2^n$

f_{n}^{K}

$f_n^K$

— Yury
kaynak

Bu soruya ilgi düşünüldüğünde, cevaptan hiç şaşırmamamızın nedenini daha açık bir şekilde belirtmenin ve sorunun ayrıntılandırılması için bir yön vermeye çalışmanın yararlı olabileceğini düşündüm. Bu, bazı yorumları toplar ve genişletir. Bu "açık" ise özür dilerim!

Kolmogorov karmaşıklığı : dizelerini düşünün En fazla var olduğu gibi Dizeler, uzunluk açıklamaları . Ancak bu kümenin genel için kararsız olduğuna dikkat edin (aksi takdirde, sadece ye yineleyerek ve üyeliğini kontrol ederek hesaplayabiliriz . Ayrıca, işlevi rakipsiz hızlı büyür. Meşgul-kunduz işlevinin bir çeşididir: bir Turing Machine tarafından açıklama uzunluğu en uzun çıktısı nedir $n$

J^{K} (n) = {w : K (w) = n} .

$J^K(n) = \{w : K(w) = n\}.$

2^{n}

$2^n$

2^{n}

$2^n$

n

$n$

n

$n$

K (w)

$K(w)$

n = 1

$n=1$

| w |

$|w|$

J^{K} (n)

$J^K(n)$

g^{K} (n) = max_{w \in J^{K} (n)} | w |

$g^K(n) = \max_{w \in J^K(n)} |w|$

n

$n$ ? Bu bazı hesaplanabilir fonksiyon daha yavaş büyüdü, biz durdurulması problemi karar verebilir: Bir TM Verilen , yapı taklit ve yazdırır her adımda. nin açıklama uzunluğu , ya: en fazla adımda durur ; veya durmaz.

M

$M$

M^{'}

$M'$

M

$M$

1

$1$

M^{'}

$M'$

n

$n$

M

$M$

g^{K} (n)

$g^K(n)$

M

$M$

Şimdi, Andrew sorusuna, elimizde , orijinal dildir. Tek yol önlemek için Yani çok büyük içeren girişler eğer olurdu sadece çok uncompressible dizeleri içerir. (Aksi takdirde, burada en kötü durum ve ortalama durum analizi arasındaki farkı tamamen görmezden gelebileceğimizi unutmayın, çünkü en fazla dizeyi ortalıyoruz, ancak en büyük dizenin boyutu herhangi bir hesaplanabilir fonksiyonundan daha hızlı büyüyor . ) $I^K(n) = S \cap J^K(n)$ $S$ $I^K(n)$ $n$ $S$ $2^n$ $n$

Ben sadece sıkıştırılamaz dizeleri içeren, ancak karar verilebilir herhangi bir önemsiz (yani sonsuz) inşa etmek imkansız olduğunu hissediyorum . Ama bilmiyorum. Bununla birlikte, umarım bu, çoğu dilde hesaplanabilir bir fonksiyondan daha yavaş büyümesini neden gerektiği konusunda sezgi verir . $S$ $f^K_n$

Biraz geri gitmek için soru, uzunluğundaki girdilerdeki performansı, uzunluğuna sıkıştırılabilen girdilerdeki performansla karşılaştırmaktır . Ancak Kolmogorov Karmaşıklığından çok daha izlenebilir (ve daha az güçlü) sıkıştırma kavramlarımız var. Basit bir şekilde bir boyutta devre vermek girişi üzerinde ikili sayı, üreten bit inci . Burada giriş boyutundaki artış en üsteldir ( büyüklüğünde bir devre en fazla olası girişe sahiptir). $n$ $n$ $n$ $b$ $b$ $w$ $n$ $2^n$

Bu yüzden soruyu izin vererek yeniden ifade edebiliriz Ve benzer şekilde tanımlayın . Buradaki umut nedeni, çoğu dizginin dizginin kendisi kadar büyük bir devre gerektirmesidir ve hiçbir dizginin gerekli devreden katlanarak daha büyük olmamasıdır. Belki de bu durumda ve asimptotik olarak benzer olduğu dilleri bulabiliriz .

I^{C} (n) = {w \in S : the smallest circuit implicitly specifying w has size n} .

$I^C(n) = \{ w \in S : \text{the smallest circuit implicitly specifying $w$ has size $n$}\}.$

f_{n}^{C}

$f^C_n$

f_{n}

$f_n$

f_{n}^{C}

$f^C_n$

Oldukça yakından ilişkili bir soru, IMPLICIT_SAT NEXP-complete ve genellikle NP-complete sorunlarının örtülü sürümü NEXP-complete'tur. Karar IMPLICIT_SAT kolay sadece tüm yazmak için devre kullanarak gibi en az bir daha sonra SAT için bir algoritma çalışan . Yani SAT için ise, bu durum ortalama durumda IMPLICIT_SAT'ın SAT'ın en kötü durumda olduğu kadar çabuk karar verilebildiğine dair kanıt vermeye yakın görünmektedir. Ama kimse doğrudan çünkü kavramı için "en küçük devrenin örtük dillere anlayışına karşılaştırmak istiyorsunuz bilmiyorum

I M P L I C I T_S A T = {circuits C : C implicitly specifies w, w \in S A T} .

$\mathsf{IMPLICIT\_SAT} = \{ \text{circuits $C$}: \text{$C$ implicitly specifies $w$}, w \in \mathsf{SAT}\}.$

w

$w$

w

$w$

f_{n}^{C} = Θ (f_{n})

$f^C_n = \Theta(f_n)$

w

$w$ "örtük diller için devreye girmez.

Bu yararlı / ilginç olduğunu umuyoruz!

Örtülü problemlerden bahseden bir ders kitabından emin değilim, ama bazı ders notları: http://people.seas.harvard.edu/~salil/cs221/spring10/lec8.pdf

— usul
kaynak

| J^{K} (n) | = 2^{n}

$\left|J^K(n)\right| = 2^n$ ? Ancak her açıklama asgari düzeyde değildir.

— Andrew

@ AndrewMacFie, doğru, "en fazla" olmalıdır. Düzeltecek.

— usul

Bu yanıtı eklediğiniz için teşekkür ederiz :) 3-SAT için herhangi bir algoritma gibi geliyor, hızlı büyüyecek.

f_{n}^{K}

$f^K_n$

— Andrew

Kolay bir durum, dilinin yalnızca dolgulu örnekler içerdiği görünmektedir . Tüm dil elde edilen boyutu her bir örneğini arzuya göre ile semboller, bölgesinde olabilir . $S$ $S$ $L$ $n$ $2^n-n$ $f^K_{n}$ $2^{f_n}$

— András Salamon
kaynak

Yury'nin cevabının bu cevabı verdiğini ve aynı zamanda “bölgesinde olabilir” i kesin kıldığını unutmayın.

— András Salamon