Hesaplama karmaşıklığı ve bilgi ilişkisi

Çiftler veya nöron grupları arasındaki karşılıklı bilgileri ölçen hesaplamalı bir sinirbilim laboratuvarında çalışıyorum. Son zamanlarda, patron "nöral dinamiklerin karmaşıklığını" ölçmeye odaklandı. Bu araştırma çizgisini takip ederken, grubumdaki bazı insanlar "karmaşık" ile "yüksek bir entropiye sahip" ile eşit görünüyorlar.

Herhangi biri bana bilgi teorisi anlamında hesaplama karmaşıklığı (CS anlamda) ve entropi arasındaki ilişkinin ne olduğu konusunda rehberlik edebilir mi?

Biraz daha açıklamak gerekirse, Lempel-Ziv karmaşıklığı gibi önlemler, bana göre geçerli karmaşıklık ölçütleri gibi görünmüyor çünkü bilgilendirici (kullanıcıya) çok fazla bit taşıyorlar. Diğer önlemler, örneğin [Causal State Splitting Reconstruction][1]daha az bilinir, ancak rastgele süreçlerin sıfır karmaşıklığa sahip olduğu çekici özelliğe sahiptir, çünkü durağan rastgele bir süreci temsil etmek için sıfır gizli durumlara ihtiyaç vardır.

Bilgi teorisi ve hesaplama karmaşıklığı arasında lisansüstü dersi hak etmek için yeterli bağlantı vardır, örneğin bu: http://www.cs.princeton.edu/courses/archive/fall11/cos597D/

Birçok insan Kolmogorov karmaşıklığından veya kaynak sınırlamalı varyantlarından bahsetti, ancak aradığınıza daha yakın bir şeyin (mantıksal) derinliği kavramı olduğunu düşünüyorum . Derinlikte birkaç varyant var, ancak hepsi bahsettiğiniz şey gibi bir şeye ulaşmaya çalışıyor. Özellikle, ne tamamen rastgele dizeler ne de çok sıralı / tekrarlanan dizeler derindir.

Bir derinlik kavramı sezgiseldir: bir dize kısa bir açıklamaya sahipse derindir, ancak dizeyi bu kısa açıklamadan yeniden yapılandırmanın tek yolu çok zaman alır. Bu derinlik nosyonudur ve diğerleri de tanıtılmakta ve geliştirilmektedir [1]. Diğer standart referans [2] 'dir. Bunlara bakar, sonra ileriye dönük bir referans araması yaparım.

[1] L. Antunes, L. Fortnow, D. van Melkebeek, NV Vinodchandran. Hesaplamalı derinlik: kavram ve uygulamalar . Theoret. Zorunlu. Sci. 354 (3): 391--404. Ayrıca yazarın web sayfasından ücretsiz olarak edinilebilir .

[2] CH Bennett. Mantıksal derinlik ve fiziksel karmaşıklık. R. Herken (Ed.), Universal Turing Machine: Bir Yarım Yüzyıl Araştırması, Oxford University Press, Oxford (1988), 227-257.

Akılda kalıcı bulabileceğiniz bir şey olarak akla gelen ilk şey Kolmogorov karmaşıklığıdır; Kesinlikle büyüleyici buluyorum ve siz bahsetmediğiniz için, bahsetmeye değer olabileceğini düşündüm.

Bununla birlikte, bu soruyu cevaplamak için daha genel bir yaklaşım, dil ve otomata teorisine dayanabilir. Deterministik sonlu otomatalar O (n) dizgi işlemcileridir. Yani, n uzunluğunda bir dize verildiğinde, dizeyi kesin olarak n adımda işlerler (bunun çoğu kesin olarak deterministik sonlu otomatları nasıl tanımladığınıza bağlıdır; ancak, bir DFA kesinlikle daha fazla adım gerektirmez). Nondeterministc sonlu otomata DFA'larla aynı dilleri (dize kümelerini) tanır ve DFA'lara dönüştürülebilir, ancak sıralı, deterministik bir makinede NFA'yı simüle etmek için, genellikle, ağaç benzeri bir "arama alanını" keşfetmeniz gerekir. karmaşıklık önemli ölçüde. Normal diller hesaplamalı anlamda çok "karmaşık" değildir,

Benzer şekilde Chomsky dil hiyerarşisinin diğer düzeylerine de bakabilirsiniz - deterministik bağlamsız, bağlamsız (deterministik aşağı itme otomatları tarafından mutlaka tanınamayan belirsiz bağlamsız diller dahil), bağlama duyarlı diller, özyinelemeli ve özyinelemeli numaralandırılabilir diller ve kararsız diller.

Farklı otomatalar öncelikle harici depolarında farklılık gösterir; yani, otomatik verilerin belirli türdeki dilleri doğru bir şekilde işlemesi için hangi harici depolama biriminin gerekli olduğu. Sonlu otomataların harici depolama alanı yoktur; PDA'ların bir yığını vardır ve Turing makinelerinin bir bandı vardır. Böylece, belirli bir programlama sorununun (bir dile karşılık gelen) karmaşıklığını, onu tanımak için gereken depolama alanı miktarı veya türüyle ilişkili olarak yorumlayabilirsiniz. Bir dildeki tüm dizeleri tanımak için sabit veya sınırlı miktarda depolamaya ihtiyacınız varsa, bu normal bir dildir. Tek ihtiyacınız olan bir yığınsa, bağlamsız bir diliniz vardır. Vb.

Genel olarak, Chomsky hiyerarşisinde daha yüksek olan dillerin (dolayısıyla daha yüksek karmaşıklığa sahip) bilgi-teorik anlamda daha yüksek entropiye sahip olma eğilimi varsa şaşırmazdım. Olduğu söyleniyor, muhtemelen bu fikre karşı çok sayıda örnek bulabilirsin ve bunun herhangi bir değeri olup olmadığı hakkında hiçbir fikrim yok.

Ayrıca, bu daha iyi "teorik cs" (cstheory) StackExchange sorulabilir.

Hesaplama karmaşıklığı gerekli kaynakları ele alır: Belirli bir boyutta belirli bir sorun türü göz önüne alındığında, onu çözmek için gerekli kaynaklar (genellikle zaman, alan veya her ikisi; ve belirli bir bilgi işlem cihazı türü) nelerdir. Sorunlar daha sonra karmaşıklık "sınıflarında" gruplandırılır.

Bunlardan bazıları oldukça genel ve soyut: Sorun ilke olarak bile çözülebilir mi? Bu tip bir makine mi gerekiyor, yoksa bu mu? Bu fikirlerin tanıtımı hala lisansüstü düzeyde bir bilgisayar bilimi konusudur ve tanıtım materyali genellikle Chomsky hiyerarşisine atıfta bulunur, bu da Chomsky hiyerarşisine atıfta bulunur; matematiksel dil özellikleri.

Bunlardan bazıları, daha düşük düzeyde, günlük kullanımda daha pratiktir: Bu sorun, problem boyutunun karesi, küp veya başka bir işlev olarak ölçeklendiriliyor mu? İlginç bir şekilde, belirli bir problemin entropisine yönelik argümanların bazı hesaplama problemlerine bazı alt sınırların belirlenmesinde yararlı olduğunu biliyorum. Aklımda ortaya çıkan biri (muhtemelen bir ders kitabını kontrol etmeden tekrarlayamama rağmen) bir sıralama sırasında gerekli minimum karşılaştırma sayısı için entropi tabanlı bir argüman. Entropiye bağlantı bilgi teorisi yoluyla olur.

Bu yüzden fikrin bir değeri var sanırım.