Hesaplama karmaşıklığı ve bilgi ilişkisi


11

Çiftler veya nöron grupları arasındaki karşılıklı bilgileri ölçen hesaplamalı bir sinirbilim laboratuvarında çalışıyorum. Son zamanlarda, patron "nöral dinamiklerin karmaşıklığını" ölçmeye odaklandı. Bu araştırma çizgisini takip ederken, grubumdaki bazı insanlar "karmaşık" ile "yüksek bir entropiye sahip" ile eşit görünüyorlar.

Herhangi biri bana bilgi teorisi anlamında hesaplama karmaşıklığı (CS anlamda) ve entropi arasındaki ilişkinin ne olduğu konusunda rehberlik edebilir mi?

Biraz daha açıklamak gerekirse, Lempel-Ziv karmaşıklığı gibi önlemler, bana göre geçerli karmaşıklık ölçütleri gibi görünmüyor çünkü bilgilendirici (kullanıcıya) çok fazla bit taşıyorlar. Diğer önlemler, örneğin [Causal State Splitting Reconstruction][1]daha az bilinir, ancak rastgele süreçlerin sıfır karmaşıklığa sahip olduğu çekici özelliğe sahiptir, çünkü durağan rastgele bir süreci temsil etmek için sıfır gizli durumlara ihtiyaç vardır.


1
Alanınızdaki "karmaşık" terimin ne anlama geldiğini açıklar mısınız? Bu nöronların anlamlı şekilde ateş ettiği veya daha fazlasının katıldığı anlamına mı geliyor?
vs

@vs: "Karmaşık" için birçok rakip tanım vardır. Bazıları en karmaşık sürecin en yüksek entropiye sahip olduğunu söylüyor. Ancak bu, biyolojik olarak gerçekçi görünmeyen rastgele süreçlerin karmaşık olduğu anlamına gelir. Yine de, "anlamlı bir şekilde ateş etmek", "daha fazla ... katılımcı" dan daha yakındır, ancak "anlamlı olarak daha fazla katılımcı" daha da yakındır.
mac389

1
Kompleksin alanımızdan daha büyük entropi anlamına geldiğini biliyoruz. Bu soruyu alanınızın karmaşık olarak ne anlama geldiğini anlamasını istedim. Yani "" anlamlı olarak daha fazla katılım "daha yakındır. Tamam. Bu benim tahminim. Bana göre" anlamlı olarak daha fazla katılım "nöronların" akıllıca "veya" uyarıcılara cevap vermek "için" belirli bir istenen sonuç "anlamına geldiğini ifade eder. genellikle bilgi teorik olarak daha yüksek bir entropi veya bilgi ile ilişkilidir.
v

@vs: Beyinde olduğu gibi, kodlama şeması bilinmediğinde ve büyük olasılıkla değiştiğinde entropinin nasıl ölçüleceği sorusu vardır. İnsanlar, bir nöron ile bir uyaran arasındaki karşılıklı bilgiyi, bu uyaranın bu uyaran için ne kadar seçici olduğunu ölçmek için kullandıklarını söylemişlerdir. Birçok nöronun daha gerçekçi vakası düşünüldüğünde sorun daha karışık hale geliyor.
mac389

1
@ mac389, bir nesnenin karmaşıklığı olarak istediğiniz sayıda şeyi ifade edebiliriz. bazı örnekler: Kolmogorov karmaşıklığı (bir cevabınız var) ve zamanla sınırlı Kolmogorov karmaşıklığı kavramları; değişen boyutlarda bir nesne aileniz olduğunda, bir nesnenin sınıfa ait olduğunu tanımak için ne kadar zaman / alan (nesne boyutunun fonksiyonu olarak) bir algoritma gerektirdiğine bakarız. bence burada önemsiz olmayan bir modelleme probleminiz var.
Sasho Nikolov

Yanıtlar:



7

Birçok insan Kolmogorov karmaşıklığından veya kaynak sınırlamalı varyantlarından bahsetti, ancak aradığınıza daha yakın bir şeyin (mantıksal) derinliği kavramı olduğunu düşünüyorum . Derinlikte birkaç varyant var, ancak hepsi bahsettiğiniz şey gibi bir şeye ulaşmaya çalışıyor. Özellikle, ne tamamen rastgele dizeler ne de çok sıralı / tekrarlanan dizeler derindir.

Bir derinlik kavramı sezgiseldir: bir dize kısa bir açıklamaya sahipse derindir, ancak dizeyi bu kısa açıklamadan yeniden yapılandırmanın tek yolu çok zaman alır. Bu derinlik nosyonudur ve diğerleri de tanıtılmakta ve geliştirilmektedir [1]. Diğer standart referans [2] 'dir. Bunlara bakar, sonra ileriye dönük bir referans araması yaparım.

[1] L. Antunes, L. Fortnow, D. van Melkebeek, NV Vinodchandran. Hesaplamalı derinlik: kavram ve uygulamalar . Theoret. Zorunlu. Sci. 354 (3): 391--404. Ayrıca yazarın web sayfasından ücretsiz olarak edinilebilir .

[2] CH Bennett. Mantıksal derinlik ve fiziksel karmaşıklık. R. Herken (Ed.), Universal Turing Machine: Bir Yarım Yüzyıl Araştırması, Oxford University Press, Oxford (1988), 227-257.


Bu cevap için çok teşekkür ederim. Mantıksal derinlik karmaşıklıktan kastettiğim şeye çok yakın görünüyor.
mac389

3

Akılda kalıcı bulabileceğiniz bir şey olarak akla gelen ilk şey Kolmogorov karmaşıklığıdır; Kesinlikle büyüleyici buluyorum ve siz bahsetmediğiniz için, bahsetmeye değer olabileceğini düşündüm.

Bununla birlikte, bu soruyu cevaplamak için daha genel bir yaklaşım, dil ve otomata teorisine dayanabilir. Deterministik sonlu otomatalar O (n) dizgi işlemcileridir. Yani, n uzunluğunda bir dize verildiğinde, dizeyi kesin olarak n adımda işlerler (bunun çoğu kesin olarak deterministik sonlu otomatları nasıl tanımladığınıza bağlıdır; ancak, bir DFA kesinlikle daha fazla adım gerektirmez). Nondeterministc sonlu otomata DFA'larla aynı dilleri (dize kümelerini) tanır ve DFA'lara dönüştürülebilir, ancak sıralı, deterministik bir makinede NFA'yı simüle etmek için, genellikle, ağaç benzeri bir "arama alanını" keşfetmeniz gerekir. karmaşıklık önemli ölçüde. Normal diller hesaplamalı anlamda çok "karmaşık" değildir,

Benzer şekilde Chomsky dil hiyerarşisinin diğer düzeylerine de bakabilirsiniz - deterministik bağlamsız, bağlamsız (deterministik aşağı itme otomatları tarafından mutlaka tanınamayan belirsiz bağlamsız diller dahil), bağlama duyarlı diller, özyinelemeli ve özyinelemeli numaralandırılabilir diller ve kararsız diller.

Farklı otomatalar öncelikle harici depolarında farklılık gösterir; yani, otomatik verilerin belirli türdeki dilleri doğru bir şekilde işlemesi için hangi harici depolama biriminin gerekli olduğu. Sonlu otomataların harici depolama alanı yoktur; PDA'ların bir yığını vardır ve Turing makinelerinin bir bandı vardır. Böylece, belirli bir programlama sorununun (bir dile karşılık gelen) karmaşıklığını, onu tanımak için gereken depolama alanı miktarı veya türüyle ilişkili olarak yorumlayabilirsiniz. Bir dildeki tüm dizeleri tanımak için sabit veya sınırlı miktarda depolamaya ihtiyacınız varsa, bu normal bir dildir. Tek ihtiyacınız olan bir yığınsa, bağlamsız bir diliniz vardır. Vb.

Genel olarak, Chomsky hiyerarşisinde daha yüksek olan dillerin (dolayısıyla daha yüksek karmaşıklığa sahip) bilgi-teorik anlamda daha yüksek entropiye sahip olma eğilimi varsa şaşırmazdım. Olduğu söyleniyor, muhtemelen bu fikre karşı çok sayıda örnek bulabilirsin ve bunun herhangi bir değeri olup olmadığı hakkında hiçbir fikrim yok.

Ayrıca, bu daha iyi "teorik cs" (cstheory) StackExchange sorulabilir.


Göç ettim ve öneriniz için teşekkürler.
mac389

1

Hesaplama karmaşıklığı gerekli kaynakları ele alır: Belirli bir boyutta belirli bir sorun türü göz önüne alındığında, onu çözmek için gerekli kaynaklar (genellikle zaman, alan veya her ikisi; ve belirli bir bilgi işlem cihazı türü) nelerdir. Sorunlar daha sonra karmaşıklık "sınıflarında" gruplandırılır.

Bunlardan bazıları oldukça genel ve soyut: Sorun ilke olarak bile çözülebilir mi? Bu tip bir makine mi gerekiyor, yoksa bu mu? Bu fikirlerin tanıtımı hala lisansüstü düzeyde bir bilgisayar bilimi konusudur ve tanıtım materyali genellikle Chomsky hiyerarşisine atıfta bulunur, bu da Chomsky hiyerarşisine atıfta bulunur; matematiksel dil özellikleri.

Bunlardan bazıları, daha düşük düzeyde, günlük kullanımda daha pratiktir: Bu sorun, problem boyutunun karesi, küp veya başka bir işlev olarak ölçeklendiriliyor mu? İlginç bir şekilde, belirli bir problemin entropisine yönelik argümanların bazı hesaplama problemlerine bazı alt sınırların belirlenmesinde yararlı olduğunu biliyorum. Aklımda ortaya çıkan biri (muhtemelen bir ders kitabını kontrol etmeden tekrarlayamama rağmen) bir sıralama sırasında gerekli minimum karşılaştırma sayısı için entropi tabanlı bir argüman. Entropiye bağlantı bilgi teorisi yoluyla olur.

Bu yüzden fikrin bir değeri var sanırım.

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.