Akılda kalıcı bulabileceğiniz bir şey olarak akla gelen ilk şey Kolmogorov karmaşıklığıdır; Kesinlikle büyüleyici buluyorum ve siz bahsetmediğiniz için, bahsetmeye değer olabileceğini düşündüm.
Bununla birlikte, bu soruyu cevaplamak için daha genel bir yaklaşım, dil ve otomata teorisine dayanabilir. Deterministik sonlu otomatalar O (n) dizgi işlemcileridir. Yani, n uzunluğunda bir dize verildiğinde, dizeyi kesin olarak n adımda işlerler (bunun çoğu kesin olarak deterministik sonlu otomatları nasıl tanımladığınıza bağlıdır; ancak, bir DFA kesinlikle daha fazla adım gerektirmez). Nondeterministc sonlu otomata DFA'larla aynı dilleri (dize kümelerini) tanır ve DFA'lara dönüştürülebilir, ancak sıralı, deterministik bir makinede NFA'yı simüle etmek için, genellikle, ağaç benzeri bir "arama alanını" keşfetmeniz gerekir. karmaşıklık önemli ölçüde. Normal diller hesaplamalı anlamda çok "karmaşık" değildir,
Benzer şekilde Chomsky dil hiyerarşisinin diğer düzeylerine de bakabilirsiniz - deterministik bağlamsız, bağlamsız (deterministik aşağı itme otomatları tarafından mutlaka tanınamayan belirsiz bağlamsız diller dahil), bağlama duyarlı diller, özyinelemeli ve özyinelemeli numaralandırılabilir diller ve kararsız diller.
Farklı otomatalar öncelikle harici depolarında farklılık gösterir; yani, otomatik verilerin belirli türdeki dilleri doğru bir şekilde işlemesi için hangi harici depolama biriminin gerekli olduğu. Sonlu otomataların harici depolama alanı yoktur; PDA'ların bir yığını vardır ve Turing makinelerinin bir bandı vardır. Böylece, belirli bir programlama sorununun (bir dile karşılık gelen) karmaşıklığını, onu tanımak için gereken depolama alanı miktarı veya türüyle ilişkili olarak yorumlayabilirsiniz. Bir dildeki tüm dizeleri tanımak için sabit veya sınırlı miktarda depolamaya ihtiyacınız varsa, bu normal bir dildir. Tek ihtiyacınız olan bir yığınsa, bağlamsız bir diliniz vardır. Vb.
Genel olarak, Chomsky hiyerarşisinde daha yüksek olan dillerin (dolayısıyla daha yüksek karmaşıklığa sahip) bilgi-teorik anlamda daha yüksek entropiye sahip olma eğilimi varsa şaşırmazdım. Olduğu söyleniyor, muhtemelen bu fikre karşı çok sayıda örnek bulabilirsin ve bunun herhangi bir değeri olup olmadığı hakkında hiçbir fikrim yok.
Ayrıca, bu daha iyi "teorik cs" (cstheory) StackExchange sorulabilir.