Düzenli ifadelere verimli bir şekilde uyan “küçük” makineler var mı?

Düzenli bir ifadenin, normal ifadeyle orantılı büyüklükte olmayan belirli olmayan bir sonlu otomat tarafından veya potansiyel olarak üssel olarak daha büyük olan deterministik bir FA ile tanınabileceği iyi bilinmektedir. Ayrıca, bir dizesi ve normal ifade verildiğinde , NFA üyeliği orantılı olarak test edebilir. ve DFA üyeliği orantılı olarak test edebilir. . NFA için yavaşlama, esasen otomatın içinde olabileceği muhtemel durum kümelerini izlememiz gerektiği ve DFA için katlanarak patlayan devletlerin devletlerin güçlerinin unsurları olduğu gerçeğinden kaynaklanmaktadır. NFA.r | s | ⋅ | r | | s $s$$r$$|s| \cdot |r|$$|s|$

Daha güçlü makineler kullanmaya izin verirsek , verimli bir şekilde (yani, den daha iyi zaman ve den daha iyi zaman alan ) normal ifadeleri tanıyabilir mi? sonlu otomatlardan daha mı? (Örneğin, normal dilleri pushdown otomatalı veya tezgahlı makinelerle tanımada başarı kazanımları var mı?)O ( 2 | r |$O(|r| \cdot |s|)$$O(2^{|r|})$

Aşağıdaki gibi, mekan için zaman kazanmak için yeterince kolay.

Biz o varsayıyoruz karşılaştıran algoritmalarda somutluktan için - bir NFA düzenli ifade dönüştürün , NFA durum sayısıdır böylece o Ç ( r s ) zaman doğrudan NFA simüle gitmekte geçerli olduğundan ve Ç ( 2 r ) Dönüştürülmüş DFA'yı çalıştırmak için bağlı alan, bu kadar fazla belleği ele alabilen bir RAM'de çalışırken de geçerlidir.$r$$O(rs)$$O(2^r)$

Şimdi, içine NFA (keyfi) durumlarını bölüm alt kümeleri S i en fazla bir ⌈ r / k ⌉ her belirtiyor. Her bir alt-kümesi içinde S i , biz göstergesi alt-kümeleri bir i arasında S i arasındaki bir sayı ile 0 bulundunuz 2 ⌈ R / K ⌉ - 1 .$k$$S_i$$\lceil r/k\rceil$$S_i$$A_i$$S_i$$0$$2^{\lceil r/k\rceil}-1$

Bir tablo inşa burada i ve j, 0 ila aralığındadır k - 1 , c bir giriş sembolüdür ve bir ı (sayısal göstergesi) 'in bir alt kümesidir S i . Tabloda depolanan değer, bir S j alt kümesidir (sayısal indeksi) : bir y durumu T [ i , j , c , A i ] durumunda ve sadece$T[i,j,c,A_i]$$i$$j$$k-1$$c$$A_i$$S_i$$S_j$$y$$T[i,j,c,A_i]$ ait S j ve bir durumu vardır , A ı edilene geçişler y giriş sembolü c .$y$$S_j$$A_i$$y$$c$

Korumak NFA simüle etmek için endeksleri, her biri için bir S i alt grubu belirten, A ı in durumlarının S i girişi bazı ön-ek ile ulaşılabilir. Her bir giriş için, sembol , c , her çifti için, aramak için masalar kullanmak i , j , devletler grubu S j bir durumdan ulaşılabilir A I ile ilgili bir geçiş ile , c , ve daha sonra bir bit-bazında ikili kullanmak ya da Bunları tek bir S j durumunun bir alt kümesinde birleştirmek için bu durum kümelerinin sayısal endeksleri üzerinde işlem yapılması$k$$S_i$$A_i$$S_i$$c$$i,j$$S_j$$A_i$$c$$S_j$. Bu nedenle, simülasyon her aşaması zaman alır ve simülasyon için toplam süre olan O ( s k 2 ) .$O(k^2)$$O(sk^2)$

Gereken alan tüm tabloların bir alandır . Zaman ve alan analizi, bu kadar fazla belleğe hitap edebilecek ve bu kadar fazla belleği giderecek kadar büyük olan kelimelerde ikili işlemler yapabilen herhangi bir RAM'de geçerlidir.$O(k^2 2^{r/k})$

Bu aldığım zaman-mekan değiş tokuş mükemmel çünkü üzerinde kuadratik bağımlılık, NFA simülasyonu uymuyor . Ancak, N ( N ) simülasyonu için O ( r s ) 'nin doğru zamana bağlı olduğuna kuşkuluyum : NFA'nın tek bir adımını şu anda izin verilen tüm (muhtemelen kuadrik olarak birçok) geçişe bakmaktan daha hızlı nasıl simüle edersiniz? başka bir devlet için aktif durum? O ( r 2 s ) olmamalı mı ?$k$$O(rs)$$O(r^2 s)$

Her durumda, değişmesine izin vererek , DFA ile NFA sınırları arasındaki süreklilikte, DFA'dan daha az alana sahip zaman sınırlamaları alabilirsiniz.$k$

Bu bir cevap değil, yorum yapmak için çok uzun. Sorunun neden belirtildiği gibi anlaşılmasının zor olduğunu açıklamaya çalışıyorum.

Bir aygıt X için hesaplama karmaşıklığını tanımlamanın iki yolu vardır .

İlk ve en doğal yol içseldir . Bir kişinin X cihazının girişi nasıl kullandığını söylemek gerekir , böylece daha sonra girişin n boyutunun cihazın çalışma süresini nasıl etkilediğine bakabiliriz . Ayrıca bir operasyonun (veya adımın ) neyin önemli olduğunu söylemesi gerekir . Daha sonra sadece cihazın giriş üzerinde çalışmasına ve işlem yapmasına izin veriyoruz.

İkincisi dışsal . Başka bir aygıt Y için hesaplama karmaşıklığını tanımlarız ve sonra Y'yi X için bir simülatör olarak davranacak şekilde programlıyoruz . Y'nin X'i taklit etmesinin birden fazla yolu olabileceğinden , en iyisini kullanmamız gerektiğini eklememiz gerekir. Beni başka deyişle aynı diyelim: Biz söylemek X'in alır boyutta bir girişi zaman n bir simülatör mevcutsa X makine üzerinde uygulanan Y o alır f ( n ) zaman.$O(f(n))$$f(n)$

Örneğin, NFA için içsel bir tanım bu alır söylüyor n adım uzunluğu bir dizi işleme n ; Y cihazı olarak bir RAM makinesi kullanan dışsal bir tanım, en iyi bilinen üst sınırın muhtemelen David Eppstein'ın cevapladığı şey olduğunu söylüyor . (Aksi takdirde (1) en iyi pratik uygulama daha iyi bir alternatif ve kullanmayan diğer yanıtında işaret garip olurdu (2) Hiç kimse burada daha iyi bir alternatif gösterdi.) Not da kesinlikle cihazınız konuşan o X'i düzenli ifadedir , ancak NFA aynı boyuta sahip olduğundan, onu bakıyor olduğunuz cihaz X olarak almak güvenlidir .

Şimdi, ikinci tür bir tanım kullandığınızda, aygıt X'in özelliklerinin kısıtlanmasının çalışma süresini nasıl etkilediğini sormak çok mantıklı olmaz . Bununla birlikte, Y cihazının özelliklerinin kısıtlanmasının çalışma süresini nasıl etkilediğini sormak mantıklıdır . Açıkçası, izin daha güçlü makineler Y bize simüle etmek için izin verebilir X daha hızlı. Biz (örneğin nondeterministic makineleri dışarı bu kuralları,) uygulanabilecek en güçlü makinelerin birini üstlenecek ve bir alt sınır ile gelip Yani, eğer , o zaman biliyoruz hiçbir az güçlü makine yapabileceği daha iyi.$\Omega(f(n))$

Bu nedenle, bir anlamda umut edebileceğiniz en iyi cevap, NFA'yı simüle etmek için belirli bir zamana ihtiyaç duyan hücre probu modeli gibi bir şeyin kanıtıdır. (NFA’yı DFA’ya dönüştürürseniz, büyük DFA’yı yazmak için zamana ihtiyacınız olduğunu unutmayın; bu nedenle hafıza tek sorun değil.)

Düzenli ifade eşleştirmesi hakkında öğrenilecek yeni veya eski bir şey olmadığını düşünseniz bile, uzun süredir karşılaştığım en güzel makalelerden birini inceleyin: S Fischer, F Huch ve T'nin düzenli ifadeleriyle ilgili bir oyun Wilke, ICFP 2010.

(MMT Chakravarty, bu makaleyi önerme kredisini hak ediyor.)

EDIT: Bu yazının alakalı olmasının nedeni, RE'ye karşılık gelen NFA'nın (DFA'dan bağımsız olarak) tam NFA'nın oluşturulmasından kaçınan yeni bir teknik (Glushkov'un 60'larına dayanarak) tanımlamasıdır. Bunun yerine, RE'nin sözdizimi ağacı üzerinde bir NFA tarafından bir kelimenin kabul edilmesine karar vermede bilinenlere benzer bir işaretleme algoritması çalıştırmaya benzer. Performans ölçümleri, Google'ın yakın zamanda yayınlanan re2 kitaplığında bile bunun rekabetçi olduğunu göstermektedir.

Russ Cox'un bu makalesine bir göz atın . Bu, bir giriş dizgesi ilk Ken Thompson tarafından kullanılan bir NFA dayalı bir yaklaşım, tarif ler normal ifade eşleştirilebilir r (| zaman O'da s |. C (| ve uzay O) R |. D , olduğu) c ve d , üst sınır sabitleridir. Makalede ayrıca bir C teknik uygulaması ayrıntılandırılmıştır.