Ayrıştırma ve lexing geçişleri ayrıştırıcı birleştiricilerle iyi bir uygulama mıdır?

Ayrıştırıcı birleştiricileri kullanmaya başladığımda ilk tepkim ayrıştırma ve lexing arasında yapay bir ayrım gibi hissettiren bir kurtuluş hissiydi. Birdenbire her şey sadece ayrışıyordu!

Ancak, yakın zamanda codereview.stackexchange adresinde bu gönderiyle karşılaştım ve birinin bu ayrımı eski haline getirdiğini gösterdim. İlk başta bunun çok aptalca olduğunu düşündüm, ancak daha sonra Parsec'te bu davranışı destekleyecek işlevlerin var olması beni sorgulamama neden oluyor.

Ayrıştırıcı birleştiricilerde zaten lexed edilmiş bir akış üzerinden ayrıştırmanın avantajları / dezavantajları nelerdir?

Ayrıştırma altında, çoğunlukla bağlamdan bağımsız dillerin analizini anlıyoruz. Bağlamdan bağımsız bir dil, normal bir dilden daha güçlüdür, bu nedenle ayrıştırıcı (çoğunlukla) sözlük çözümleyicisinin işini hemen yapabilir.

Ancak, bu a) oldukça doğal olmayan b) genellikle verimsizdir.

Düşünmem bile), nasıl bir örnek için ifIF ifade görünüyor, sanırım İfade SONRA İfade BAŞKA İfade ve 'i' 'f', belki bazı alanlarda, daha sonra herhangi bir karakter bir ifade ile başlayabilir, vb olsun fikir.

B) tanımlayıcılar, değişmez değerler, her türlü parantez, vb. Gibi sözcüksel varlıkları tanıyan mükemmel bir iş yapan güçlü araçlar vardır. Onlar neredeyse hiçbir zaman işlerini yapacaklar ve size güzel bir arayüz verecekler: jeton listesi. Ayrıştırıcıdaki boşlukları atlamaktan endişe etmeyin, ayrıştırıcı karakterlerle değil belirteçlerle uğraşırken çok daha soyut olacak.

Sonuçta, bir ayrıştırıcının düşük seviyeli şeylerle meşgul olması gerektiğini düşünüyorsanız, neden karakterleri işleyesiniz? Biri de bit düzeyinde yazabilir! Görüyorsunuz, bit düzeyinde çalışan böyle bir ayrıştırıcı neredeyse anlaşılmaz olacaktır. Karakterler ve jetonlarla aynıdır.

Sadece 2 sentim.

Lexing ve ayrıştırma işlemlerini ayırmanın "iyi bir uygulama" olduğunu - herkes katılmıyorum - tek bir geçişte lexing ve ayrıştırma gerçekleştirmenin çok daha fazla güç verdiğini ve performans sonuçlarının sunulduğu kadar kötü olmadığını öne süren herkes diğer cevaplar (bakınız Packrat ).

Bu yaklaşım, tek bir giriş akışında birkaç farklı dili karıştırmak gerektiğinde parlar. Bu sadece Katahdin ve benzerleri gibi garip meta programlamaya yönelik diller için değil, okuryazar programlama (lateks karıştırma ve örneğin C ++), yorumlarda HTML kullanma, Javascript'i HTML'ye doldurma ve yakında.

Sözlüksel analizör normal bir dili ve ayrıştırıcı bağlamsız bir dili tanır. Her normal dil aynı zamanda bağlamdan bağımsız olduğu için ( sağ doğrusal bir dilbilgisi ile tanımlanabilir ), bir ayrıştırıcı da normal bir dili tanıyabilir ve ayrıştırıcı ve sözcük analizörü arasındaki ayrım bazı gereksiz karmaşıklıklar ekler gibi görünür: tek bir bağlam -ücretsiz dilbilgisi (ayrıştırıcı) bir ayrıştırıcı ve sözlük çözümleyicisinin işini yapabilir.

Öte yandan, bağlamsız bir dilin bazı öğelerini normal bir dil (ve dolayısıyla sözlüksel bir analizör) aracılığıyla yakalamak yararlı olabilir.

1. Genellikle bu öğeler, standart bir şekilde ele alınabilecek kadar sık ​​görülür: sayı ve dizi değişmezlerini, anahtar kelimeleri, tanımlayıcıları, beyaz alanı atlamak vb.
2. Normal bir jeton dili tanımlamak, sonuçtaki bağlamsız dilbilgisini daha basit hale getirir, örneğin, tek tek karakterler açısından değil, tanımlayıcılar açısından bir neden olabilir veya kişi, belirli bir dil için ilgili değilse beyaz alanı tamamen yok sayabilir.

Dolayısıyla ayrışmayı sözcüksel çözümlemeden ayırmanın avantajı, daha basit bir bağlamsız dilbilgisi ile çalışabilmeniz ve sözcüksel analizörde (divide et impera) bazı temel (genellikle rutin) görevleri özetleyebilmenizdir.

DÜZENLE

Ayrıştırıcı birleştiricilere aşina değilim, bu yüzden yukarıdaki hususların bu bağlamda nasıl uygulandığından emin değilim. Benim izlenimim, ayrıştırıcı birleştiricilerde, yalnızca bir bağlamsız dilbilgisi olsa bile, iki düzey arasında ayrım yapmak (sözcüksel analiz / ayrıştırma) bu dilbilgisini daha modüler hale getirmeye yardımcı olabilir. Daha önce belirtildiği gibi, alt sözlük analizi katmanı, tanımlayıcılar, değişmez değerler, vb. İçin temel yeniden kullanılabilir ayrıştırıcılar içerebilir.

Basitçe, lexing ve ayrıştırma birbirinden ayrılmalıdır çünkü bunlar farklı karmaşıklıklardır. Lexing bir DFA'dır (deterministik sonlu otomat) ve ayrıştırıcı bir PDA'dır (aşağı itilen otomat). Bu, ayrıştırmanın doğal olarak lexing'den daha fazla kaynak tükettiği ve yalnızca DFA'lar için belirli optimizasyon teknikleri olduğu anlamına gelir. Ayrıca, sonlu durumlu bir makine yazmak çok daha az karmaşıktır ve otomatikleştirilmesi daha kolaydır.

Lex'e bir ayrıştırma algoritması kullanarak israf edersiniz.

Ayrı ayrıştırma / lex'un ana avantajlarından biri ara gösterimdir - belirteç akışı. Bu, birleşik bir lex / ayrıştırma ile mümkün olmayacak çeşitli şekillerde işlenebilir.

Bununla birlikte, iyi 'özyinelemeli terbiyenin daha az karmaşık ve bazı ayrıştırıcı jeneratörünü öğrenmeye karşı çalışmanın daha kolay olabileceğini ve ayrıştırıcı jeneratörünün kuralları içinde dilbilgisinin zayıflığının nasıl ifade edileceğini bulmam gerektiğini buldum.