lexers vs parsers

Lexers ve ayrıştırıcılar teoride gerçekten bu kadar farklı mı?

Düzenli ifadelerden nefret etmek moda görünüyor: kodlama korkusu , başka bir blog yazısı .

Ancak, popüler lexing araçları tabanlı: pygments , geshi veya hoşlaştırmak , tüm kullanım düzenli ifadeler. Her şeyi seviyor gibi görünüyorlar ...

Lexing ne zaman yeterli, EBNF'ye ne zaman ihtiyacınız var?

Bu lexers tarafından üretilen jetonları bizon veya antlr ayrıştırıcı jeneratörleri ile kullanan var mı?

Ayrıştırıcıların ve sözlükçelerin ortak noktası:

1. Bazı alfabe sembollerini girdilerinden okurlar .

   • İpucu: Alfabenin harflerden olması gerekmez. Ancak , parser / lexer tarafından anlaşılan dil için atomik semboller olmalıdır .
   • Lexer için semboller: ASCII karakterleri.
   • Ayrıştırıcı için semboller: gramerlerinin terminal sembolleri olan belirli jetonlar.

2. Bu sembolleri analiz ederler ve anladıkları dilin grameri ile eşleştirmeye çalışırlar .
   

   • Gerçek fark genellikle burada yatmaktadır. Daha fazla bilgi için aşağıya bakın.
   • Dilbilgisi sözcükleri tarafından anlaşıldı: düzenli dilbilgisi (Chomsky'nin seviye 3).
   • Dilbilgisi ayrıştırıcılar tarafından anlaşıldı: bağlamsız dilbilgisi (Chomsky'nin seviye 2).

3. Buldukları dil parçalarına anlambilim (anlam) eklerler .

   • Lexers sınıflandırarak anlam eklemek lexemes edilmiş olarak (girişinden sembollerin dizeleri) belirteçleri . Örneğin Bütün bu lexemeler: *, ==, <=, ^C / C ++ lexer tarafından belirteci "operatörü" olarak sınıflandırılır.
   • Ayrıştırıcılar, girdiden (cümle) belirteç dizelerini belirli terminal olmayanlar olarak sınıflandırarak ve ayrıştırma ağacını oluşturarak anlam ekler . Örneğin tüm bu belirteç dizeleri: [number][operator][number], [id][operator][id], [id][operator][number][operator][number]C / C ++ çözümleyici tarafından terminal olmayan "ifadesi" olarak sınıflandırılır.

4. Tanınan öğelere bazı ek anlamlar (veriler) ekleyebilirler.

   • Bir lexer uygun bir sayı oluşturan bir karakter dizisini tanıdığında, onu ikili değerine dönüştürebilir ve "sayı" belirteci ile saklayabilir.
   • Benzer şekilde, bir ayrıştırıcı bir ifadeyi tanıdığında, değerini hesaplayabilir ve sözdizimi ağacının "ifade" düğümü ile depolayabilir.

5. Hepsi çıktılarında tanıdıkları dilin uygun cümlelerini üretir .

   • Lexers üretmek belirteçleri olan cümleler arasında düzenli dili tanıdıkları. Her token bir iç sözdizimine sahip olabilir (seviye 3 değil, seviye 2 olsa da), ancak bu çıkış verileri ve bunları okuyanlar için önemli değildir.
   • Ayrıştırıcılar üretmek sözdizimi ağaçları temsilleridir, cümle içinde bağlam serbest dilin tanıdıkları. Genellikle tüm belge / kaynak dosyası için sadece bir büyük ağaçtır, çünkü tüm belge / kaynak dosyası onlar için uygun bir cümledir . Ancak ayrıştırıcının çıktısında bir dizi sözdizimi ağacı üretememesinin bir nedeni yoktur. Örneğin, düz metne yapıştırılmış SGML etiketlerini tanıyan bir ayrıştırıcı olabilir. Bu yüzden edeceğiz tokenize jeton bir dizi haline SGML belgesi: [TXT][TAG][TAG][TXT][TAG][TXT]....

Gördüğünüz gibi, ayrıştırıcıların ve belirteçlerin ortak noktaları var. Bir ayrıştırıcı, giriş belirteçlerini kendi alfabesinden semboller olarak (belirteçler sadece bazı alfabelerin sembolleri) okuyan diğer ayrıştırıcı için bir belirteç olabilir, bir dilden gelen cümleler diğer bazı daha yüksek seviyedeki alfabetik semboller olabilir dil. Örneğin, *ve -alfabenin sembolleri M( "Morse kodu semboller" gibi), o zaman Mors kodu kodlanmış harfleri olarak bu noktaların ve çizgilerin dizeleri tanıdığı bir ayrıştırıcı inşa edebilirsiniz. Dil "Mors Kodu" cümle olabilir belirteçleri diğer bazı ayrıştırıcı için, bu jetonlardilinin atom sembolleri (örn. "İngilizce Kelimeler" dili). Ve bu "İngilizce Kelimeler", "İngilizce Cümleler" dilini anlayan bazı üst düzey ayrıştırıcılar için jetonlar (alfabenin sembolleri) olabilir. Ve tüm bu diller sadece dilbilgisinin karmaşıklığında farklılık gösterir . Başka bir şey yok.

Peki bu "Chomsky'nin dilbilgisi seviyeleri" ne olacak? Noam Chomsky, gramerlerini karmaşıklıklarına bağlı olarak dört seviyeye sınıflandırdı:

• Seviye 3: Düzenli dilbilgisi

  Bunlar olduğunu, sadece alfabenin sembollerin oluşabilir, normal ifadeler kullanır ( a, b) onların concatenations ( ab, aba, bbb. ETD), veya alternatifler (örn a|b).
  NFA (Belirsiz Sonlu Otomat) veya daha iyi DFA (Deterministik Sonlu Otomat) gibi sonlu durum otomatları (FSA) olarak uygulanabilirler.
  Düzenli dilbilgileri , örneğin düzgün iç içe / eşleştirilmiş parantez , iç içe HTML / BBcode etiketleri, iç içe bloklar vb. Gibi iç içe geçmiş sözdizimi(()()(()())) ile baş edemez.

• Seviye 2: Bağlamdan bağımsız gramerler

  Sözdizimi ağaçlarında iç içe geçmiş, özyinelemeli, kendine benzer dallara sahip olabilirler, böylece iç içe geçmiş yapılarla iyi başa çıkabilirler.
  Yığınlı durum otomatı olarak uygulanabilirler. Bu yığın, sözdiziminin yuvalama düzeyini temsil etmek için kullanılır. Pratikte, genellikle iç içe geçme seviyesini izlemek için makinenin yordam çağrısı yığınını kullanan ve sözdizimindeki terminal olmayan her sembol için özyineli olarak adlandırılan yordamlar / işlevler kullanan yukarıdan aşağıya, özyinelemeli bir ayrıştırıcı olarak uygulanırlar.
  Ancak bağlama duyarlı bir sözdizimi ile başa çıkamazlar. Örneğin, bir ifadeniz olduğunda x+3ve bir bağlamda bu xbir değişkenin adı olabilir ve diğer bağlamda bir işlevin adı olabilir.

• Seviye 1: Bağlama duyarlı dilbilgisi

• Seviye 0: Sınırsız gramerler
  Yinelenen numaralandırılabilir gramerler olarak da adlandırılır.

Evet, teoride ve uygulamada çok farklılar.

Lexers, dil öğelerini oluşturan "kelimeleri" tanımak için kullanılır, çünkü bu tür kelimelerin yapısı genellikle basittir. Düzenli ifadeler, bu daha basit yapıyı ele alma konusunda son derece iyidir ve lexer'ları uygulamak için kullanılan çok yüksek performanslı düzenli ifadeli eşleştirme motorları vardır.

Ayrıştırıcılar, bir dil ifadesinin "yapısını" tanımak için kullanılır. Bu tür yapı genellikle "düzenli ifadelerin" tanıyabileceğinin çok ötesindedir, bu nedenle bu yapıyı çıkarmak için "bağlama duyarlı" ayrıştırıcılara ihtiyaç vardır. Bağlama duyarlı ayrıştırıcıların oluşturulması zordur, bu nedenle mühendislikten ödün vermek "bağlamsız" gramerler kullanmak ve bağlama duyarlı parçayı işlemek için ayrıştırıcılara ("sembol tabloları" vb.) Kesmek eklemektir.

Ne lexing ne de ayrıştırma teknolojisi yakında ortadan kalkacak gibi görünüyor.

Bunlar olabilir olarak şu anda sözde scannerless GLR'nin ayrıştırıcıları tarafından keşfedilmeden, "kelimelerini" tanımak için teknoloji "ayrıştırma" kullanmaya karar birleşmiş olabilirler. Genellikle çalışma gerektirmeyen bir soruna daha genel makineler uyguladığınız için çalışma zamanı maliyeti vardır ve genellikle bunun bedelini ödersiniz. Çok sayıda serbest döngünüz olduğunda, bu ek yük önemli olmayabilir. Çok fazla metin işlerseniz, ek yük önemli olur ve klasik düzenli ifade ayrıştırıcıları kullanılmaya devam eder.

Lexing ne zaman yeterli, EBNF'ye ne zaman ihtiyacınız var?

EBNF , gramerlerin gücüne gerçekten fazla bir şey katmıyor. Standart Chomsky'nin Normal Form (CNF) dilbilgisi kurallarına göre sadece bir kolaylık / kısayol gösterimi / "sözdizimsel şeker" dir . Örneğin, EBNF alternatifi:

S --> A | B

CNF'de her alternatif üretimi ayrı ayrı listeleyerek başarabilirsiniz:

S --> A      // `S` can be `A`,
S --> B      // or it can be `B`.

EBNF'den isteğe bağlı eleman:

S --> X?

CNF'de null edilebilir bir üretim, yani boş bir dize ile değiştirilebilen (burada sadece boş üretim ile gösterilir; diğerleri epsilon veya lambda veya çapraz daire kullanır) kullanarak elde edebilirsiniz:

S --> B       // `S` can be `B`,
B --> X       // and `B` can be just `X`,
B -->         // or it can be empty.

BYukarıdaki sonuncusu gibi bir formata "silme" denir, çünkü diğer prodüksiyonlarda ne anlama geldiğini silebilir (başka bir şey yerine boş bir dize üretebilir).

EBNF'den sıfır veya daha fazla tekrar:

S --> A*

özyinelemeli üretimi, yani kendisini içinde bir yere gömen bir nesneyi elde edebilirsiniz . İki şekilde yapılabilir. Birincisi sol özyineleme (genellikle kaçınılmalıdır, çünkü Yukarıdan Aşağı Özyinelemeli İniş ayrıştırıcıları ayrıştıramıyor):

S --> S A    // `S` is just itself ended with `A` (which can be done many times),
S -->        // or it can begin with empty-string, which stops the recursion.

Sadece boş bir dize (sonuçta) ve ardından sıfır veya daha fazla As ürettiğini bilerek , aynı dize ( ancak aynı dil değil! ) Sağ özyineleme kullanılarak ifade edilebilir :

S --> A S    // `S` can be `A` followed by itself (which can be done many times),
S -->        // or it can be just empty-string end, which stops the recursion.

+EBNF'den bir veya daha fazla tekrar söz konusu olduğunda :

S --> A+

birini çarpanlarına ayırıp daha önce olduğu gibi Akullanarak yapabilirsiniz *:

S --> A A*

CNF'de böyle ifade edebilirsiniz (burada doğru özyineleme kullanıyorum; diğerini egzersiz olarak anlamaya çalışın):

S --> A S   // `S` can be one `A` followed by `S` (which stands for more `A`s),
S --> A     // or it could be just one single `A`.

Bunu bilerek, artık normal bir ifade için bir dilbilgisini (yani, normal dilbilgisi ) yalnızca terminal sembollerinden oluşan tek bir EBNF üretiminde ifade edilebilecek bir dilbilgisi tanıyabilirsiniz . Daha genel olarak, bunlara benzer prodüksiyonlar gördüğünüzde düzenli gramerleri tanıyabilirsiniz:

A -->        // Empty (nullable) production (AKA erasure).
B --> x      // Single terminal symbol.
C --> y D    // Simple state change from `C` to `D` when seeing input `y`.
E --> F z    // Simple state change from `E` to `F` when seeing input `z`.
G --> G u    // Left recursion.
H --> v H    // Right recursion.

Yani, sadece boş dizeler, terminal sembolleri, ikameler ve durum değişiklikleri için basit terminaller kullanma ve yalnızca tekrarlama elde etmek için özyineleme kullanma (sadece doğrusal özyineleme olan yineleme - ağaç benzeri olmayan dal). Bunların üzerinde daha gelişmiş bir şey yok, o zaman düzenli bir sözdizimi olduğundan eminsiniz ve bunun için sadece lexer ile gidebilirsiniz.

Ancak sözdiziminiz, aşağıdaki gibi ağaç benzeri, kendine benzer, iç içe yapılar oluşturmak için özyinelemeyi önemsiz olmayan bir şekilde kullandığında:

S --> a S b    // `S` can be itself "parenthesized" by `a` and `b` on both sides.
S -->          // or it could be (ultimately) empty, which ends recursion.

o zaman bunun düzenli ifade ile yapılamayacağını kolayca görebilirsiniz, çünkü bunu hiçbir şekilde tek bir EBNF üretiminde çözemezsiniz; Ssüresiz olarak ikame edersiniz , bu da her iki tarafa da her zaman başka bir as ve bs ekler . Lexers (daha spesifik olarak: lexers tarafından kullanılan Sonlu Durum Otomataları) rastgele sayıya (sonlu, hatırladınız mı?) Sayamaz, bu yüzden kaç tane as ile eşit olarak eşleşecekleri kaç tane olduğunu bilmezler b. Bunun gibi gramerlere bağlamsız gramerler denir (en azından) ve ayrıştırıcıya ihtiyaç duyarlar.

Bağlamdan bağımsız gramerlerin ayrıştırılması iyi bilinmektedir, bu nedenle programlama dillerinin sözdizimini tanımlamak için yaygın olarak kullanılırlar. Ama dahası da var. Bazen daha genel bir dilbilgisi gerekir - aynı anda, bağımsız olarak sayılacak daha fazla şeyiniz olduğunda. Örneğin, bir kişinin yuvarlak parantezleri ve kare parantezleri aralıklı olarak kullanabileceği bir dil tanımlamak istediğinizde, ancak birbirleriyle doğru bir şekilde eşleştirilmeleri gerekir (parantezli parantez, yuvarlak yuvarlak). Bu tür gramer içeriğe duyarlı olarak adlandırılır . Solda (oktan önce) birden fazla sembolü olmasıyla bunu tanıyabilirsiniz. Örneğin:

A R B --> A S B

Soldaki bu ek sembolleri kuralı uygulamak için bir "bağlam" olarak düşünebilirsiniz. Bazı ön şartlar var olabilir, vb Hedefşartlar Örneğin, yukarıda kural yerine başkalarını Riçine S, ancak aradaki var sadece Ave Bbu bırakarak Ave Bdeğişmeden kendilerini. Bu tür bir sözdiziminin ayrıştırılması gerçekten zordur, çünkü tam gelişmiş bir Turing makinesine ihtiyaç duyar. Bu tamamen başka bir hikaye, bu yüzden burada bitireceğim.

Soruyu sorulduğu gibi cevaplamak için (diğer cevaplarda görünenleri gereksiz yere tekrar etmeden)

Lexers ve ayrıştırıcılar, kabul edilen yanıtın önerdiği gibi çok farklı değildir. Her ikisi de basit dil biçimciliğine dayanmaktadır: sözlükler için normal diller ve neredeyse her zaman ayrıştırıcılar için bağlamsız (CF) diller. Her ikisi de oldukça basit hesaplama modelleri, sonlu durum otomatı ve aşağı itme yığını otomatı ile ilişkilidir. Düzenli diller, bağlamsız diller için özel bir durumdur, böylece sözlükler biraz daha karmaşık CF teknolojisi ile üretilebilir. Ancak en az iki nedenden dolayı iyi bir fikir değildir .

Programlamadaki temel nokta, bir sistem bileşeninin en uygun teknolojiyle donatılmasıdır, böylece üretilmesi, anlaşılması ve bakımı kolaydır. Teknoloji aşırıya kaçmamalı (gerekenden çok daha karmaşık ve maliyetli teknikler kullanarak) veya gücünün sınırında olmamalı, böylece istenen hedefe ulaşmak için teknik eğilmeler gerektirmemelidir.

Bu yüzden "Düzenli ifadelerden nefret etmek moda görünüyor". Çok şey yapabilseler de, bazen uygulamada çeşitli uzantıların ve kısıtlamaların teorik sadeliklerini bir şekilde azalttığı gerçeğinden bahsetmemek için, bunu elde etmek için çok okunamayan kodlamaya ihtiyaç duyuyorlar. Lexers genellikle bunu yapmaz ve genellikle jetonu ayrıştırmak için basit, verimli ve uygun bir teknolojidir. Jeton için CF ayrıştırıcılarını kullanmak aşırı olabilir, ancak mümkün.

Sözlükçüler için CF formalizmini kullanmamanın bir başka nedeni de, tam CF gücünü kullanmanın cazip gelmesidir. Ancak bu, programların okunmasıyla ilgili önemli sorunları doğurabilir.

Temel olarak, anlamın çıkarıldığı program metninin yapısının çoğu bir ağaç yapısıdır. Ayrıştırma cümlesinin (program) sözdizimi kurallarından nasıl üretildiğini ifade eder. Anlambilim, ayrıştırma ağacını oluşturmak için sözdizimi kurallarının oluşturulma biçiminden kompozisyon teknikleri (matematiksel yönelimli homomorfizm) tarafından türetilir. Bu nedenle ağaç yapısı esastır. Jetonların düzenli bir set tabanlı lexer ile tanımlanması gerçeği durumu değiştirmez, çünkü normalden oluşan CF hala CF verir (Normal dönüştürücüler hakkında çok gevşek konuşuyorum, bir karakter akışını bir token akışına dönüştürüyor).

Bununla birlikte, CF ile oluşturulan CF (CF dönüştürücüler aracılığıyla ... matematik için üzgünüm), mutlaka CF vermez ve işleri daha genel, ancak pratikte daha az izlenebilir hale getirebilir. Bu yüzden CF, kullanılabilmesine rağmen, sözlükler için uygun bir araç değildir.

Düzenli ve CF arasındaki en büyük farklardan biri, normal dillerin (ve dönüştürücülerin) hemen hemen her biçimciliği çeşitli şekillerde çok iyi oluşturması, CF dillerinin (ve dönüştürücülerin) kendileriyle bile (birkaç istisna dışında) olmamasıdır.

(Normal dönüştürücülerin bazı sözdizimi hata işleme tekniklerinin resmileştirilmesi gibi başka kullanımları olabileceğini unutmayın.)

BNF, CF gramerlerini sunmak için sadece belirli bir sözdizimidir.

EBNF, BNF gramerlerinin ters versiyonunu vermek için düzenli gösterim olanaklarını kullanan BNF için sözdizimsel bir şekerdir . Her zaman eşdeğer bir saf BNF'ye dönüştürülebilir.

Bununla birlikte, düzenli gösterim EBNF'de genellikle sözdiziminin sözcüksel öğelerin yapısına karşılık gelen bu kısımlarını vurgulamak için kullanılır ve geri kalanı düz BNF'de sunulurken, lexer ile tanınmalıdır. Ancak bu mutlak bir kural değildir.

Özetlemek gerekirse, tokenin daha basit yapısı normal dillerin daha basit teknolojisi ile daha iyi analiz edilirken, dilin (program sözdiziminin) ağaç yönelimli yapısı CF gramerleri tarafından daha iyi ele alınmaktadır.

AHR'nin cevabına da bakmanızı öneririm .

Ama bu bir soruyu açık bırakıyor: Neden ağaçlar?

Ağaçlar sözdizimini belirtmek için iyi bir temel oluşturur çünkü

• metne basit bir yapı kazandırırlar

• anlambilimi bu yapıya dayalı olarak metinle, yukarıda belirtildiği gibi, matematiksel olarak iyi anlaşılmış bir teknoloji (homomorfizmalar yoluyla kompozisyon) ile ilişkilendirmek için çok uygundur. Matematiksel formalizmlerin anlambilimini tanımlamak için temel bir cebirsel araçtır.

Bu nedenle, Özet Sözdizimi Ağaçlarının (AST) başarısı ile gösterildiği gibi iyi bir ara gösterimdir. AST'nin ayrıştırma ağacından genellikle farklı olduğunu unutmayın, çünkü birçok profesyonel tarafından kullanılan ayrıştırma teknolojisi (LL veya LR gibi) yalnızca CF gramer alt kümesine uygulanır, böylece daha sonra AST'de düzeltilecek olan gramer bozulmalarını zorlar. Bu, herhangi bir CF dilbilgisini kabul eden daha genel ayrıştırma teknolojisi (dinamik programlamaya dayalı) ile önlenebilir.

Programlama dillerinin CF yerine bağlama duyarlı (CS) olduğu gerçeğine ilişkin ifade keyfi ve tartışmalıdır.

Sorun, sözdizimi ve anlambilimin ayrılmasının keyfi olmasıdır. Bildirimleri veya tür anlaşmasını denetleme sözdiziminin bir parçası veya anlambilimin bir parçası olarak görülebilir. Aynı şey doğal dillerde cinsiyet ve sayı anlaşması için de geçerlidir. Fakat çoğul anlaşmanın kelimelerin gerçek anlamsal anlamına bağlı olduğu doğal diller vardır, böylece sözdizimine iyi uymaz.

Anlamsal anlambilimde programlama dillerinin birçok tanımı, anlambilimde bildirimler ve tür denetimi yerleştirir. Ira Baxter'in yaptığı gibi , CF ayrıştırıcılarının sözdiziminin gerektirdiği bir bağlam duyarlılığı elde etmek için saldırıya uğradığını belirtmek, en iyi ihtimalle durumun keyfi bir görüşüdür. Bazı derleyicilerde bir hack olarak organize edilebilir, ancak olması gerekmez.

Ayrıca, sadece CS ayrıştırıcılarının (burada diğer cevaplarda kullanılan anlamda) oluşturulması zor ve daha az verimli değildir. Ayrıca, ihtiyaç duyulabilecek bağlam duyarlılığı kinf'ini açıkça ifade etmek için yetersizdirler. Ve doğal olarak, programın anlambilimini türetmek, yani derlenmiş kodu üretmek için uygun bir sözdizimsel yapı (ayrıştırma ağaçları gibi) üretmezler.

Bir derleyicinin analiz bölümünün normalde sözcüksel analiz ve ayrıştırma (sözdizimi analizi) aşamalarına ayrılmasının birkaç nedeni vardır.

1. Tasarımın sadeliği en önemli husustur. Sözcüksel ve sözdizimsel analizlerin ayrılması çoğu zaman bu görevlerden en az birini basitleştirmemize izin verir. Örneğin, sözdizimsel birimler olarak yorumlarla ve boşlukla uğraşmak zorunda olan bir ayrıştırıcı olurdu. Yorum ve beyaz boşluğu varsayabilecek birinden çok daha karmaşık, sözlüksel analizör tarafından zaten kaldırılmıştır. Yeni bir dil tasarlıyorsak, sözcüksel ve sözdizimsel kaygıları ayırmak daha temiz bir genel dil tasarımına yol açabilir.
2. Derleyici verimliliği artırıldı. Ayrı bir sözlük analizcisi, ayrıştırma işini değil, sadece sözcüksel görevi yerine getiren özel teknikleri uygulamamızı sağlar. Ayrıca, girdi karakterlerini okumak için özel tamponlama teknikleri derleyiciyi önemli ölçüde hızlandırabilir.
3. Derleyici taşınabilirliği artırıldı. Girdi aygıta özgü özellikler sözlük çözümleyicisiyle sınırlandırılabilir.

resource___ Derleyiciler (2. Baskı) - Alfred V. Abo Columbia Üniversitesi Monica S. Lam Stanford Üniversitesi Ravi Sethi Avaya Jeffrey D. Ullman Stanford Üniversitesi