«lexer» etiketlenmiş sorular

Kendi programlama dilimi oluşturmak isteyen son zamanlarda ortakların dünyasına derin bir dalış yaptım. Ancak, ayrıştırıcı yazma için iki farklı yaklaşımın var olduğunu öğrendim: Ayrıştırıcı Jeneratörler ve Ayrıştırıcı Birleştiriciler. İlginçtir ki, hangi yaklaşımın daha iyi olduğu konusunda hangi kaynakları açıklayabileceğimi; Aksine, birçok kaynak (ve kişi) Ben tabi sadece açıklayan diğer yaklaşım …

59 parsing  lexer  parser-combinator 

Derecemi bitirmek için yavaşça çalışıyorum ve bu dönem Derleyiciler 101. Ejderha Kitabını kullanıyoruz . Derse kısa bir süre sonra, sözcüksel analiz ve deterministik sonlu otomatalar (bundan sonra DFA) ile nasıl uygulanabileceğinden söz ediyoruz. Çeşitli lexer durumlarınızı ayarlayın, aralarındaki geçişleri tanımlayın, vb. Ancak hem profesör hem de kitap, onları dev bir …

24 compiler  lexer  pragmatism 

Başlıkta belirtildiği gibi, bir lexer çözümleyiciye hangi veri türünü iade etmeli / vermelidir? Vikipedi'nin sahip olduğu sözcüksel analiz makalesini okurken , şunu belirtmiştir: Bilgisayar bilimlerinde sözcüksel analiz, bir dizi karakterin (bir bilgisayar programında veya web sayfasında olduğu gibi) bir dizi dizinin ( tanımlanmış "anlamı" olan dizeler ) dönüştürülmesi işlemidir . …

21 data-types  lexer  flex 

Ayrıştırıcı birleştiricileri kullanmaya başladığımda ilk tepkim ayrıştırma ve lexing arasında yapay bir ayrım gibi hissettiren bir kurtuluş hissiydi. Birdenbire her şey sadece ayrışıyordu! Ancak, yakın zamanda codereview.stackexchange adresinde bu gönderiyle karşılaştım ve birinin bu ayrımı eski haline getirdiğini gösterdim. İlk başta bunun çok aptalca olduğunu düşündüm, ancak daha sonra Parsec'te …

18 parsing  lexer  parser-combinator 

C ++ 'da bir lexer yazma konusunda iyi kaynaklar nelerdir (kitaplar, öğreticiler, belgeler), bazı iyi teknikler ve uygulamalar nelerdir? İnternete baktım ve herkes lex gibi bir lexer jeneratörü kullanmayı söylüyor. Bunu yapmak istemiyorum, elle bir lexer yazmak istiyorum.

18 c++  compiler  lexer 

Oluşturduğum bir biçimlendirme dili için bir ayrıştırıcı yazıyorum (python ile yazma, ancak bu gerçekten bu soru ile ilgili değil - aslında bu kötü bir fikir gibi görünüyorsa, daha iyi bir yol için bir öneri isterim) . Burada ayrıştırıcılar hakkında okuyorum: http://www.ferg.org/parsing/index.html ve doğru anlarsam içeriği jetonlara bölen lexer'ı yazmaya çalışıyorum. …

14 python  parsing  lexer 

Dilbilgisi, Lexers ve Parsers hakkında açıklama konusundaki bir cevabı okurken , cevap şunları söyledi: [...] bir BNF dilbilgisi sözlüksel analiz ve ayrıştırma için ihtiyacınız olan tüm kuralları içerir. Bu benim için biraz garip geldi, çünkü şimdiye kadar, bir lexer'ın bir gramer üzerine hiç dayanmadığını düşünürken, bir ayrıştırıcı büyük ölçüde bir …

13 design  design-patterns  development-process  grammar  lexer 

Çeşitli üst düzey dillerde ( Python , PHP , diğerleri arasında Javascript ) birkaç lexer bakıyordum ve hepsi bir şekilde veya başka bir şekilde düzenli ifadeler kullanıyor gibi görünüyor. Regex'in muhtemelen bunu yapmanın en iyi yolu olduğundan emin olmakla birlikte, düzenli ifadeler olmadan temel lexing elde etmenin herhangi bir yolu …

9 theory  regular-expressions  lexer