Bir “tokenizer”, “ayrıştırıcı” ve “lexers” ın ne olduğunu ve birbirleriyle nasıl ilişkili ve nasıl kullanıldıklarına dair net bir tanım mı arıyorsunuz?

Ben bir "tokenizer", "ayrıştırıcı" ve "lexer" ne olduğunu ve birbirleri ile nasıl açık bir tanımını arıyorum (örneğin, bir ayrıştırıcı bir tokenizer kullanır veya tam tersi)? Veri beyanı ve tanımları ayıklamak için c / h kaynak dosyaları üzerinden gidecek bir program oluşturmak gerekir.

Örnekler arıyordum ve bazı bilgiler bulabilirim, ancak gramer kuralları, ayrıştırma ağaçları ve soyut sözdizimi ağacı gibi temel kavramları ve birbirleriyle nasıl ilişki kurduklarını gerçekten kavramak için uğraşıyorum. Sonunda bu kavramların gerçek bir programda saklanması gerekir, ancak 1) neye benziyorlar, 2) ortak uygulamalar var.

Lex ve Yacc gibi bu konular ve programlar hakkında Wikipedia'ya bakıyordum, ancak hiçbir zaman bir derleyici sınıfından (EE major) geçmedim, neler olduğunu tam olarak anlamakta zorlanıyorum.

Bir belirteç, genellikle boşluk (sekmeler, boşluklar, yeni satırlar) arayarak bir metin akışını belirteçlere böler.

Bir lexer temel olarak bir tokenleştiricidir, ancak genellikle belirteçlere ekstra bağlam ekler - bu belirteç bir sayıdır, bu belirteç bir dizgi değişmezidir, bu diğer belirteç bir eşitlik operatörüdür.

Bir ayrıştırıcı, belirteç akışını lexer'dan alır ve orijinal metnin temsil ettiği (genellikle) programı temsil eden soyut bir sözdizimi ağacına dönüştürür.

En son kontrol ettiğimde, konuyla ilgili en iyi kitap genellikle "Ejderha Kitabı" olarak bilinen "Derleyiciler: İlkeler, Teknikler ve Araçlar " idi.

Misal:

int x = 1;

Bir lexer veya tokenizer bunu 'int', 'x', '=', '1', ';' jetonlarına böler.

Bir ayrıştırıcı bu belirteçleri alacak ve bunları bir şekilde anlamak için kullanacaktır:

• bir sözümüz var
• tamsayı tanımı
• tamsayıya 'x' denir
• 'x' 1 değeriyle başlatılmalıdır.

Bir lexer ve tokenizatörün temelde aynı şey olduğunu ve metni bileşen parçalarına ('jetonlar') parçaladığını söyleyebilirim. Ayrıştırıcı daha sonra simgeleri bir dilbilgisi kullanarak yorumlar.

Bununla birlikte, kesin terminolojik kullanıma çok fazla asılmayacağım - insanlar genellikle bir metin parçasını yorumlama eylemini tanımlamak için 'ayrıştırma' kullanırlar.

( verilen cevaplara ekleme )

• Tokenizer ayrıca yorumları kaldıracak ve yalnızca jetonları iade edecek Lexer'a .
• Lexer ayrıca bu belirteçlerin kapsamlarını da tanımlayacaktır (değişkenler / işlevler)
• Ayrıştırıcı daha sonra kod / program yapısını oluşturur