Düzenli ifade kullanmıyorlarsa HTML ayrıştırmaları nasıl çalışır?

Her gün bir HTML dizgisinden bir şeyin nasıl ayrıştırılacağını veya çıkarılacağını soran sorular görüyorum ve ilk cevap / yorum her zaman "Öfkeyi hissetmemek için HTML'yi ayrıştırmak için RegEx'i kullanmayın!" (bu son kısım bazen ihmal edilir).

Bu benim için oldukça kafa karıştırıcı, her zaman genel olarak herhangi bir karmaşık dizeyi çözümlemenin en iyi yolunun düzenli bir ifade kullanmak olduğunu düşünmüşümdür. Peki bir HTML ayrıştırıcı nasıl çalışır? Ayrıştırmak için normal ifadeler kullanmıyor mu?

Normal bir ifade kullanmak için özel bir argüman, her zaman bir ayrıştırma alternatifinin olmamasıdır (JavaScript gibi, DOMDocument evrensel olarak kullanılabilen bir seçenek değildir). Örneğin jQuery, bir HTML dizesini DOM düğümlerine dönüştürmek için bir düzenli ifade kullanarak gayet iyi yönetiyor gibi görünüyor.

Bunu CW yapıp yapmama konusunda emin değilim, cevaplanmasını istediğim gerçek bir soru ve gerçekten bir tartışma başlığı olmayı amaçlamıyorum.

Genellikle bir belirteç kullanarak. Taslak HTML5 spesifikasyonu, "gerçek dünya HTML" yi işlemek için kapsamlı bir algoritmaya sahiptir .

Peki bir HTML ayrıştırıcı nasıl çalışır? Ayrıştırmak için normal ifadeler kullanmıyor mu?

Hayır.

Beyninizde bir hesaplama teorisi kursuna geri dönerseniz, bir derse veya bir derleyici kursuna veya benzer bir şeye gittiyseniz, farklı dil türleri ve hesaplama modelleri olduğunu hatırlayabilirsiniz. Tüm ayrıntılara girecek nitelikte değilim, ancak birkaç önemli noktayı sizinle birlikte gözden geçirebilirim.

En basit dil ve hesaplama türü (bu amaçlar için) normal bir dildir. Bunlar normal ifadelerle oluşturulabilir ve sonlu otomatlarla tanınabilir. Temel olarak, bu, bu dillerdeki dizgelerin "ayrıştırılmasının" durum kullandığı anlamına gelir, ancak yardımcı belleği kullanmaz. HTML kesinlikle normal bir dil değildir. Bunu düşünürseniz, etiket listesi keyfi bir şekilde derinlemesine yerleştirilebilir. Örneğin, tablolar tablo içerebilir ve her tablo çok sayıda iç içe geçmiş etiket içerebilir. Normal ifadelerle, bir çift etiket seçebilirsin, ama kesinlikle keyfi olarak iç içe yerleştirilmiş hiçbir şey olamaz.

Normal olmayan klasik bir basit dil, parantezlerle doğru şekilde eşleşir. Yapabildiğiniz kadar deneyin, her zaman işe yarayacak bir düzenli ifade (veya sonlu otomat) asla oluşturamazsınız. Yuvalama derinliğini takip etmek için hafızaya ihtiyacınız var.

Bellek yığınına sahip bir durum makinesi, hesaplama modelinin bir sonraki gücüdür. Buna aşağı itmeli otomat denir ve bağlamdan bağımsız gramerler tarafından oluşturulan dilleri tanır. Burada, doğru eşleştirilmiş parantezleri tanıyabiliriz - aslında bir yığın, onun için mükemmel bir bellek modelidir.

Peki, bu HTML için yeterince iyi mi? Üzgünüm hayır. Belki de tüm etiketlerin her zaman mükemmel bir şekilde sıralandığı, dikkatlice doğrulanmış XML için olabilir. Gerçek dünya HTML'sinde, gibi parçacıkları kolayca bulabilirsiniz <b><i>wow!</b></i>. Bu açıkça yuvalanmaz, bu yüzden doğru şekilde ayrıştırmak için bir yığın yeterince güçlü değildir.

Bir sonraki hesaplama düzeyi, genel gramerler tarafından üretilen ve Turing makineleri tarafından tanınan dillerdir. Bu genellikle var olan en güçlü hesaplama modeli olarak kabul edilir - belleği herhangi bir yerde değiştirilebilen yardımcı belleğe sahip bir durum makinesi. Programlama dillerinin yapabileceği şey budur. Bu, HTML'nin yaşadığı karmaşıklık düzeyidir.

Buradaki her şeyi tek bir cümleyle özetlemek gerekirse: genel HTML'yi ayrıştırmak için normal bir ifadeye değil gerçek bir programlama diline ihtiyacınız var.

HTML, diğer dillerin çözümlendiği şekilde çözümlenir: sözcük oluşturma ve ayrıştırma. Sözcük oluşturma adımı, bireysel karakterlerin akışını anlamlı belirteçlere böler. Ayrıştırma adımı, durumları ve belleği kullanarak simgeleri, üzerinde işlem yapılabilecek mantıksal olarak tutarlı bir belge halinde birleştirir.

Normal ifadeler yalnızca bir ayrıştırıcı biçimidir. Dürüstlükten iyiye doğru bir HTML ayrıştırıcısı , metni doğru bir şekilde yorumlamak için yinelemeli iniş , tahmin ve diğer birkaç tekniği kullanarak normal ifadelerde ifade edilenden çok daha karmaşık olacaktır . Gerçekten içine girmek istiyorsan, lex & yacc ve benzeri araçları inceleyebilirsin.

HTML ayrıştırması için normal ifadelerin kullanılmasına karşı yasaklama muhtemelen şu şekilde daha doğru yazılmalıdır: "HTML'yi ayrıştırmak için saf normal ifadeler kullanmayın ..." (öfke hissetmemek için) "... ve sonuçları dikkatli bir şekilde ele alın." Belirli belirli hedefler için, bir normal ifade tamamen yeterli olabilir, ancak normal ifadenizin sınırlamalarının farkında olmak için çok dikkatli olmanız ve ayrıştırdığınız metnin kaynağına uygun olduğu kadar dikkatli olmanız gerekir (ör. kullanıcı girişi, gerçekten çok dikkatli olun).

HTML Ayrıştırma, doğrusal bir metnin bir ağaç yapısına dönüştürülmesidir. Normal ifadeler genellikle ağaç yapılarını işleyemez. Bir sonraki jetonu almak için her noktada ihtiyaç duyduğunuz normal ifade her zaman değişir. Bir ayrıştırıcıda normal ifadeler kullanabilirsiniz, ancak her olası ayrıştırma durumu için tam bir düzenli ifade dizisine ihtiyacınız olacaktır.

% 100 bir çözüme sahip olmak istiyorsanız: HTML'de karakter karakter yinelenen kendi özel kodunuzu yazmanız gerekir ve mevcut düğümü durdurup başlatmanız gerekip gerekmediğini belirlemek için muazzam miktarda mantığa sahip olmanız gerekir. Sonraki.

Bunun nedeni, bunun geçerli HTML olmasıdır:

<ul>
<li>One
<li>Two
<li>Three
</ul>

Ama bu da öyle:

<ul>
<li>One</li>
<li>Two</li>
<li>Three</li>
</ul>

"% 90 çözüm" nde sorun yoksa: O zaman bir belgeyi yüklemek için bir XML ayrıştırıcı kullanmak iyidir. Veya Regex kullanarak (içeriğin ustası iseniz xml daha kolaydır).