Büyük miktarda HTML sayfasını (sunucu tarafında) ayrıştırmam gerekiyor.
Hepimiz regexp'in buraya gitmek için yol olmadığı konusunda hemfikiriz.
Bana öyle geliyor ki javascript, bir HTML sayfasını ayrıştırmanın yerel yolu, ancak bu varsayım, javascript'in bir tarayıcının içinde sahip olduğu tüm DOM yeteneğine sahip sunucu tarafı koduna dayanıyor.
Node.js yerleşik olarak bu yeteneğe sahip mi?
HTML'yi sunucu tarafında ayrıştırarak bu soruna daha iyi bir yaklaşım var mı?
Yanıtlar:
Node.JS'de bir DOM oluşturmak ve ayrıştırmak için jsdom ve htmlparser npm modüllerini kullanabilirsiniz.
Diğer seçenekler şunları içerir:
Tüm bu seçeneklerden Node.js seçeneğini kullanmayı tercih ediyorum, çünkü standart W3C DOM erişimci yöntemlerini kullanıyor ve kodu hem istemcide hem de sunucuda yeniden kullanabiliyorum. BeautifulSoup'un yöntemlerinin W3C doma daha benzer olmasını diliyorum ve XSLT yazmak için HTML'nizi XHTML'ye dönüştürmenin sadece sadistçe olduğunu düşünüyorum.
Cheerio kullan . Jsdom kadar katı değildir ve kazıma için optimize edilmiştir. Bonus olarak, zaten bildiğiniz jQuery seçicilerini kullanır.
❤ Tanıdık sözdizimi: Cheerio, çekirdek jQuery'nin bir alt kümesini uygular. Cheerio, jQuery kitaplığından tüm DOM tutarsızlıklarını ve tarayıcı bozukluklarını ortadan kaldırarak gerçekten muhteşem API'sini ortaya çıkarır.
ϟ Son derece hızlı: Cheerio, çok basit, tutarlı bir DOM modeliyle çalışır. Sonuç olarak ayrıştırma, işleme ve oluşturma inanılmaz derecede etkilidir. Ön uçtan-uca karşılaştırmalar, cheerio'nun JSDOM'dan yaklaşık 8 kat daha hızlı olduğunu gösteriyor.
❁ Son derece esnek: Cheerio, @ FB55'in bağışlayıcı htmlparser'ını sarar. Cheerio hemen hemen her HTML veya XML belgesini ayrıştırabilir.
jsdombunun için çok yavaş: /
Htmlparser2'yi kullanın , yolu daha hızlı ve oldukça basittir. Bu kullanım örneğine bakın:
https://www.npmjs.org/package/htmlparser2#usage
Ve canlı demo burada:
FB55 tarafından hazırlanan Htmlparser2 iyi bir alternatif gibi görünüyor.
jsdom, gerçek ekran kazıma gibi şeyleri yapmak için çok katıdır, ancak güzel grup kötü biçimlendirmeyi boğmaz.
node-soupselect , python'un güzel grubunun nodej'lere bir bağlantı noktasıdır ve çok güzel çalışır
En iyi NodeJS html ayrıştırıcı kitaplıklarını aradım.
Kullanım senaryolarım birçok özelliğe sahip bir kitaplık gerektirmediğinden, kararlılık ve performansa odaklanabildim.
Kararlılık derken, kütüphanenin topluluk tarafından hataların bulunması için yeterince uzun süre kullanılmasını ve korunmaya devam edileceğini ve açık sorunların kapatılacağını kastediyorum.
Açık kaynak kodlu bir kütüphanenin geleceğini anlamak zor, ancak openbase'deki en iyi 10 kütüphaneyi temel alan küçük bir özet yaptım .
Son işleme göre 2 gruba ayrıldım (ve her grupta sıra Github başlar):
Son taahhüt, son 6 aydır:
jsdom - Last commit: 3 Months, Open issues: 331, Github stars: 14.9K.
htmlparser2 - Last commit: 8 days, Open issues: 2, Github stars: 2.7K.
parse5 - Last commit: 2 Months, Open issues: 21, Github stars: 2.5K.
swagger-ayrıştırıcı - Last commit: 2 Months, Open issues: 48, Github stars: 663.
html-ayrıştırma-stringify - Last commit: 4 Months, Open issues: 3, Github stars: 215.
düğüm-html-ayrıştırıcı - Last commit: 7 days, Open issues: 15, Github stars: 205.
Son taahhüt 6 ay ve üzeridir:
cheerio - Last commit: 1 year, Open issues: 174, Github stars: 22.9K.
koa-bodyparser - Last commit: 6 months, Open issues: 9, Github stars: 1.1K.
sax-js - Last commit: 3 Years, Open issues: 65, Github stars: 941.
draftjs-html - Last commit: 1 Year, Open issues: 27, Github stars: 233.
Node-html-parser'ı seçtim çünkü şu anda oldukça hızlı ve çok aktif görünüyor.
(*) Openbase, katkıda bulunanların sayısı (+3 kaydetme ile), haftalık indirmeler, Aylık taahhütler, Sürüm vb. Gibi her kitaplıkla ilgili çok daha fazla bilgi ekler.
(**) Yukarıdaki tablo, belirli saat ve tarihe göre bir anlık görüntüdür - Referansı tekrar kontrol eder ve ilk adım olarak son etkinlik düzeyini kontrol eder ve ardından daha küçük ayrıntılara dalardım.