Cheerio kullanarak basit bir tarayıcı
Bu, Node.js'de basit bir tarayıcı yapmak için formülüm. Sunucu tarafında DOM manipülasyonu yapmak istemenin ana nedeni ve muhtemelen buraya gelmenizin nedeni.
İlk olarak, requestayrıştırılacak sayfayı indirmek için kullanın . İndirme işlemi tamamlandığında, cheeriojQuery gibi DOM işlemesine geçin ve DOM işlemeye başlayın.
Çalışma örneği:
var
request = require('request'),
cheerio = require('cheerio');
function parse(url) {
request(url, function (error, response, body) {
var
$ = cheerio.load(body);
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
Bu örnek, SO ana sayfasında gösterilen tüm soruları konsola yazdırır. Bu yüzden Node.js ve topluluğunu seviyorum. Bundan daha kolay olamazdı :-)
Bağımlılıkları yükleyin:
npm yükleme isteği cheerio
Ve çalıştırın (yukarıdaki komut dosyasının dosyada olduğunu varsayarak crawler.js):
düğüm crawler.js
Kodlama
Bazı sayfalarda belirli bir kodlamada ingilizce olmayan içerik bulunur ve kodunu çözmeniz gerekir UTF-8. Örneğin, Brezilya Portekizcesi'ndeki (veya latin kökenli başka bir dilde) bir sayfa büyük olasılıkla ISO-8859-1("latin1" olarak) kodlanır . Kod çözme gerektiğinde, requestiçeriği hiçbir şekilde yorumlamamayı ve bunun yerine iconv-liteişi yapmak için kullanmamayı söylerim .
Çalışma örneği:
var
request = require('request'),
iconv = require('iconv-lite'),
cheerio = require('cheerio');
var
PAGE_ENCODING = 'utf-8'; // change to match page encoding
function parse(url) {
request({
url: url,
encoding: null // do not interpret content yet
}, function (error, response, body) {
var
$ = cheerio.load(iconv.decode(body, PAGE_ENCODING));
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
Çalıştırmadan önce bağımlılıkları yükleyin:
npm yükleme isteği iconv-lite cheerio
Ve son olarak:
düğüm crawler.js
Aşağıdaki bağlantılar
Bir sonraki adım bağlantıları takip etmek olacaktır. Diyelim ki her bir üst sorudaki tüm posterleri SO'da listelemek istiyorsunuz. Öncelikle tüm sık sorulan soruları listelemeniz (yukarıdaki örnek) ve ardından ilgili kullanıcıların listesini almak için her sorunun sayfasını ayrıştırarak her bir bağlantıyı girmeniz gerekir.
Bağlantıları izlemeye başladığınızda, bir geri arama cehennemi başlayabilir. Bundan kaçınmak için bir tür vaat, gelecek veya başka bir şey kullanmalısınız. Hep tutmak asenk benim araç kemerinde bulunan. Yani, async kullanan bir tarayıcının tam örneği:
var
url = require('url'),
request = require('request'),
async = require('async'),
cheerio = require('cheerio');
var
baseUrl = 'http://stackoverflow.com/';
// Gets a page and returns a callback with a $ object
function getPage(url, parseFn) {
request({
url: url
}, function (error, response, body) {
parseFn(cheerio.load(body))
});
}
getPage(baseUrl, function ($) {
var
questions;
// Get list of questions
questions = $('.question-summary .question-hyperlink').map(function () {
return {
title: $(this).text(),
url: url.resolve(baseUrl, $(this).attr('href'))
};
}).get().slice(0, 5); // limit to the top 5 questions
// For each question
async.map(questions, function (question, questionDone) {
getPage(question.url, function ($$) {
// Get list of users
question.users = $$('.post-signature .user-details a').map(function () {
return $$(this).text();
}).get();
questionDone(null, question);
});
}, function (err, questionsWithPosters) {
// This function is called by async when all questions have been parsed
questionsWithPosters.forEach(function (question) {
// Prints each question along with its user list
console.info(question.title);
question.users.forEach(function (user) {
console.info('\t%s', user);
});
});
});
});
Koşudan önce:
npm yükleme isteği zaman uyumsuz cheerio
Bir test yapın:
düğüm crawler.js
Örnek çıktı:
Is it possible to pause a Docker image build?
conradk
Thomasleveil
PHP Image Crop Issue
Elyor
Houston Molinar
Add two object in rails
user1670773
Makoto
max
Asymmetric encryption discrepancy - Android vs Java
Cookie Monster
Wand Maker
Objective-C: Adding 10 seconds to timer in SpriteKit
Christian K Rider
Ve kendi tarayıcılarınızı yapmaya başlamak için bilmeniz gereken temel bu :-)
Kullanılan kütüphaneler