Простий гусеничний за допомогою Cheerio
Це моя формула зробити простий сканер у Node.js. Це головна причина того, що потрібно робити маніпуляції з DOM на стороні сервера, і, мабуть, це причина, чому ви потрапили сюди.
По-перше, використовуйте requestдля завантаження сторінки для розбору. Коли завантаження завершиться, зверніться до ньогоcheerio та розпочніть маніпуляцію з DOM так само, як за допомогою jQuery.
Робочий приклад:
var
request = require('request'),
cheerio = require('cheerio');
function parse(url) {
request(url, function (error, response, body) {
var
$ = cheerio.load(body);
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
Цей приклад надрукує на консоль усі найпопулярніші запитання, що відображаються на домашній сторінці SO. Ось чому я люблю Node.js та його спільноту. Це не могло бути легшим за це :-)
Встановити залежності:
npm встановити запит cheerio
І запустіть (якщо припустити, що сценарій знаходиться у файлі crawler.js):
вузол crawler.js
Кодування
Деякі сторінки матимуть вміст, що не має англійської мови, у певному кодуванні, і вам потрібно буде його розшифрувати UTF-8. Наприклад, сторінка бразильською португальською мовою (або будь-якою іншою мовою латинського походження), ймовірно, буде закодована в ISO-8859-1(також "latin1"). Коли потрібно декодування, я кажу requestне інтерпретувати вміст жодним чином, а замість цього використовуватиiconv-lite виконувати завдання.
Робочий приклад:
var
request = require('request'),
iconv = require('iconv-lite'),
cheerio = require('cheerio');
var
PAGE_ENCODING = 'utf-8'; // change to match page encoding
function parse(url) {
request({
url: url,
encoding: null // do not interpret content yet
}, function (error, response, body) {
var
$ = cheerio.load(iconv.decode(body, PAGE_ENCODING));
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
Перед запуском встановіть залежності:
npm встановити запит iconv-lite cheerio
І тоді нарешті:
вузол crawler.js
Наступні посилання
Наступним кроком буде перехід за посиланнями. Скажіть, що ви хочете перерахувати всі афіші з кожного головного запитання на ТАК. Спочатку потрібно перерахувати всі найпопулярніші запитання (приклад вище), а потім ввести кожне посилання, проаналізувавши сторінку кожного питання, щоб отримати список залучених користувачів.
Коли ви почнете переходити за посиланнями, може початися пекельний зворотний дзвінок . Щоб уникнути цього, вам слід використовувати якісь обіцянки, ф'ючерси чи що завгодно. Я завжди зберігаю асинхронізацію в моєму поясі інструментів. Отже, ось повний приклад сканера, що використовує async:
var
url = require('url'),
request = require('request'),
async = require('async'),
cheerio = require('cheerio');
var
baseUrl = 'http://stackoverflow.com/';
// Gets a page and returns a callback with a $ object
function getPage(url, parseFn) {
request({
url: url
}, function (error, response, body) {
parseFn(cheerio.load(body))
});
}
getPage(baseUrl, function ($) {
var
questions;
// Get list of questions
questions = $('.question-summary .question-hyperlink').map(function () {
return {
title: $(this).text(),
url: url.resolve(baseUrl, $(this).attr('href'))
};
}).get().slice(0, 5); // limit to the top 5 questions
// For each question
async.map(questions, function (question, questionDone) {
getPage(question.url, function ($$) {
// Get list of users
question.users = $$('.post-signature .user-details a').map(function () {
return $$(this).text();
}).get();
questionDone(null, question);
});
}, function (err, questionsWithPosters) {
// This function is called by async when all questions have been parsed
questionsWithPosters.forEach(function (question) {
// Prints each question along with its user list
console.info(question.title);
question.users.forEach(function (user) {
console.info('\t%s', user);
});
});
});
});
Перед запуском:
npm встановити запит async cheerio
Проведіть тест:
вузол crawler.js
Вибірка зразка:
Is it possible to pause a Docker image build?
conradk
Thomasleveil
PHP Image Crop Issue
Elyor
Houston Molinar
Add two object in rails
user1670773
Makoto
max
Asymmetric encryption discrepancy - Android vs Java
Cookie Monster
Wand Maker
Objective-C: Adding 10 seconds to timer in SpriteKit
Christian K Rider
І це основне, що ви повинні знати, щоб почати робити власні сканери :-)
Бібліотеки, що використовуються