Браузер без головок та скребкування - рішення [закрито]

Я намагаюся скласти список можливих рішень для автоматичних тестових костюмів браузера та безголових платформ браузера, здатних скребкувати.

ВИПРОБУВАННЯ БРУЗЕРА

• Selenium - флагман поліглоту в автоматизації браузера, прив’язки для Python, Ruby, JavaScript, C #, Haskell та ін., IDE для Firefox (як розширення) для швидшого розгортання тесту. Може виступати в ролі Сервера і має безліч функцій.

JAVASCRIPT

• PhantomJS - JavaScript , безголове тестування із захопленням екрана та автоматизацією, використовує Webkit . З версії 1.8 реалізовано API WebDriver Selenium, тому ви можете використовувати будь-які прив'язки WebDriver, і тести будуть сумісні з Selenium
• SlimerJS - подібно до PhantomJS, використовує Gecko (Firefox) замість WebKit
• CasperJS - JavaScript , побудований як на PhantomJS, так і на SlimerJS, має додаткові можливості
• Ghost Driver - реалізація JavaScript протоколу WebDriver Wire для PhantomJS .
• новий тест регресії PhantomCSS - CSS. А CasperJS модуль для автоматизації візуального регресійного тестування з PhantomJS і Resemble.js .
• новий WebdriverCSS - плагін для Webdriver.io для автоматизації тестування візуальної регресії
• новий PhantomFlow - Опис та візуалізація потоків користувачів за допомогою тестів. Експериментальний підхід до тестування веб-інтерфейсу користувача.
• новий trifleJS - переносить API PhantomJS для використання двигуна Internet Explorer.
• новий CasperJS IDE (комерційний)

NODE.JS

• Node-phantom - усуває розрив між PhantomJS та node.js
• WebDriverJs - прив'язки WebDriver до Selenium для node.js від команди Selenium
• WD.js - модуль вузла для WebDriver / Selenium 2
• yiewd - WD.js обгортка з використанням останніх генераторів Harmony! Позбавтеся від піраміди зворотних викликів із урожайністю
• ZombieJs - безумовно швидке безголове тестування повного стека за допомогою node.js
• NightwatchJs - тестове рішення на базі вузла JS з використанням WebDriver Selenium
• Химера - Химера: може робити все, що робить PhantomJS, але в повному середовищі JS
• Dalek.js - Автоматизоване крос-браузерне тестування з JavaScript через Selenium Webdriver
• Webdriver.io - краща реалізація прив'язок WebDriver із заздалегідь визначеними 50+ діями
• Кошмар - Електронний міст з високим рівнем API.
• jsdom - з урахуванням скребтування веб-сторінок. Дуже легкий DOM, реалізований у Node.js, він підтримує сторінки з JavaScript.
• нова Puppeteer - бібліотека вузлів, яка забезпечує API високого рівня для керування Chrome або Chromium. Лялечка за замовчуванням працює без голови.

СКЕПІРУВАННЯ / МІНІНГУВАННЯ ВЕБ

• Scrap - Python , в основному скрепер / шахтар - швидкий, добре задокументований і може бути пов'язаний з Django Dynamic Scraper для гарного розгортання майнінгу , або Scrap Cloud для PaaS (без сервера), працює в терміналі або автономному процесі сервера , може використовуватися із селерою , побудованою поверх скрученого
• Snailer - модуль node.js , ще не перевірений.
• Node-Crawler - модуль node.js , ще не перевірений.

ОНЛАЙН ІНСТРУМЕНТИ

• нова мова веб-вискоблювання - простий синтаксис для сканування в Інтернеті

• новий Інтернет-клієнт HTTP - виділений так відповідь

• мертвий CasperBox - запускайте сценарії CasperJS в Інтернеті

ПОВ'ЯЗАНІ ПОСИЛАННЯ І РЕСУРСИ

• Порівняння програмного забезпечення веб-розробки
• новий Rezzle.js : аналіз зображення та порівняння

Запитання:

• Будь-яке чисте рішення Node.js або Nodejs для PhanthomJS / CasperJS модуля, яке насправді працює і документується?

Відповідь: Химера, схоже, йде в тому напрямку, замовляючи Химера

• Інші рішення, здатні простіше вводити JavaScript, ніж Selenium?

• Чи знаєте ви якісь чисті рубінові рішення?

Відповідь: Ознайомтесь зі списком, створеним rjk з рішеннями на основі рубіну

• Чи знаєте ви якісь пов'язані технології чи рішення?

Не соромтесь редагувати це питання та додавати вміст за своїм бажанням! Дякую за внесок!

Якщо Ruby - це ваша річ, ви також можете спробувати:

• https://github.com/chriskite/anemone (dev зупинено)
• https://github.com/sparklemotion/mechanize
• https://github.com/postmodern/spidr
• https://github.com/stewartmckee/cobweb
• http://watirwebdriver.com/ (Селен)

Крім того, дорогоцінний камінь Nokogiri може бути використаний для вискоблювання:

• http://nokogiri.org/

є спеціальна книга про те, як використовувати ногігірі для скреблінгу шляхом публікації пакта

http://triflejs.org/ - це як phantomjs, але заснований на IE

Різновидом селену на базі JS є Dalek.js . Він не тільки спрямований на автоматизовані тести інтерфейсу, ви також можете робити скріншоти з ним. Він має веб-драйвери для всіх важливих браузерів. На жаль, такі веб-драйвери, здається, варто вдосконалити (лише не кажучи про "баггі" для Firefox).