Отримання URL-адреси з результатів пошуку на основі запиту та оновлення на веб-сторінці

Намагаючись знайти спосіб зробити цей процес щодня або навіть щогодини:

1. Перейдіть до Amazon і знайдіть "елемент"
2. Знайдіть певний продукт у результатах пошуку (він завжди матиме однакову назву)
3. Захоплення посилання конкретного продукту (він періодично змінюється)
4. Зберігайте це посилання де-небудь і оновлюйте посилання на нього (це може бути HTML, сторінка Google, що завгодно)

Будь-які ідеї, з чого почати?

Я б запропонував заглянути в бібліотеку під назвою Селен. Він також існує як розширення для Firefox, але я б також встановив lib, щоб грати з кодом, який створює розширення. Особисто я використовував Python.

Розширення виконує роль рекордера для всіх дій, які виконуються у веб-переглядачі. Після завершення запису він спробує створити код мовою, яку ви обираєте. На моєму досвіді вам доведеться трохи підправити цей код, щоб він працював правильно, але котлова пластина і повідомлення про помилки будуть добре.

Використовуючи Selenium, ви можете написати сценарій, який:

1. Відкриває браузер на amazon.com
2. Поле пошуку кліків
3. Шукає назву елемента
4. Перехід до сторінки елемента
5. Захоплює URL-адресу сторінки елемента
6. Експортує URL-адресу в .txt або будь-що інше, що ви хочете робити з ним

Після того, як ви отримаєте код, ви можете налаштувати завдання в crontab на Linux або Windows Scheduler на Windows, щоб виконати свій скрипт, як завжди вам подобається.

Ось сторінка документації для Selenium для отримання додаткової інформації http://www.seleniumhq.org/docs/