Отримання даних із веб-сторінки стабільним та ефективним способом

Нещодавно я дізнався, що використання регулярного вираження для розбору HTML веб-сайту для отримання потрібних даних - не найкращий спосіб дії.

Отже, моє запитання просте: що тоді найкращий / найефективніший і загалом стабільний спосіб отримати ці дані?

Зазначу, що:

• API не існує
• Немає іншого джерела, з якого я можу отримати дані (немає баз даних, каналів тощо)
• Немає доступу до вихідних файлів. (Дані з загальнодоступних веб-сайтів)
• Скажімо, дані - це звичайний текст, відображений у таблиці на html-сторінці

Наразі я використовую python для свого проекту, але мовне незалежне рішення / поради було б непогано.

Як побічне запитання: як би ви це зробили, коли веб-сторінку створено за допомогою дзвінків Ajax?

Редагувати:

Що стосується розбору HTML, я знаю, що немає фактичного стабільного способу отримання даних. Як тільки сторінка змінюється, ваш аналізатор робиться для. Що я маю на увазі під стабільним в цьому випадку, це: ефективний спосіб розбору сторінки, який завжди дає мені однакові результати (для того ж набору даних очевидно) за умови, що сторінка не змінюється.

Ну ось мої 2 копійки:

Якщо AJAX не задіяний, або його можна легко очистити, "виправити" HTML до XHTML (використовуючи, наприклад, HTMLTidy), а потім використовуйте XPath замість регулярних виразів для отримання інформації.
На добре структурованій веб-сторінці логічно відокремлені сукупності інформації знаходяться в різних <div>s або будь-яких інших тегах, що означає, що ви зможете легко знайти потрібну інформацію за допомогою простого вираження XPath. Це чудово ще й тому, що ви можете протестувати його, скажімо, на консолі Chrome або на консолі розробника Firefox і перевірити, чи працює він, перш ніж записати навіть один рядок іншого коду.
Цей підхід також має дуже високе співвідношення сигнал / шум, оскільки зазвичай вирази для вибору відповідної інформації будуть однолінійними. Вони також легше читати, ніж звичайні вирази, і створені для цього.

Якщо на сторінці задіяні AJAX та серйозні JavaScript, вставте компонент браузера в додаток і використовуйте його DOM для запуску необхідних подій та XPath для отримання інформації. Тут є багато хороших компонентів для вбудовування браузера, більшість з яких використовують браузери в реальному часі під кришкою, що добре, оскільки веб-сторінка може бути неправильним (X) HTML, але все-таки добре підходить для всіх основних браузерів ( насправді більшість сторінок врешті-решт виходять таким чином).

На мій досвід, використовуючи середовище .NET, ви можете скористатися HTML Agility Pack .

Якщо сторінка відформатована як XHTML, ви також можете використовувати звичайний аналізатор XML. Тут є багато для будь-якого середовища, яке ви можете собі уявити.

Для побічного питання про AJAX ви можете використовувати звичайний мережевий код HTTP, щоб отримати дані та проаналізувати їх.

Знову ж, якщо ваш стек AJAX поверне XML, ви отримаєте безліч варіантів. Якщо він повертає JSON, розгляньте бібліотеку, яка дозволяє відображати потік на набрані об'єкти. У .NET я пропоную вам Newtonsoft.Json .

Розбір HTML - не зовсім тривіальне завдання, оскільки доводиться стикатися з можливо неправильною розміткою (суп з тегами). Протягом багатьох років браузери впроваджували більш-менш одну і ту ж стратегію боротьби з помилками, і цей алгоритм був закреслений у специфікації HTML5 (так, специфікація HTML5 визначає, що робити з речами, які не є HTML5).

Це бібліотеки для всіх основних мов для розбору HTML, наприклад, цієї .

У будь-якому випадку те, що ви отримаєте, не є стабільним в жодному сенсі. Щоразу, коли змінюється формат веб-сторінки, ви повинні адаптувати свій скребок.

Як побічне запитання: як би ви це зробили, коли веб-сторінку створено за допомогою дзвінків Ajax?

Якщо здійснюються дзвінки ajax, то, швидше за все, це або якийсь POST, або GET URL з деякими змінними.

Я вивчив би JavaScript, щоб дізнатися, що таке кінцеві точки та параметри. Після цього дуже ймовірно, що або повернені дані є json / xml / звичайний текст, або, можливо, частковий html.

Як тільки ви дізнаєтесь вищевказану інформацію, ви просто зробите GET або POST-запит до цієї кінцевої точки та проаналізуєте повернені дані.

Не існує стабільного або кращого способу зробити це, веб-сторінки HTML не були зроблені для маніпулювання комп'ютерами. Він призначений для користувачів, але якщо вам це потрібно зробити, я пропоную використовувати браузер і трохи javascript. У своїй роботі я брав участь у проекті, який потребує отримання деякої інформації з сторонніх сайтів. Додаток було розроблено як розширення для Chrome. Логіка програми пишеться за допомогою JavaScript, який вводиться на сайт після завершення завантаження сторінки. Витягнуті дані надсилаються в базу даних через http-сервер. Це не найкращий підхід, але він працює. Пс: Власник сайту уповноважив нас робити таке.