Запитання з тегом «web-scraping»

Веб-скребки - це процес вилучення конкретної інформації з веб-сайтів, які не надають API чи інших методів автоматизованого пошуку даних. Питання щодо "Як розпочати роботу з вискоблюванням" (наприклад, з Excel VBA) слід детально вивчити *, оскільки доступні численні зразки функціональних кодів. Методи скребкування веб-сторінок включають сторонні додатки, розробку спеціального програмного забезпечення або навіть ручний збір даних стандартизованим способом.

8
Як можна швидше вискоблювати
Робота тут , щоб очистити АНІ сайт , який починається з https://xxx.xxx.xxx/xxx/1.jsonдо https://xxx.xxx.xxx/xxx/1417749.jsonі записати його точно MongoDB. Для цього у мене є такий код: client = pymongo.MongoClient("mongodb://127.0.0.1:27017") db = client["thread1"] com = db["threadcol"] start_time = time.time() write_log = open("logging.log", "a") min = 1 max = 1417749 for n in range(min, …

3
Клацніть елемент у списку автозаповнення з VBA та HTML
Я створив автоматизацію, де вона дозволить мені вводити деталі на веб-сайті (хоча я не можу поділитися цим, оскільки він внутрішній). Мій код нижче працює лише до тих пір, поки він не введе текст на "отриманий від". Однак у цьому полі "отримано від" є список автозаповнення, і мені потрібно вибрати його …

1
Неможливо дозволити моєму сценарію автоматично генерувати декілька значень, які будуть використані в межах корисного навантаження
Я створив сценарій для отримання елементів html з цільової сторінки, надсилаючи згодом два https-запити. Мій сценарій може зробити цю справу бездоганно. Однак мені довелося скопіювати чотири значення з інструментів хромованого розробника, щоб заповнити чотири ключі всередині payload, щоб надіслати остаточні запити http, щоб дійти до цільової сторінки. Це вихідне посилання, …

2
Неможливо проаналізувати ім’я користувача, щоб переконатися, що я увійшов на веб-сайт
Я написав сценарій в python, щоб увійти на веб-сайт та проаналізувати ім’я користувача, щоб переконатися, що я справді зміг увійти. Використання способу, який я намагався нижче, здається, що мене туди примусять. Однак я використовував жорсткі файли cookie, взяті з інструментів хромованого розробника, в рамках сценарію, щоб досягти успіху. Я намагався: …
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.