Запитання з тегом «urlopen»

Я намагаюся розробити простий веб-скребок. Я хочу витягнути текст без HTML-коду. Насправді я досягаю цієї мети, але я бачив, що на деяких сторінках, де завантажений JavaScript, я не отримав хороших результатів. Наприклад, якщо якийсь код JavaScript додає якийсь текст, я його не бачу, тому що коли я телефоную response = …

178 python  web-scraping  python-2.x  urlopen 

З Python 3 я прошу документ json з URL-адреси. response = urllib.request.urlopen(request) responseОб'єкт являє собою файл-подібний об'єкт з readі readlineметоди. Зазвичай об’єкт JSON можна створити з файлом, відкритим у текстовому режимі. obj = json.load(fp) Що я хотів би зробити: obj = json.load(response) Однак це не працює, оскільки urlopen повертає об’єкт …

177 python  json  python-3.x  encoding  urlopen