Запитання з тегом «beautifulsoup»

У мене проблеми з символами Unicode з тексту, отриманого з різних веб-сторінок (на різних сайтах). Я використовую BeautifulSoup. Проблема полягає в тому, що помилка не завжди відтворюється; іноді він працює з деякими сторінками, а іноді - барфікує, кидаючи UnicodeEncodeError. Я спробував майже все, про що можу придумати, але все ж …

1296 python  unicode  beautifulsoup  python-2.x  python-unicode 

У мене виникають проблеми з розбором елементів HTML з атрибутом "class" за допомогою Beautifulsoup. Код виглядає приблизно так soup = BeautifulSoup(sdata) mydivs = soup.findAll('div') for div in mydivs: if (div["class"] == "stylelistrow"): print div Я отримую помилку в тому ж рядку "після" сценарій закінчується. File "./beautifulcoding.py", line 130, in getlanguage …

386 python  html  web-scraping  beautifulsoup 

... soup = BeautifulSoup(html, "lxml") File "/Library/Python/2.7/site-packages/bs4/__init__.py", line 152, in __init__ % ",".join(features)) bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library? Вищевказані результати на моєму терміналі. Я на Mac OS 10.7.x. У мене є Python 2.7.1, і я …

224 python  python-2.7  beautifulsoup  lxml 

Я намагаюся скребти веб-сайт, але це дає мені помилку. Я використовую такий код: import urllib.request from bs4 import BeautifulSoup get = urllib.request.urlopen("https://www.website.com/") html = get.read() soup = BeautifulSoup(html) print(soup) І я отримую таку помилку: File "C:\Python34\lib\encodings\cp1252.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_table)[0] UnicodeEncodeError: 'charmap' codec can't encode characters in position …

205 python  beautifulsoup  urllib 

TypeError: потрібен об'єкт, подібний до байтів, а не 'str' отримання вище помилки під час виконання нижче коду python для збереження даних таблиці HTML у файлі Csv. не знаю, як отримати rideup.pls допоможіть мені. import csv import requests from bs4 import BeautifulSoup url='http://www.mapsofindia.com/districts-india/' response=requests.get(url) html=response.content soup=BeautifulSoup(html,'html.parser') table=soup.find('table', attrs={'class':'tableizer-table'}) list_of_rows=[] for row …

173 csv  python-3.x  beautifulsoup  html-table 

soup.find("tagName", { "id" : "articlebody" }) Чому це НЕ повертає <div id="articlebody"> ... </div>теги та речі між ними? Він нічого не повертає. І я знаю, адже він існує, тому що я дивлюся прямо на це soup.prettify() soup.find("div", { "id" : "articlebody" }) також не працює. ( EDIT: я виявив, що …

147 python  beautifulsoup 

Як я можу отримати посилання веб-сторінки та скопіювати URL-адресу посилань за допомогою Python?

141 python  web-scraping  hyperlink  beautifulsoup 

Я працюю в Python і використовую Flask. Коли я запускаю свій основний файл Python на своєму комп’ютері, він працює відмінно, але коли я активую venv і запускаю файл Flask Python в терміналі, він говорить про те, що в моєму головному файлі Python "немає модуля з іменем bs4." Будь-які коментарі чи …

138 python  beautifulsoup  flask  importerror 

Я хочу створити веб-сайт, який показує порівняння між ціною продукту на Amazon та e-bay. Хто з них буде працювати краще і чому? Я трохи знайомий з BeautifulSoup , але не стільки з Scrapy гусеничної .

134 python  beautifulsoup  scrapy  web-crawler 

В основному, я хочу використовувати BeautifulSoup, щоб чітко схопити видимий текст на веб-сторінці. Наприклад, ця веб-сторінка є моїм тестом. І в основному я хочу просто отримати текст тексту (статтю) і, можливо, навіть кілька назв вкладок тут і там. Я спробував пропозицію в цьому запитанні ТАК, який повертає безліч <script>тегів і …

124 python  text  beautifulsoup  html-content-extraction 

Я практикую код із "Веб-скребування за допомогою Python", і у мене постійно виникає така проблема сертифіката: from urllib.request import urlopen from bs4 import BeautifulSoup import re pages = set() def getLinks(pageUrl): global pages html = urlopen("http://en.wikipedia.org"+pageUrl) bsObj = BeautifulSoup(html) for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")): if 'href' in link.attrs: if link.attrs['href'] …

123 python  web-scraping  beautifulsoup  scrapy  ssl-certificate 

Я хочу отримати всі <a>теги, які є дітьми <li>: <div> <li class="test"> <a>link1</a> <ul> <li> <a>link2</a> </li> </ul> </li> </div> Я знаю, як знайти елемент із таким класом, як це: soup.find("li", { "class" : "test" }) Але я не знаю, як знайти всіх <a>дітей, <li class=test>але не будь-яких інших. Я …

115 python  html  beautifulsoup 

Я намагаюся витягнути вміст одного атрибута "value" у конкретному тезі "input" на веб-сторінці. Я використовую такий код: import urllib f = urllib.urlopen("http://58.68.130.147") s = f.read() f.close() from BeautifulSoup import BeautifulStoneSoup soup = BeautifulStoneSoup(s) inputTag = soup.findAll(attrs={"name" : "stainfo"}) output = inputTag['value'] print str(output) Я отримую TypeError: індекси списку повинні бути …

111 python  parsing  attributes  beautifulsoup 

Я використовую BeautifulSoup, щоб скребти URL, і у мене був такий код import urllib import urllib2 from BeautifulSoup import BeautifulSoup url = "http://www.example.com/servlet/av/ResultTemplate=AVResult.html" req = urllib2.Request(url) response = urllib2.urlopen(req) the_page = response.read() soup = BeautifulSoup(the_page) soup.findAll('td',attrs={'class':'empformbody'}) Тепер у наведеному вище коді ми можемо використовувати findAllтеги та інформацію, пов’язану з ними, …

105 python  xpath  beautifulsoup  urllib 

Я хочу надрукувати значення атрибута на основі його імені, візьмемо для прикладу <META NAME="City" content="Austin"> Я хочу зробити щось подібне soup = BeautifulSoup(f) //f is some HTML containing the above meta tag for meta_tag in soup('meta'): if meta_tag['name'] == 'City': print meta_tag['content'] Наведений вище код дає KeyError: 'name', я вважаю, …

95 python  beautifulsoup