Вилучення значення атрибута за допомогою красивого набору


111

Я намагаюся витягнути вміст одного атрибута "value" у конкретному тезі "input" на веб-сторінці. Я використовую такий код:

import urllib
f = urllib.urlopen("http://58.68.130.147")
s = f.read()
f.close()

from BeautifulSoup import BeautifulStoneSoup
soup = BeautifulStoneSoup(s)

inputTag = soup.findAll(attrs={"name" : "stainfo"})

output = inputTag['value']

print str(output)

Я отримую TypeError: індекси списку повинні бути цілими числами, а не str

незважаючи на те, що з документації на Beautifulsoup я розумію, що рядки тут не повинні бути проблемою ... але я не є фахівцем, і я, можливо, неправильно зрозумів.

Будь-яка пропозиція дуже вдячна! Заздалегідь спасибі.

Відповіді:


150

.find_all() повертає список усіх знайдених елементів, таким чином:

input_tag = soup.find_all(attrs={"name" : "stainfo"})

input_tag- це список (ймовірно, містить лише один елемент). Залежно від того, що саме ви хочете, ви або повинні зробити:

 output = input_tag[0]['value']

або використовувати .find()метод, який повертає лише один (перший) знайдений елемент:

 input_tag = soup.find(attrs={"name": "stainfo"})
 output = input_tag['value']

Чудові речі! Дякую. Тепер у мене є питання про розбір результатів, який є довгим рядом символів, що не належать до ASCII, але я запитаю це в окремому запитанні.
Барнабе

3
не повинно «цінність» доступна як в stackoverflow.com/questions/2616659 / ... . Що змушує вищевказаний код працювати в цьому випадку? Я думав, що вам доведеться отримати доступ до значення, зробивши цеoutput = inputTag[0].contents
Seth

@Seth - ні, тому що він шукає attrib 'value' attrib ', а .contents повертає текст, інкапсульований тегом (<span> Я. щоб ще раз перевірити, що відбувається;
постарайтеся, що

1
чудова відповідь. однак я б використав inputTag[0].get('value') замість того, inputTag[0]['value']щоб запобігти жодному вказівнику у випадку, якщо тег як атрибут значення не має
амфібій

як щодо посилань, які не пов'язані безпосередньо з домашньою сторінкою відвідуючого веб-сайту, як отримати всі посилання, незалежно від того, пов'язані вони з веб-сторінкою прямо чи опосередковано.
Rink16

26

У Python 3.x, просто використовуйте get(attr_name)для вашого тегу об'єкт, який ви використовуєте find_all:

xmlData = None

with open('conf//test1.xml', 'r') as xmlFile:
    xmlData = xmlFile.read()

xmlDecoded = xmlData

xmlSoup = BeautifulSoup(xmlData, 'html.parser')

repElemList = xmlSoup.find_all('repeatingelement')

for repElem in repElemList:
    print("Processing repElem...")
    repElemID = repElem.get('id')
    repElemName = repElem.get('name')

    print("Attribute id = %s" % repElemID)
    print("Attribute name = %s" % repElemName)

проти XML-файлу, conf//test1.xmlякий виглядає так:

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<root>
    <singleElement>
        <subElementX>XYZ</subElementX>
    </singleElement>
    <repeatingElement id="11" name="Joe"/>
    <repeatingElement id="12" name="Mary"/>
</root>

відбитки:

Processing repElem...
Attribute id = 11
Attribute name = Joe
Processing repElem...
Attribute id = 12
Attribute name = Mary

Не заперечуєте, якщо я редагую це, щоб дотримуватися PEP 8 та використовувати більш сучасні методи форматування рядків?
AMC

Це добре, продовжуйте це
амфібій

6

Якщо ви хочете отримати декілька значень атрибутів з вищевказаного джерела, ви можете скористатися findAllописом списку, щоб отримати все необхідне:

import urllib
f = urllib.urlopen("http://58.68.130.147")
s = f.read()
f.close()

from BeautifulSoup import BeautifulStoneSoup
soup = BeautifulStoneSoup(s)

inputTags = soup.findAll(attrs={"name" : "stainfo"})
### You may be able to do findAll("input", attrs={"name" : "stainfo"})

output = [x["stainfo"] for x in inputTags]

print output
### This will print a list of the values.

4

Насправді я б запропонував вам заощадити час із цим, якщо ви знаєте, які саме теги мають ці атрибути.

припустимо, скажімо, у тега xyz є attritube з назвою "staininfo" ..

full_tag = soup.findAll("xyz")

І я не хочу, щоб ти зрозумів, що full_tag - це список

for each_tag in full_tag:
    staininfo_attrb_value = each_tag["staininfo"]
    print staininfo_attrb_value

Таким чином, ви можете отримати всі attrb значення staininfo для всіх тегів xyz


3

Ви також можете скористатися цим:

import requests
from bs4 import BeautifulSoup
import csv

url = "http://58.68.130.147/"
r = requests.get(url)
data = r.text

soup = BeautifulSoup(data, "html.parser")
get_details = soup.find_all("input", attrs={"name":"stainfo"})

for val in get_details:
    get_val = val["value"]
    print(get_val)

Чим це відрізняється від набагато старших відповідей, які вже були тут?
AMC

0

Я використовую це з Beautifulsoup 4.8.1, щоб отримати значення всіх атрибутів класу певних елементів:

from bs4 import BeautifulSoup

html = "<td class='val1'/><td col='1'/><td class='val2' />"

bsoup = BeautifulSoup(html, 'html.parser')

for td in bsoup.find_all('td'):
    if td.has_attr('class'):
        print(td['class'][0])

Важливо зазначити, що ключ атрибута отримує список навіть тоді, коли атрибут має лише одне значення.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.