Які відмінності між urllib, urllib2, urllib3 та модулем запитів?

В Python, які відмінності між urllib, urllib2, urllib3і requestsмодулів? Чому їх три? Вони, здається, роблять те саме ...

Я знаю, що це вже було сказано, але я дуже рекомендую requestsпакет Python.

Якщо ви використовували інші мови, крім python, ви, напевно, думаєте urllibі urllib2прості у використанні, не багато коду та дуже здатні, ось так я думав. Але requestsпакунок настільки неймовірно корисний і короткий, що всі повинні його використовувати.

По-перше, він підтримує повністю спокійний API і простий як:

import requests

resp = requests.get('http://www.mywebsite.com/user')
resp = requests.post('http://www.mywebsite.com/user')
resp = requests.put('http://www.mywebsite.com/user/put')
resp = requests.delete('http://www.mywebsite.com/user/delete')

Незалежно від того, GET / POST, вам більше ніколи не доведеться кодувати параметри, він просто приймає словник як аргумент і це добре:

userdata = {"firstname": "John", "lastname": "Doe", "password": "jdoe123"}
resp = requests.post('http://www.mywebsite.com/user', data=userdata)

Плюс до цього навіть є вбудований декодер JSON (знову ж таки, я знаю json.loads(), що писати не набагато більше, але це впевнено зручно):

resp.json()

Або якщо ваші дані відповіді - це лише текст, використовуйте:

resp.text

Це лише верхівка айсберга. Це перелік функцій із сайту запитів:

• Міжнародні домени та URL-адреси
• Збереження та підтримка підключення
• Сеанси із збереженням файлів cookie
• Перевірка SSL у веб-переглядачі
• Основна / дайджест аутентифікації
• Елегантні файли cookie для ключів та цінностей
• Автоматична декомпресія
• Органи Unicode Response
• Завантаження файлів з кількома частинами
• Часи очікування підключення
• підтримка .netrc
• Елемент списку
• Python 2.6—3.4
• Нитка безпечна.

urllib2 надає деяку додаткову функціональність, а саме ця urlopen()функція дозволяє вам задавати заголовки (як правило, вам довелося б використовувати httplib в минулому, що набагато більш багатослівне.) Що ще важливіше, хоча urllib2 забезпечує Requestклас, який дозволяє отримати більше декларативний підхід до виконання запиту:

r = Request(url='http://www.mysite.com')
r.add_header('User-Agent', 'awesome fetcher')
r.add_data(urllib.urlencode({'foo': 'bar'})
response = urlopen(r)

Зауважте, що urlencode()лише у urllib, а не в urllib2.

Існують також обробники для впровадження більш розширеної підтримки URL в urllib2. Коротка відповідь полягає в тому, що якщо ви працюєте зі застарілим кодом, ви, ймовірно, хочете скористатися відкривачем URL-адреси від urllib2, але вам все одно потрібно імпортувати в urllib для деяких функцій утиліти.

Бонусна відповідь За допомогою Google App Engine ви можете використовувати будь-який з httplib, urllib або urllib2, але всі вони - лише обгортки для API Google Fetch URL. Тобто, ви все ще маєте ті самі обмеження, як порти, протоколи та тривалість відповіді. Ви можете використовувати ядро ​​бібліотек, як ви очікували для отримання HTTP-адрес.

urllib та urllib2 - це модулі Python, які виконують пов'язані із запитом URL-адреси, але пропонують різні функції.

1) urllib2 може прийняти об’єкт Request для встановлення заголовків для запиту URL, urllib приймає лише URL.

2) urllib забезпечує метод urlencode, який використовується для генерації рядків запитів GET, urllib2 не має такої функції. Це одна з причин, чому urllib часто використовується разом з urllib2.

Запити - Запити '- це проста, проста у використанні бібліотека HTTP, написана на Python.

1) Запити Python автоматично кодує параметри, тож ви просто передаєте їх у вигляді простих аргументів, на відміну від urllib, де вам потрібно використовувати метод urllib.encode () для кодування параметрів перед їх передачею.

2) Він автоматично розшифровує відповідь в Unicode.

3) У запитах також є набагато зручніше поводження з помилками. Якщо ваша автентифікація не вдалася, urllib2 викликає помилку urllib2.URLE, тоді як запити повертають нормальний об'єкт відповіді, як і очікувалося. Все, що вам потрібно побачити, чи був запит успішним boolean response.ok

Важлива різниця полягає у перенесенні Python2 на Python3. urllib2 не існує для python3 і його методи переносяться на urllib. Отже, ви активно використовуєте це і хочете в майбутньому перейти на Python3, подумайте про використання urllib. Однак інструмент 2to3 автоматично зробить більшу частину роботи за вас.

Просто додати до існуючих відповідей, я не бачу, щоб хтось згадував, що запити python - це не рідна бібліотека. Якщо ви все добре з додаванням залежностей, то запити добре. Однак, якщо ви намагаєтеся уникнути додавання залежностей, urllib - це надійна бібліотека пітонів, яка вже доступна для вас.

Мені подобається urllib.urlencodeфункція, і вона, здається, не існує в urllib2.

>>> urllib.urlencode({'abc':'d f', 'def': '-!2'})
'abc=d+f&def=-%212'

Щоб отримати вміст URL-адреси:

try: # Try importing requests first.
    import requests
except ImportError: 
    try: # Try importing Python3 urllib
        import urllib.request
    except AttributeError: # Now importing Python2 urllib
        import urllib


def get_content(url):
    try:  # Using requests.
        return requests.get(url).content # Returns requests.models.Response.
    except NameError:  
        try: # Using Python3 urllib.
            with urllib.request.urlopen(index_url) as response:
                return response.read() # Returns http.client.HTTPResponse.
        except AttributeError: # Using Python3 urllib.
            return urllib.urlopen(url).read() # Returns an instance.

Важко написати Python2 та Python3 та requestкод залежності для відповідей, оскільки вони urlopen()функціонують та requests.get()повертають різні типи:

• Python2 urllib.request.urlopen()повертає ahttp.client.HTTPResponse
• Python3 urllib.urlopen(url)повертаєinstance
• Запит request.get(url)повертає arequests.models.Response

Як правило, ви використовуєте urllib2, оскільки це часом полегшує справи, приймаючи об’єкти Request, а також підвищить URLException щодо помилок протоколу. З Google App Engine ви не можете використовувати жодне з них. Ви повинні використовувати API вилучення URL-адрес, який надає Google у своєму пісочному середовищі Python.

Ключовим моментом, який я вважаю відсутнім у вищезазначених відповідях, є те, що urllib повертає об’єкт типу, <class http.client.HTTPResponse>тоді як requestsповертається <class 'requests.models.Response'>.

Завдяки цьому метод read () може використовуватися, urllibале не з requests.

PS: requestsвже багатий такою кількістю методів, що навряд чи потрібен ще один, як read();>