Який найшвидший спосіб отримати HTTP GET в Python?

Який найшвидший спосіб отримати HTTP GET в Python, якщо я знаю, що вміст буде рядком? Я шукаю документацію для швидкого однолінійного вкладу:

contents = url.get("http://example.com/foo/bar")

Але все , що я можу знайти з допомогою Google є httplibі urllib- і я не можу знайти ярлик в цих бібліотеках.

Чи стандартний Python 2.5 має ярлик у якійсь формі, як зазначено вище, або я повинен написати функцію url_get?

1. Я вважаю за краще не захоплювати результати обстрілів до wgetабо curl.

Пітон 3:

import urllib.request
contents = urllib.request.urlopen("http://example.com/foo/bar").read()

Пітон 2:

import urllib2
contents = urllib2.urlopen("http://example.com/foo/bar").read()

Документація на urllib.requestта read.

Ви можете використовувати бібліотеку, що називається запитами .

import requests
r = requests.get("http://example.com/foo/bar")

Це досить просто. Тоді ви можете зробити так:

>>> print(r.status_code)
>>> print(r.headers)
>>> print(r.content)

Якщо ви хочете, щоб рішення з httplib2 було oneliner, розгляньте можливість створення анонімного Http-об'єкта

import httplib2
resp, content = httplib2.Http().request("http://example.com/foo/bar")

Погляньте на httpsb2 , який - поряд із безліччю дуже корисних функцій - забезпечує саме те, що ви хочете.

import httplib2

resp, content = httplib2.Http().request("http://example.com/foo/bar")

Якщо вміст буде тілом відповіді (як рядок), а resp міститиме заголовки стану та відповідей.

Він не входить в комплект із стандартною установкою python (але він вимагає лише стандартного python), але це, безумовно, варто перевірити.

Досить просто з потужними urllib3 бібліотекою.

Імпортуйте його так:

import urllib3

http = urllib3.PoolManager()

І зробіть такий запит:

response = http.request('GET', 'https://example.com')

print(response.data) # Raw data.
print(response.data.decode('utf-8')) # Text.
print(response.status) # Status code.
print(response.headers['Content-Type']) # Content type.

Ви також можете додати заголовки:

response = http.request('GET', 'https://example.com', headers={
    'key1': 'value1',
    'key2': 'value2'
})

Більше інформації можна знайти в документації urllib3 .

urllib3набагато безпечніший і простіший у використанні, ніж вбудований urllib.requestабо httpмодулі, і стабільний.

Рішення Theller для wget є дуже корисним, однак я виявив, що він не роздруковує прогрес у процесі завантаження. Ідеально, якщо ви додасте один рядок після заяви про друк у звіті.

import sys, urllib

def reporthook(a, b, c):
    print "% 3.1f%% of %d bytes\r" % (min(100, float(a * b) / c * 100), c),
    sys.stdout.flush()
for url in sys.argv[1:]:
    i = url.rfind("/")
    file = url[i+1:]
    print url, "->", file
    urllib.urlretrieve(url, file, reporthook)
print

Ось сценарій wget в Python:

# From python cookbook, 2nd edition, page 487
import sys, urllib

def reporthook(a, b, c):
    print "% 3.1f%% of %d bytes\r" % (min(100, float(a * b) / c * 100), c),
for url in sys.argv[1:]:
    i = url.rfind("/")
    file = url[i+1:]
    print url, "->", file
    urllib.urlretrieve(url, file, reporthook)
print

Без додаткового необхідного імпорту це рішення працює (для мене) - також із https:

try:
    import urllib2 as urlreq # Python 2.x
except:
    import urllib.request as urlreq # Python 3.x
req = urlreq.Request("http://example.com/foo/bar")
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36')
urlreq.urlopen(req).read()

У мене часто виникають труднощі з захопленням вмісту, коли в інформації заголовка не вказується "Агент користувача". Тоді зазвичай запити скасовуються чимось на кшталт: urllib2.HTTPError: HTTP Error 403: Forbiddenабо urllib.error.HTTPError: HTTP Error 403: Forbidden.

Як також надсилати заголовки

Пітон 3:

import urllib.request
contents = urllib.request.urlopen(urllib.request.Request(
    "https://api.github.com/repos/cirosantilli/linux-kernel-module-cheat/releases/latest",
    headers={"Accept" : 'application/vnd.github.full+json"text/html'}
)).read()
print(contents)

Пітон 2:

import urllib2
contents = urllib2.urlopen(urllib2.Request(
    "https://api.github.com",
    headers={"Accept" : 'application/vnd.github.full+json"text/html'}
)).read()
print(contents)

Якщо ви працюєте саме з HTTP API, існують і більш зручні варіанти, такі як Nap .

Наприклад, ось як дістатися до Github із 1 травня 2014 року :

from nap.url import Url
api = Url('https://api.github.com')

gists = api.join('gists')
response = gists.get(params={'since': '2014-05-01T00:00:00Z'})
print(response.json())

Більше прикладів: https://github.com/kimmobrunfeldt/nap#examples

Відмінні рішення Xuan, Theller.

Для роботи з python 3 внесіть такі зміни

import sys, urllib.request

def reporthook(a, b, c):
    print ("% 3.1f%% of %d bytes\r" % (min(100, float(a * b) / c * 100), c))
    sys.stdout.flush()
for url in sys.argv[1:]:
    i = url.rfind("/")
    file = url[i+1:]
    print (url, "->", file)
    urllib.request.urlretrieve(url, file, reporthook)
print

Також введеній URL-адресі має передувати "http: //", інакше вона повертає невідому помилку типу URL-адреси.

Бо python >= 3.6ви можете використовувати dload :

import dload
t = dload.text(url)

Для json:

j = dload.json(url)

Встановити:
pip install dload

Насправді в python ми можемо читати з URL-адрес, як з файлів, ось приклад для читання json з API.

import json

from urllib.request import urlopen

with urlopen(url) as f:

resp = json.load(f)

return resp['some_key']

Якщо ви хочете API нижчого рівня:

import http.client

conn = http.client.HTTPSConnection('example.com')
conn.request('GET', '/')

resp = conn.getresponse()
content = resp.read()

conn.close()

text = content.decode('utf-8')

print(text)