Як надіслати HTTP-запит HEAD в Python 2?

Я намагаюся тут зробити заголовки заданої URL-адреси, щоб я міг визначити тип MIME. Я хочу мати можливість бачити, чи http://somedomain/foo/повертається HTML-документ або зображення JPEG, наприклад. Таким чином, мені потрібно розібратися, як надіслати запит HEAD, щоб я міг прочитати тип MIME, не завантажуючи вміст. Хтось знає про простий спосіб зробити це?

редагувати : Ця відповідь працює, але сьогодні вам слід просто використовувати бібліотеку запитів, як зазначено в інших відповідях нижче.

Використовуйте httplib .

>>> import httplib
>>> conn = httplib.HTTPConnection("www.google.com")
>>> conn.request("HEAD", "/index.html")
>>> res = conn.getresponse()
>>> print res.status, res.reason
200 OK
>>> print res.getheaders()
[('content-length', '0'), ('expires', '-1'), ('server', 'gws'), ('cache-control', 'private, max-age=0'), ('date', 'Sat, 20 Sep 2008 06:43:36 GMT'), ('content-type', 'text/html; charset=ISO-8859-1')]

Існує також, getheader(name)щоб отримати певний заголовок.

urllib2 може використовуватися для виконання запиту HEAD. Це трохи приємніше, ніж використовувати httplib, оскільки urllib2 розбирає URL для вас, а не вимагає, щоб ви розділили URL на ім'я хосту та шлях.

>>> import urllib2
>>> class HeadRequest(urllib2.Request):
...     def get_method(self):
...         return "HEAD"
... 
>>> response = urllib2.urlopen(HeadRequest("http://google.com/index.html"))

Заголовки доступні через response.info (), як і раніше. Цікаво, що ви можете знайти URL-адресу, на яку було переспрямовано:

>>> print response.geturl()
http://www.google.com.au/index.html

Обов’язковий Requestsспосіб:

import requests

resp = requests.head("http://www.google.com")
print resp.status_code, resp.text, resp.headers

Я вважаю, що слід також згадати бібліотеку запитів .

Просто:

import urllib2
request = urllib2.Request('http://localhost:8080')
request.get_method = lambda : 'HEAD'

response = urllib2.urlopen(request)
response.info().gettype()

Редагувати: Я щойно зрозумів, що є httplib2: D

import httplib2
h = httplib2.Http()
resp = h.request("http://www.google.com", 'HEAD')
assert resp[0]['status'] == 200
assert resp[0]['content-type'] == 'text/html'
...

текст посилання

Для повноти відповідь Python3 відповідатиме прийнятій відповіді за допомогою httplib .

Це в основному той самий код, що бібліотека вже не називається httplib, а http.client

from http.client import HTTPConnection

conn = HTTPConnection('www.google.com')
conn.request('HEAD', '/index.html')
res = conn.getresponse()

print(res.status, res.reason)

import httplib
import urlparse

def unshorten_url(url):
    parsed = urlparse.urlparse(url)
    h = httplib.HTTPConnection(parsed.netloc)
    h.request('HEAD', parsed.path)
    response = h.getresponse()
    if response.status/100 == 3 and response.getheader('Location'):
        return response.getheader('Location')
    else:
        return url

Крім того, при використанні httplib (принаймні на 2.5.2) спроба прочитати відповідь на запит HEAD заблокується (у режимі повторного запису) і згодом не вдасться. Якщо ви не видали прочитання у відповіді, ви не можете надіслати ще один запит на з'єднання, вам потрібно буде відкрити новий. Або прийміть велику затримку між запитами.

Я виявив, що httplib трохи швидше urllib2. Я приурочив дві програми - одну, що використовує httplib, а іншу urllib2 - надсилання запитів HEAD до 10 000 URL-адрес. Режим httplib був швидшим на кілька хвилин. HTTPLIB «s загальна статистика була: реальна 6m21.334s користувача 0m2.124s SYS 0m16.372s

І urllib2 «s загальна статистика була: реальна 9m1.380s користувача 0m16.666s SYS 0m28.565s

Хтось ще має внесок у це?

І ще один підхід (подібний до відповіді Павла):

import urllib2
import types

request = urllib2.Request('http://localhost:8080')
request.get_method = types.MethodType(lambda self: 'HEAD', request, request.__class__)

Просто, щоб не мати необмежених методів на рівні екземпляра.

Можливо, простіше: використовуйте urllib або urllib2.

>>> import urllib
>>> f = urllib.urlopen('http://google.com')
>>> f.info().gettype()
'text/html'

f.info () - об’єкт, подібний до словника, тому ви можете робити f.info () ['content-type'] тощо.

http://docs.python.org/library/urllib.html
http://docs.python.org/library/urllib2.html
http://docs.python.org/library/httplib.html

Документи зазначають, що httplib зазвичай не використовується безпосередньо.