Основна проблема авторизації Python urllib2

Оновлення: на основі коментаря Лі я вирішив згустити свій код до справді простого сценарію та запустити його з командного рядка:

import urllib2
import sys

username = sys.argv[1]
password = sys.argv[2]
url = sys.argv[3]
print("calling %s with %s:%s\n" % (url, username, password))

passman = urllib2.HTTPPasswordMgrWithDefaultRealm()
passman.add_password(None, url, username, password)
urllib2.install_opener(urllib2.build_opener(urllib2.HTTPBasicAuthHandler(passman)))

req = urllib2.Request(url)
f = urllib2.urlopen(req)
data = f.read()
print(data)

На жаль, він як і раніше не буде генерувати Authorizationзаголовок (за Wireshark) :(

У мене проблема з надсиланням базового AUTH через urllib2. Я подивився цю статтю і наслідував приклад. Мій код:

passman = urllib2.HTTPPasswordMgrWithDefaultRealm()
passman.add_password(None, "api.foursquare.com", username, password)
urllib2.install_opener(urllib2.build_opener(urllib2.HTTPBasicAuthHandler(passman)))

req = urllib2.Request("http://api.foursquare.com/v1/user")    
f = urllib2.urlopen(req)
data = f.read()

На дроті через wireshark я бачу наступне:

GET /v1/user HTTP/1.1
Host: api.foursquare.com
Connection: close
Accept-Encoding: gzip
User-Agent: Python-urllib/2.5 

Ви можете бачити, що авторизація не надсилається, якщо я надсилаю запит через curl: curl -u user:password http://api.foursquare.com/v1/user

GET /v1/user HTTP/1.1
Authorization: Basic =SNIP=
User-Agent: curl/7.19.4 (universal-apple-darwin10.0) libcurl/7.19.4 OpenSSL/0.9.8k zlib/1.2.3
Host: api.foursquare.com
Accept: */*

З якихось причин мій код, здається, не надсилає автентифікацію - хтось бачить, чого я пропускаю?

Дякую

-симон

Проблема може полягати в тому, що бібліотеки Python, відповідно до HTTP-стандарту, спочатку надсилають неаутентифікований запит, а потім, лише якщо на нього відповідає повторна спроба 401, відправляються правильні облікові дані. Якщо сервери Foursquare не виконують "повністю стандартну автентифікацію", тоді бібліотеки не працюватимуть.

Спробуйте використати заголовки для автентифікації:

import urllib2, base64

request = urllib2.Request("http://api.foursquare.com/v1/user")
base64string = base64.b64encode('%s:%s' % (username, password))
request.add_header("Authorization", "Basic %s" % base64string)   
result = urllib2.urlopen(request)

Була та ж проблема, що і у вас, і ви знайшли рішення із цієї теми: http://forums.shopify.com/categories/9/posts/27662

(copy-paste / адаптовано з https://stackoverflow.com/a/24048772/1733117 ).

Спочатку ви можете підклас urllib2.BaseHandlerабо urllib2.HTTPBasicAuthHandler, і реалізувати http_requestтак, щоб кожен запит мав відповідний Authorizationзаголовок.

import urllib2
import base64

class PreemptiveBasicAuthHandler(urllib2.HTTPBasicAuthHandler):
    '''Preemptive basic auth.

    Instead of waiting for a 403 to then retry with the credentials,
    send the credentials if the url is handled by the password manager.
    Note: please use realm=None when calling add_password.'''
    def http_request(self, req):
        url = req.get_full_url()
        realm = None
        # this is very similar to the code from retry_http_basic_auth()
        # but returns a request object.
        user, pw = self.passwd.find_user_password(realm, url)
        if pw:
            raw = "%s:%s" % (user, pw)
            auth = 'Basic %s' % base64.b64encode(raw).strip()
            req.add_unredirected_header(self.auth_header, auth)
        return req

    https_request = http_request

Тоді, якщо ви ліниві, як я, встановіть обробник глобально

api_url = "http://api.foursquare.com/"
api_username = "johndoe"
api_password = "some-cryptic-value"

auth_handler = PreemptiveBasicAuthHandler()
auth_handler.add_password(
    realm=None, # default realm.
    uri=api_url,
    user=api_username,
    passwd=api_password)
opener = urllib2.build_opener(auth_handler)
urllib2.install_opener(opener)

Ось що я використовую для вирішення подібної проблеми, з якою я зіткнувся під час спроби отримати доступ до API MailChimp. Це робить те саме, просто відформатоване приємніше.

import urllib2
import base64

chimpConfig = {
    "headers" : {
    "Content-Type": "application/json",
    "Authorization": "Basic " + base64.encodestring("hayden:MYSECRETAPIKEY").replace('\n', '')
    },
    "url": 'https://us12.api.mailchimp.com/3.0/'}

#perform authentication
datas = None
request = urllib2.Request(chimpConfig["url"], datas, chimpConfig["headers"])
result = urllib2.urlopen(request)

Другим параметром повинен бути URI, а не доменне ім'я. тобто

passman = urllib2.HTTPPasswordMgrWithDefaultRealm()
passman.add_password(None, "http://api.foursquare.com/", username, password)

Я б припустив, що поточним рішенням є використання мого пакету urllib2_prior_auth, який це досить добре вирішує (я працюю над включенням до стандартної бібліотеки.