Як уникнути помилки HTTP 429 (забагато запитів) python

Я намагаюся використовувати Python для входу на веб-сайт та збору інформації з кількох веб-сторінок, і я отримую таку помилку:

Traceback (most recent call last):
  File "extract_test.py", line 43, in <module>
    response=br.open(v)
  File "/usr/local/lib/python2.7/dist-packages/mechanize/_mechanize.py", line 203, in open
    return self._mech_open(url, data, timeout=timeout)
  File "/usr/local/lib/python2.7/dist-packages/mechanize/_mechanize.py", line 255, in _mech_open
    raise response
mechanize._response.httperror_seek_wrapper: HTTP Error 429: Unknown Response Code

Я використовував, time.sleep()і це працює, але це здається неінтелектуальним і ненадійним, чи є інший спосіб уникнути цієї помилки?

Ось мій код:

import mechanize
import cookielib
import re
first=("example.com/page1")
second=("example.com/page2")
third=("example.com/page3")
fourth=("example.com/page4")
## I have seven URL's I want to open

urls_list=[first,second,third,fourth]

br = mechanize.Browser()
# Cookie Jar
cj = cookielib.LWPCookieJar()
br.set_cookiejar(cj)

# Browser options 
br.set_handle_equiv(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)

# Log in credentials
br.open("example.com")
br.select_form(nr=0)
br["username"] = "username"
br["password"] = "password"
br.submit()

for url in urls_list:
        br.open(url)
        print re.findall("Some String")

Отримання статусу 429 не є помилкою , це інший сервер, що “люб’язно” просить вас припинити запити на спам. Очевидно, що ваш рівень запитів був занадто високим, і сервер не бажає приймати це.

Вам не слід намагатися "ухилитися" від цього або навіть намагатися обійти налаштування безпеки сервера, намагаючись підробити ваш IP, ви повинні просто поважати відповідь сервера, не надсилаючи занадто багато запитів.

Якщо все налаштовано належним чином, ви також отримаєте заголовок "Повторити спробу" разом із відповіддю 429. Цей заголовок визначає кількість секунд, яку слід зачекати, перш ніж здійснити ще один дзвінок. Правильний спосіб вирішити цю "проблему" - прочитати цей заголовок і затримати процес протягом багатьох секунд.

Більше інформації про статус 429 можна знайти тут: http://tools.ietf.org/html/rfc6585#page-3

Написання цього фрагмента коду вирішило мою проблему:

requests.get(link, headers = {'User-agent': 'your bot 0.1'})

Як сказав MRA, не слід намагатися ухилятися від а, 429 Too Many Requestsа натомість обробляти це відповідно. У вас є кілька варіантів, залежно від вашого варіанту використання:

1) Спіть свій процес . Сервер зазвичай включає Retry-afterу відповідь заголовок із кількістю секунд, яку ви повинні зачекати перед повторною спробою. Майте на увазі, що сплячий процес може спричинити проблеми, наприклад, у черзі завдань, де замість цього слід пізніше повторити завдання, щоб звільнити працівника для інших речей.

2) Експоненціальне зниження . Якщо сервер не повідомляє вам, як довго чекати, ви можете повторити свій запит, використовуючи посилення пауз між ними. У популярній черзі завдань Celery вбудовано цю функцію .

3) Відро жетонів . Цей прийом корисний, якщо ви заздалегідь знаєте, скільки запитів ви можете зробити за певний час. Кожного разу, коли ви отримуєте доступ до API, ви спочатку отримуєте маркер із сегмента. Відро наповнюється постійною швидкістю. Якщо відро порожнє, ви знаєте, що вам доведеться почекати, перш ніж знову натискати API. Маркери сегментів зазвичай реалізуються на іншому кінці (API), але ви також можете використовувати їх як проксі-сервер, щоб уникнути коли-небудь отримання 429 Too Many Requests. Функція rate_limit у селері використовує алгоритм сегмента маркера.

Ось приклад програми Python / Celery з використанням експоненціальної відмови та обмеження швидкості / сегмента маркерів:

class TooManyRequests(Exception):
"""Too many requests"""

@task(
   rate_limit='10/s',
   autoretry_for=(ConnectTimeout, TooManyRequests,),
   retry_backoff=True)
def api(*args, **kwargs):
  r = requests.get('placeholder-external-api')

  if r.status_code == 429:
    raise TooManyRequests()

Іншим обхідним шляхом є підробка вашого IP за допомогою якоїсь загальнодоступної мережі VPN або Tor. Це було б припускати обмеження швидкості на сервері на рівні IP.

Існує коротка публікація в блозі, яка демонструє спосіб використання tor разом з urllib2:

http://blog.flip-edesign.com/?p=119

if response.status_code == 429:
  time.sleep(int(response.headers["Retry-After"]))