HTTP hatası 429 (Çok Fazla İstek) python nasıl önlenir

Bir web sitesinde oturum açmak ve birkaç web sayfasından bilgi toplamak için Python'u kullanmaya çalışıyorum ve aşağıdaki hatayı alıyorum:

Traceback (most recent call last):
  File "extract_test.py", line 43, in <module>
    response=br.open(v)
  File "/usr/local/lib/python2.7/dist-packages/mechanize/_mechanize.py", line 203, in open
    return self._mech_open(url, data, timeout=timeout)
  File "/usr/local/lib/python2.7/dist-packages/mechanize/_mechanize.py", line 255, in _mech_open
    raise response
mechanize._response.httperror_seek_wrapper: HTTP Error 429: Unknown Response Code

Kullandım time.sleep()ve işe yarıyor, ancak akıllıca ve güvenilmez görünüyor, bu hatayı atlatmanın başka bir yolu var mı?

İşte kodum:

import mechanize
import cookielib
import re
first=("example.com/page1")
second=("example.com/page2")
third=("example.com/page3")
fourth=("example.com/page4")
## I have seven URL's I want to open

urls_list=[first,second,third,fourth]

br = mechanize.Browser()
# Cookie Jar
cj = cookielib.LWPCookieJar()
br.set_cookiejar(cj)

# Browser options 
br.set_handle_equiv(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)

# Log in credentials
br.open("example.com")
br.select_form(nr=0)
br["username"] = "username"
br["password"] = "password"
br.submit()

for url in urls_list:
        br.open(url)
        print re.findall("Some String")

429 durumunun alınması bir hata değildir , diğer sunucu "nazikçe" sizden istenmeyen posta isteklerini durdurmanızı rica eder. Açıkçası, istek oranınız çok yüksek ve sunucu bunu kabul etmeye istekli değil.

Bunu "atlatmaya" çalışmamalı, hatta IP'nizi aldatmaya çalışarak sunucu güvenlik ayarlarını atlatmaya çalışmamalısınız, çok fazla istek göndermeyerek sunucunun cevabına saygı göstermelisiniz.

Her şey doğru bir şekilde ayarlanmışsa, 429 yanıtıyla birlikte bir "Yeniden dene" başlığı da alacaksınız. Bu başlık, başka bir arama yapmadan önce beklemeniz gereken saniye sayısını belirtir. Bu "problem" ile başa çıkmanın doğru yolu, bu başlığı okumak ve işleminizi o kadar saniye boyunca uyumaktır.

429 durumu hakkında daha fazla bilgiyi burada bulabilirsiniz: http://tools.ietf.org/html/rfc6585#page-3

Bu kod parçasını yazmak sorunumu çözdü:

requests.get(link, headers = {'User-agent': 'your bot 0.1'})

MRA'nın dediği gibi, a'dan kaçmaya çalışmamalısınız, 429 Too Many Requestsbunun yerine ona göre davranmalısınız . Kullanım durumunuza bağlı olarak birkaç seçeneğiniz vardır:

1) Sürecinizi uyuyun . Sunucu genellikle Retry-afteryanıtta, yeniden denemeden önce beklemeniz gereken saniye sayısını içeren bir başlık içerir . Bir süreci uyumanızın sorunlara neden olabileceğini unutmayın, örneğin bir görev kuyruğunda, bunun yerine çalışanı başka şeyler için serbest bırakmak için daha sonra görevi yeniden denemeniz gerekir.

2) Üstel geri çekilme . Sunucu size ne kadar bekleyeceğinizi söylemezse, aradaki duraklamaları artırarak isteğinizi yeniden deneyebilirsiniz. Popüler görev kuyruğu Kereviz, bu özelliğe doğrudan sahiptir .

3) Jeton kovası . Bu teknik, belirli bir süre içinde kaç talepte bulunabileceğinizi önceden biliyorsanız kullanışlıdır. API'ye her eriştiğinizde, önce paketten bir jeton alırsınız. Kova sabit bir hızda yeniden doldurulur. Paket boşsa, API'ye tekrar basmadan önce beklemeniz gerektiğini bilirsiniz. Jeton paketleri genellikle diğer uçta (API) uygulanır, ancak bunları bir 429 Too Many Requests. Kereviz rate_limit özelliği belirteç kova algoritma kullanır.

Üstel geri çekilme ve hız sınırlama / belirteç grubu kullanan bir Python / Celery uygulamasına bir örnek:

class TooManyRequests(Exception):
"""Too many requests"""

@task(
   rate_limit='10/s',
   autoretry_for=(ConnectTimeout, TooManyRequests,),
   retry_backoff=True)
def api(*args, **kwargs):
  r = requests.get('placeholder-external-api')

  if r.status_code == 429:
    raise TooManyRequests()

Başka bir geçici çözüm, IP'nizi bir tür Genel VPN veya Tor ağı kullanarak aldatmak olabilir. Bu, sunucudaki IP düzeyinde hız sınırlamasını varsayar.

Urllib2 ile birlikte tor kullanmanın bir yolunu gösteren kısa bir blog yazısı var:

http://blog.flip-edesign.com/?p=119

if response.status_code == 429:
  time.sleep(int(response.headers["Retry-After"]))

Siteleri toplarken IP engellemeye yönelik güzel bir çözüm buldum . Bir Kazıyıcıyı Google App Engine'den çalıştırarak ve 429 aldığınızda otomatik olarak yeniden dağıtarak süresiz olarak çalıştırmanıza olanak tanır.

Bu makaleye göz atın