İsteklerde URL ile maksimum yeniden deneme aşıldı

App Store> Business'ın içeriğini almaya çalışıyorum :

import requests
from lxml import html

page = requests.get("https://itunes.apple.com/in/genre/ios-business/id6000?mt=8")
tree = html.fromstring(page.text)

flist = []
plist = []
for i in range(0, 100):
    app = tree.xpath("//div[@class='column first']/ul/li/a/@href")
    ap = app[0]
    page1 = requests.get(ap)

Ben çalıştığınızda rangeile (0,2)buna çalışır, ancak ben koyduğunuzda rangeiçinde 100s bu hata gösterir:

Traceback (most recent call last):
  File "/home/preetham/Desktop/eg.py", line 17, in <module>
    page1 = requests.get(ap)
  File "/usr/local/lib/python2.7/dist-packages/requests/api.py", line 55, in get
    return request('get', url, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests/api.py", line 44, in request
    return session.request(method=method, url=url, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests/sessions.py", line 383, in request
    resp = self.send(prep, **send_kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests/sessions.py", line 486, in send
    r = adapter.send(request, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests/adapters.py", line 378, in send
    raise ConnectionError(e)
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='itunes.apple.com', port=443): Max retries exceeded with url: /in/app/adobe-reader/id469337564?mt=8 (Caused by <class 'socket.gaierror'>: [Errno -2] Name or service not known)

Burada olan şey, itunes sunucusunun bağlantınızı reddetmesidir (kısa sürede aynı ip adresinden çok fazla istek gönderiyorsunuz)

URL ile maksimum yeniden deneme aşıldı: / in / app / adobe-reader / id469337564? Mt = 8

hata izleme yanıltıcıdır, "Hedef makine aktif olarak reddettiği için bağlantı kurulamadı" gibi bir şey olmalıdır .

Github'da python.requests lib ile ilgili bir sorun var, buradan kontrol edin

Bu sorunun üstesinden gelmek için (hata ayıklama izlemesi yanıltıcı olduğu kadar bir sorun değil) aşağıdaki gibi bağlantıyla ilgili istisnaları yakalamalısınız:

try:
    page1 = requests.get(ap)
except requests.exceptions.ConnectionError:
    r.status_code = "Connection refused"

Bu sorunun üstesinden gelmenin başka bir yolu da, sunucuya istek göndermek için yeterli zaman aralığı kullanırsanız, bu, sleep(timeinsec)python'daki işlevle elde edilebilir (uyku aktarmayı unutmayın)

from time import sleep

Tüm isteklerde harika bir python lib var, umarım probleminizi çözer.

Sadece requests'özellikleri kullanın :

import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry


session = requests.Session()
retry = Retry(connect=3, backoff_factor=0.5)
adapter = HTTPAdapter(max_retries=retry)
session.mount('http://', adapter)
session.mount('https://', adapter)

session.get(url)

Bu GETURL olacak ve olması durumunda 3 kez yeniden deneyecek requests.exceptions.ConnectionError. backoff_factorperiyodik istek kotası durumunda tekrar başarısız olmaktan kaçınmak için denemeler arasında gecikmeler uygulanmasına yardımcı olacaktır.

Bir göz atın requests.packages.urllib3.util.retry.Retry, yeniden denemeleri basitleştirmek için birçok seçeneğe sahiptir.

Sadece bunu yap,

Aşağıdaki kodu yerine yapıştırın page = requests.get(url):

import time

page = ''
while page == '':
    try:
        page = requests.get(url)
        break
    except:
        print("Connection refused by the server..")
        print("Let me sleep for 5 seconds")
        print("ZZzzzz...")
        time.sleep(5)
        print("Was a nice sleep, now let me continue...")
        continue

Rica ederim :)

pip install pyopenssl benim için çözmüş gibiydi.

https://github.com/requests/requests/issues/4246

Benzer bir sorunla karşılaştım ama aşağıdaki kod benim için çalıştı.

url = <some REST url>    
page = requests.get(url, verify=False)

"doğrula = Yanlış" SSL doğrulamasını devre dışı bırakır. Dene ve yakala her zamanki gibi eklenebilir.

İstisna işlemeyi uygulamak her zaman iyidir. Yalnızca komut dosyasının beklenmedik şekilde çıkmasını önlemeye yardımcı olmaz, aynı zamanda hataları ve bilgi bildirimlerini günlüğe kaydetmeye de yardımcı olabilir. Python isteklerini kullanırken bunun gibi istisnaları yakalamayı tercih ederim:

    try:
        res = requests.get(adress,timeout=30)
    except requests.ConnectionError as e:
        print("OOPS!! Connection Error. Make sure you are connected to Internet. Technical Details given below.\n")
        print(str(e))            
        renewIPadress()
        continue
    except requests.Timeout as e:
        print("OOPS!! Timeout Error")
        print(str(e))
        renewIPadress()
        continue
    except requests.RequestException as e:
        print("OOPS!! General Error")
        print(str(e))
        renewIPadress()
        continue
    except KeyboardInterrupt:
        print("Someone closed the program")

Burada renewIPadress (), engellenmesi durumunda IP adresini değiştirebilen bir kullanıcı tanımlı işlevdir. Bu işlev olmadan gidebilirsiniz.

Proxy'yi kurumsal bir ortamda belirlemek benim için çözdü.

page = requests.get("http://www.google.com:80", proxies={"http": "http://111.233.225.166:1234"})

Tam hata şudur:

request.exceptions.ConnectionError: HTTPSConnectionPool (host = 'www.google.com', port = 80): url ile maksimum yeniden deneme aşıldı: / (NewConnectionError nedenli (': Yeni bir bağlantı kurulamadı: [WinError 10060] Bir bağlantı girişimi başarısız oldu çünkü bağlı taraf bir süre sonra düzgün yanıt vermedi veya bağlanan ana bilgisayar yanıt veremediği için kurulan bağlantı başarısız oldu '))

Gelecekte bunu deneyimleyenler için kendi deneyimlerimi ekliyorum. Benim özel hatam

Failed to establish a new connection: [Errno 8] nodename nor servname provided, or not known'

Bunun aslında sistemimdeki maksimum açık dosya sayısına ulaştığım için olduğu ortaya çıktı. Başarısız bağlantılarla veya hatta belirtildiği gibi bir DNS hatasıyla ilgisi yoktu.

pyopenssl'i yükledikten ve çeşitli python sürümlerini denedikten sonra bile (mac'da iyi çalışıyor olsa da) pencerelerde çalışmasını sağlayamadım, bu yüzden urllib'e geçtim ve python 3.6 (python .org'dan) ve 3.7 (anaconda) üzerinde çalışıyor )

import urllib 
from urllib.request import urlopen
html = urlopen("http://pythonscraping.com/pages/page1.html")
contents = html.read()
print(contents)

Bir selenyum tarayıcı test komut dosyası yazarken driver.quit(), bir JS api çağrısı kullanmadan önce arama yaparken bu hatayla karşılaştım. Webdriver'dan çıkmanın yapılacak en son şey olduğunu unutmayın!

Kendi deneyimimi eklemek:

r = requests.get(download_url)

url'de belirtilen bir dosyayı indirmeye çalıştığımda.

Hata

HTTPSConnectionPool(host, port=443): Max retries exceeded with url (Caused by SSLError(SSLError("bad handshake: Error([('SSL routines', 'tls_process_server_certificate', 'certificate verify failed')])")))

İşleve verify = Falseaşağıdaki gibi ekleyerek düzeltdim:

r = requests.get(download_url + filename)
open(filename, 'wb').write(r.content)

Ağ bağlantınızı kontrol edin. Buna sahiptim ve VM'nin düzgün bir ağ bağlantısı yoktu.

Rotayı tarayıcıda çalıştırdığımda da aynı hatayı aldım, ancak postacıda iyi çalışıyor. Benimki ile ilgili sorun /, sorgu dizesinden önce rotadan sonra hiçbir şeyin olmamasıydı .

127.0.0.1:5000/api/v1/search/?location=Madinabenim /için searchçalıştıktan sonra hatayı yükselt ve kaldır .

Bu istek için başlıklar ekleyin.

headers={
'Referer': 'https://itunes.apple.com',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
}

requests.get(ap, headers=headers)