Urllib, urllib2, urllib3 ve istek modülü arasındaki farklar nelerdir?

Python'da, arasındaki farklar nelerdir urllib, urllib2, urllib3ve requestsmodüllerin? Neden üç tane var? Aynı şeyi yapıyor gibi görünüyorlar ...

Zaten söylendiğini biliyorum, ama requestsPython paketini şiddetle tavsiye ediyorum .

Python'dan başka diller kullandıysanız, muhtemelen düşünürsünüz urllibve urllib2kullanımı kolaydır, fazla kod değil ve son derece yetenekli, bu şekilde düşünürdüm. Ancak requestspaket o kadar inanılmaz kullanışlı ve kısa ki, herkes onu kullanmalı.

İlk olarak, tamamen dinlendirici bir API'yi destekler ve aşağıdaki kadar kolaydır:

import requests

resp = requests.get('http://www.mywebsite.com/user')
resp = requests.post('http://www.mywebsite.com/user')
resp = requests.put('http://www.mywebsite.com/user/put')
resp = requests.delete('http://www.mywebsite.com/user/delete')

GET / POST olsun, parametreleri bir daha asla kodlamanız gerekmez, bir sözlüğü bağımsız değişken olarak alır ve gitmek iyidir:

userdata = {"firstname": "John", "lastname": "Doe", "password": "jdoe123"}
resp = requests.post('http://www.mywebsite.com/user', data=userdata)

Artı, yerleşik bir JSON dekoderi bile var (yine, json.loads()yazmak için daha fazla bir şey olmadığını biliyorum , ancak bu kesinlikle uygun):

resp.json()

Veya yanıt verileriniz yalnızca metinse şunu kullanın:

resp.text

Bu buzdağının sadece görünen kısmı. İstek sitesindeki özelliklerin listesi:

• Uluslararası Alan Adları ve URL'ler
• Hayatta Kalma ve Bağlantı Havuzu Oluşturma
• Çerez Kalıcılığı Olan Oturumlar
• Tarayıcı tarzı SSL Doğrulaması
• Temel / Özet Kimlik Doğrulaması
• Zarif Anahtar / Değerli Çerezler
• Otomatik Dekompresyon
• Unicode Müdahale Organları
• Çok Parçalı Dosya Yüklemeleri
• Bağlantı Zaman Aşımları
• .netrc desteği
• Liste öğesi
• Python 2.6—3.4
• Konu güvenli.

urllib2 bazı ekstra işlevsellik sağlar, yani urlopen()işlev üstbilgileri belirtmenize izin verebilir (normalde geçmişte httplib kullanmak zorunda kalacaksınız, ki bu çok daha ayrıntılıdır.) Daha da önemlisi, urllib2 Requestdaha fazla olanak sağlayan sınıfı sağlar bir talepte bulunmak için deklaratif yaklaşım:

r = Request(url='http://www.mysite.com')
r.add_header('User-Agent', 'awesome fetcher')
r.add_data(urllib.urlencode({'foo': 'bar'})
response = urlopen(r)

Unutmayın ki urlencode()sadece urllib, urllib2 değil.

Ayrıca urllib2'de daha gelişmiş URL desteği uygulamak için işleyiciler de vardır. Kısa yanıt, eski kodla çalışmadığınız sürece, urllib2'deki URL açıcıyı kullanmak isteyeceksinizdir, ancak yine de bazı yardımcı işlevler için urllib'e aktarmanız gerekir.

Bonus cevap Google App Engine ile httplib, urllib veya urllib2'den herhangi birini kullanabilirsiniz, ancak bunların tümü yalnızca Google'ın URL Getirme API'sı için sarıcıdır. Yani, bağlantı noktaları, protokoller ve izin verilen yanıtın uzunluğu gibi aynı sınırlamalara tabi olursunuz. Bununla birlikte, kütüphanelerin çekirdeğini HTTP URL'lerini almayı beklediğiniz gibi kullanabilirsiniz.

urllib ve urllib2 , URL isteğiyle ilgili şeyler yapan ancak farklı işlevler sunan Python modülleridir.

1) urllib2, bir URL isteğinin üstbilgilerini ayarlamak için bir Request nesnesini kabul edebilir, urllib yalnızca bir URL'yi kabul eder.

2) urllib, GET sorgu dizelerinin oluşturulması için kullanılan urlencode yöntemini sağlar, urllib2'nin böyle bir işlevi yoktur. Urllib'in urllib2 ile birlikte sıklıkla kullanılmasının nedenlerinden biri de budur.

İstekler - İstekler 'Python ile yazılmış basit, kullanımı kolay bir HTTP kütüphanesidir.

1) Python İstekleri parametreleri otomatik olarak kodlar, böylece parametreleri geçirmeden önce kodlamak için urllib.encode () yöntemini kullanmanız gereken urllib örneğinden farklı olarak basit argümanlar olarak iletirsiniz .

2) Yanıtın otomatik olarak Unicode'a deşifre edilmesi.

3) İsteklerde ayrıca çok daha uygun hata işleme vardır. Kimlik doğrulamanız başarısız olursa, urllib2 bir urllib2.URLError değerini yükseltirken, İstekler beklendiği gibi normal bir yanıt nesnesi döndürür. Tek yapmanız gereken, isteğin boolean response.ok tarafından başarılı olup olmadığını görmek.

Önemli bir fark, Python2'yi Python3'e taşımakla ilgilidir. urllib2, python3 ve urllib'e taşınan yöntemleri için mevcut değildir. Yani bunu yoğun olarak kullanıyorsunuz ve gelecekte Python3'e geçmek istiyorsanız urllib kullanmayı düşünün. Ancak 2to3 aracı işin çoğunu sizin için otomatik olarak yapacaktır.

Sadece mevcut cevaplara eklemek için, python isteklerinin yerel bir kütüphane olmadığını belirten kimseyi görmüyorum. Bağımlılık ekleme konusunda sorun yaşıyorsanız, istekler iyidir. Ancak, bağımlılık eklemekten kaçınmaya çalışıyorsanız, urllib zaten kullanabileceğiniz yerel bir python kütüphanesidir.

Ben urllib.urlencodefonksiyonu seviyorum ve var gibi görünmüyor urllib2.

>>> urllib.urlencode({'abc':'d f', 'def': '-!2'})
'abc=d+f&def=-%212'

Bir URL'nin içeriğini almak için:

try: # Try importing requests first.
    import requests
except ImportError: 
    try: # Try importing Python3 urllib
        import urllib.request
    except AttributeError: # Now importing Python2 urllib
        import urllib


def get_content(url):
    try:  # Using requests.
        return requests.get(url).content # Returns requests.models.Response.
    except NameError:  
        try: # Using Python3 urllib.
            with urllib.request.urlopen(index_url) as response:
                return response.read() # Returns http.client.HTTPResponse.
        except AttributeError: # Using Python3 urllib.
            return urllib.urlopen(url).read() # Returns an instance.

İşlevler ve işlevler farklı türler döndürdüğünden request, yanıtlar için Python2 ve Python3 ve bağımlılık kodu yazmak zordur :urlopen()requests.get()

• Python2 urllib.request.urlopen()birhttp.client.HTTPResponse
• Python3 urllib.urlopen(url)birinstance
• İstek request.get(url)birrequests.models.Response

Genellikle urllib2 kullanmalısınız, çünkü bu, Request nesnelerini kabul ederek işleri biraz kolaylaştırır ve ayrıca protokol hataları üzerinde bir URLException oluşturur. Yine de Google App Engine ile ikisini de kullanamazsınız. Google'ın korumalı alanlı Python ortamında sağladığı URL Getirme API'sını kullanmanız gerekir .

Yukarıda yanıtlarda eksik bulmak önemli bir nokta bu urllib döner tipte bir amacı <class http.client.HTTPResponse>ise requestsgeri dönüş <class 'requests.models.Response'>.

Bu nedenle, read () yöntemi ile birlikte kullanılabilir urllibancak birlikte kullanılamaz requests.

Not: requestsZaten pek çok yöntemle zengindir read();