Asyncio'da istekleri nasıl kullanabilirim?

İçinde paralel http istek görevleri yapmak istiyorum asyncio, ancak python-requestsbunun olay döngüsünü engelleyeceğini görüyorum asyncio. Aiohttp buldum, ancak bir http proxy kullanarak http isteği hizmetini sağlayamadı.

Bu yüzden, yardımıyla asenkron http istekleri yapmanın bir yolu olup olmadığını bilmek istiyorum asyncio.

Asyncio ile istekleri (veya diğer engelleme kitaplıklarını) kullanmak için, BaseEventLoop.run_in_executor işlevini başka bir iş parçacığında bir işlevi çalıştırmak ve sonucu almak için ondan vermek üzere kullanabilirsiniz. Örneğin:

import asyncio
import requests

@asyncio.coroutine
def main():
    loop = asyncio.get_event_loop()
    future1 = loop.run_in_executor(None, requests.get, 'http://www.google.com')
    future2 = loop.run_in_executor(None, requests.get, 'http://www.google.co.uk')
    response1 = yield from future1
    response2 = yield from future2
    print(response1.text)
    print(response2.text)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

Bu, her iki yanıtı da paralel olarak alacaktır.

Python 3.5 ile yeni await/ asyncsözdizimini kullanabilirsiniz:

import asyncio
import requests

async def main():
    loop = asyncio.get_event_loop()
    future1 = loop.run_in_executor(None, requests.get, 'http://www.google.com')
    future2 = loop.run_in_executor(None, requests.get, 'http://www.google.co.uk')
    response1 = await future1
    response2 = await future2
    print(response1.text)
    print(response2.text)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

Daha fazlası için PEP0492'ye bakın .

aiohttp zaten HTTP proxy ile kullanılabilir:

import asyncio
import aiohttp


@asyncio.coroutine
def do_request():
    proxy_url = 'http://localhost:8118'  # your proxy address
    response = yield from aiohttp.request(
        'GET', 'http://google.com',
        proxy=proxy_url,
    )
    return response

loop = asyncio.get_event_loop()
loop.run_until_complete(do_request())

Yukarıdaki cevaplar hala eski Python 3.4 stili coroutinleri kullanıyor. Python 3.5+ sürümüne sahipseniz yazacağınız şey burada.

aiohttp şimdi http proxy'yi destekliyor

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = [
            'http://python.org',
            'https://google.com',
            'http://yifei.me'
        ]
    tasks = []
    async with aiohttp.ClientSession() as session:
        for url in urls:
            tasks.append(fetch(session, url))
        htmls = await asyncio.gather(*tasks)
        for html in htmls:
            print(html[:100])

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

İstekler şu anda desteklenmemektedir asynciove bu tür bir desteği sağlamaya yönelik herhangi bir plan bulunmamaktadır. Nasıl kullanılacağını bilen ( burada tartışıldığı gibi ) özel bir "Taşıma Adaptörü" uygulayabilirsiniz asyncio.

Kendimi bir süre bulursam, bu gerçekten araştırabileceğim bir şey, ama hiçbir şey için söz veremem.

Pimin Konstantin Kefaloukos tarafından yazılan bir makalede zaman uyumsuz / bekleme döngüleri ve iş parçacığı iyi bir durum var Python ve asyncio ile kolay paralel HTTP istekleri :

Toplam tamamlanma süresini en aza indirmek için, iş parçacığı havuzunun boyutunu yapmamız gereken istek sayısıyla eşleşecek şekilde artırabiliriz. Neyse ki, ileride göreceğimiz gibi bunu yapmak çok kolay. Aşağıdaki kod listesi, yirmi çalışan iş parçacığından oluşan bir iş parçacığı havuzuyla yirmi eşzamansız HTTP isteğinin nasıl yapılacağına dair bir örnektir:

# Example 3: asynchronous requests with larger thread pool
import asyncio
import concurrent.futures
import requests

async def main():

    with concurrent.futures.ThreadPoolExecutor(max_workers=20) as executor:

        loop = asyncio.get_event_loop()
        futures = [
            loop.run_in_executor(
                executor, 
                requests.get, 
                'http://example.org/'
            )
            for i in range(20)
        ]
        for response in await asyncio.gather(*futures):
            pass


loop = asyncio.get_event_loop()
loop.run_until_complete(main())