AIOHTTP Client デモ

• PokéAPI を使ってポケモンを150匹Getする方法を3つ紹介し処理の速さを比較する

  • 参照：aiohttpとasyncioを使用したPythonの非同期HTTPリクエスト

• PokéAPIについて

  • 利用規約 Documentation - PokéAPI

  • endpoint: https://pokeapi.co/docs/v2#pokemon

  • API例：

    • https://pokeapi.co/api/v2/pokemon/25 : id 25 の ピカチュウ情報URL

Requests を使った場合

• Requests を使って通常のHTTPリクエストでAPIへアクセスする

$ pip install requests

import time 

import requests
import logging
logging.basicConfig(level=logging.INFO, format="%(asctime)s %(message)s", datefmt="%X")


def human_requests():
    for num in range(1,151):
        url = f"https://pokeapi.co/api/v2/pokemon/{num}"
        resp = requests.get(url)
        if resp.status_code == 200:
            pokemon = resp.json()
            logging.info(f"{pokemon['id']}: {pokemon['name']}")

start = time.time()
human_requests()
end = time.time()
logging.info(f"実行結果: time: {end-start}")

実行結果: time: 5.970675468444824

非同期にリクエストをする場合

• await resp.json() でbody をjsonで要求。

• bodyを待っている間に、後続のポケモンURL

• jsonが返ってきたら、URLを投げている処理を一旦止めて、ポケモン ID と name を出力

import time
import asyncio

import aiohttp
import logging
logging.basicConfig(level=logging.INFO, format="%(asctime)s %(message)s", datefmt="%X")

async def main():
    async with aiohttp.ClientSession() as session:
        for num in range(1, 151):
            url = f"https://pokeapi.co/api/v2/pokemon/{num}"
            async with session.get(url) as resp:
                pokemon = await resp.json()
                logging.info(f"{pokemon['id']}: {pokemon['name']}")


start = time.time()
asyncio.run(main())
end = time.time()
logging.info(f"実行結果: time: {end-start}")

実行結果: time: 2.4725234508514404

タスクリストを先に作って非同期にリクエストする場合

• まずは非同期リクエスト用のタスクリストを作成し、 asyncio.create_task へ渡す。

• このタスクリストを asyncio.gather へ渡して全てのタスクを並行に実行する。この実行を await して全部完了するまで待つ。返り値の順序は、create_task で作った順序と同じ。

import time
import asyncio
import aiohttp

import logging

logging.basicConfig(level=logging.INFO, format="%(asctime)s %(message)s", datefmt="%X")


async def get_pokemon(s, url):
    async with s.get(url) as resp:
        pokemon = await resp.json()
        return (pokemon["id"], pokemon["name"])


async def main():
    async with aiohttp.ClientSession() as session:
        tasks = list()
        for num in range(1, 151):
            url = f"https://pokeapi.co/api/v2/pokemon/{num}"
            tasks.append(asyncio.create_task(get_pokemon(session, url)))

        pokemons = await asyncio.gather(*tasks)
        for id, pokemon in pokemons:
            logging.info(f"{id}: {pokemon}")


start = time.time()
asyncio.run(main())
logging.info("end")
end = time.time()
logging.info(f"実行結果: time: {end-start}")

実行結果: time: 0.4347381591796875

• 返り値の順番は気にせず、通信が終わった順に取得する場合

import time
import asyncio
import aiohttp

import logging

logging.basicConfig(level=logging.INFO, format="%(asctime)s %(message)s", datefmt="%X")


async def get_pokemon(s, url):
    async with s.get(url) as resp:
        pokemon = await resp.json()
        return (pokemon["id"], pokemon["name"])


async def main():
    async with aiohttp.ClientSession() as session:
        tasks = list()
        for num in range(1, 151):
            url = f"https://pokeapi.co/api/v2/pokemon/{num}"
            tasks.append(asyncio.create_task(get_pokemon(session, url)))

        for pokemon in asyncio.as_completed(tasks):
            results = await pokemon
            print(results)


start = time.time()
asyncio.run(main())
logging.info("end")
end = time.time()
logging.info(f"実行結果: time: {end-start}")