asyncio.gather 하나 실패해도 나머지 태스크가 계속 돌아요

Question

파이썬 3.11 이고 쇼핑몰 여러개 API에서 주문 긁어오는 배치를 asyncio + httpx로 짜고 있는데요.

gather로 40개 정도 샵을 동시에 돌리는데 하나가 타임아웃 나면 예외는 바로 올라와서 except로 들어가긴 합니다. 근데 로그 보면 그 뒤에도 나머지 태스크들이 계속 돌면서 DB 저장까지 해버려요.. 저는 하나라도 실패하면 전부 멈추고 싶거든요.

async def main():
    async with httpx.AsyncClient(timeout=10) as client:
        try:
            results = await asyncio.gather(*(sync_shop(client, s) for s in shops))
        except Exception as e:
            logger.error("sync failed: %r", e)
            await notify_slack(f"주문 동기화 실패: {e!r}")
            return

2026-10-09 12:41:07,512 ERROR sync failed: ReadTimeout('')
2026-10-09 12:41:07,690 INFO  saved 112 orders shop=17
2026-10-09 12:41:08,034 INFO  saved 64 orders shop=23
2026-10-09 12:41:08,211 INFO  saved 9 orders shop=31
2026-10-09 12:41:08,902 INFO  slack notified

gather에 return_exceptions=True 주는것도 해봤는데 그건 그냥 다 끝날때까지 기다리는거라 더 오래 걸리네요. 실패하면 나머지 취소시키는 방법이 따로 있나요? 직접 task 리스트 만들어서 cancel 해야되는건지 ㅠㅠ

김영삼 · Accepted Answer

안녕하세요, hwlee_dev님. 영삼넷 김영삼입니다. 말씀하신 동작이 asyncio.gather의 원래 동작입니다. return_exceptions=False(기본값)이면 첫 예외는 바로 await 하는 쪽으로 올라오지만, 나머지 태스크는 취소되지 않고 계속 실행됩니다. 공식 문서에도 그렇게 적혀 있습니다. 그래서 except 블록에서 notify_slack을 await 하는 동안 다른 샵들이 저장까지 진행한 겁니다. 3.11이시면 asyncio.TaskGroup으로 바꾸시는 게 가장 깔끔합니다. 그룹 안의 태스크 하나가 예외로 끝나면 나머지를 자동으로 취소하고, 전부 정리된 뒤에 예외를 ExceptionGroup으로 묶어서 올려줍니다. async def main(): async with httpx.AsyncClient(timeout=10) as client: try: async with asyncio.TaskGroup() as tg: tasks = [tg.create_task(s

hwlee_dev · Answer

감사합니다 TaskGroup으로 바꾸니까 하나 터지면 바로 다 멈추네요. 저장도 말씀하신대로 모아서 마지막에 하게 바꿨습니다. 근데 이거 주피터에서 테스트해보려고 셀에 asyncio.run(main()) 넣으니까 이렇게 나옵니다. 스크립트로 돌리면 괜찮은데 노트북에서만 그래요 RuntimeError: asyncio.run() cannot be called from a running event loop /tmp/ipykernel_23114/3851170042.py:1: RuntimeWarning: coroutine 'main' was never awaited 구글링하니까 nest_asyncio 쓰라는 글이 많던데 그거 써도 되는건가요? 그리고 운영서버 하나가 아직 3.10이라 TaskGroup이 없다고 에러나는데 거기선 어떻게 해야될지..

김영삼 · Answer

안녕하세요. 주피터(IPython 커널)는 이미 이벤트 루프가 돌고 있는 상태에서 셀을 실행합니다. asyncio.run()은 새 루프를 만들어서 돌리는 함수라 실행 중인 루프 안에서는 호출할 수 없고, 그래서 그 에러가 납니다. 노트북에서는 셀에 그냥 await main() 이라고 쓰시면 됩니다. IPython 7부터 셀 최상위 await를 지원해서 별도 설정이 필요 없습니다. nest_asyncio는 asyncio를 패치해서 루프 재진입을 허용하는 라이브러리라 노트북 실험용으로는 쓸 수 있지만 운영 코드에 넣는 건 권하지 않습니다. 스크립트 진입점은 지금처럼 asyncio.run(main()) 그대로 두시고, 노트북에서만 await main()으로 부르시면 됩니다. 3.10에서는 asyncio.wait로 비슷하게 만들 수 있습니다. tasks = [asyncio.create_task(sync_shop(client, s)) for s in shops] done, pending =

hwlee_dev · Answer

노트북에서 await main() 하니까 바로 되네요;; 3.10 서버도 wait 방식으로 바꿔서 돌려봤는데 잘 멈춥니다. 감사합니다!

댓글 0