requests Retry POST 재시도, 글이 3개 생기는 중복 요청 재현
requests Retry POST 설정은 복사해 붙이기 쉬운 만큼 위험합니다. allowed_methods에 POST를 넣으면 서버가 요청을 이미 처리한 뒤에도 같은 요청이 다시 나갑니다. 서버가 처리는 했지만 응답을 제대로 주지 못한 상황을 로컬에서 만들어 놓고, 재시도 설정에 따라 글이 몇 개 생기는지 세어 봤습니다.
먼저 결론
- urllib3
Retry의 기본allowed_methods에는 POST가 없습니다. 기본값에서는 503, 읽기 타임아웃, 연결 끊김 어느 경우에도 POST가 한 번만 나갔습니다. - POST를 넣으면 같은 상황에서 요청이 3~4번 도착했고 글도 그만큼 생겼습니다. 클라이언트는 마지막 201 하나만 봅니다.
- 재시도가 없어도 실패가 “아무 일도 없었다”는 뜻은 아닙니다. 클라이언트가
ReadTimeout을 받았을 때도 서버에는 글이 1개 만들어져 있었습니다. - POST 재시도는 서버가 중복 요청을 걸러 줄 때만 켭니다.
Idempotency-Key를 붙이자 요청은 3번 도착했지만 글은 1개만 생겼습니다.
실험 환경과 방법
macOS 27.2.1(Apple M4 Pro)에서 Python 3.11.15, requests 2.34.2, urllib3 2.7.0으로 실험했습니다. 서버는 표준 라이브러리 http.server로 만들었고, 요청이 도착하면 먼저 글을 저장한 다음 시나리오에 따라 세 가지 방식으로 실패합니다. 503을 돌려주거나, 클라이언트의 읽기 타임아웃보다 늦게 답하거나, 응답 없이 연결을 끊습니다.
def do_POST(self):
length = int(self.headers.get("Content-Length") or 0)
body = json.loads(self.rfile.read(length) or b"{}")
with LOCK:
STATE.arrivals.append(time.monotonic()) # 도착 시각 기록
nth = len(STATE.arrivals)
STATE.posts.append(body) # 먼저 글을 만든다
post_id = len(STATE.posts)
failing = STATE.fail_first < 0 or nth <= STATE.fail_first
mode = STATE.mode if failing else "ok"
if mode == "drop": # 응답 없이 연결을 끊는다
self.connection.shutdown(socket.SHUT_RDWR)
self.close_connection = True
return
if mode == "slow": # 클라이언트 읽기 타임아웃(1초)보다 늦게 답한다
time.sleep(2.5)
status = 503 if mode == "503" else 201
... # status 와 {"id": post_id} 를 응답
클라이언트는 인터넷에서 흔히 보이는 재시도 설정 그대로입니다. 차이는 allowed_methods에 POST를 넣느냐뿐입니다.
import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry
def make_session(*, retry_post):
kwargs = {"total": 3, "backoff_factor": 1.0, "status_forcelist": [500, 502, 503, 504]}
if retry_post:
kwargs["allowed_methods"] = ["GET", "POST"]
session = requests.Session()
session.mount("http://", HTTPAdapter(max_retries=Retry(**kwargs)))
return session
resp = make_session(retry_post=True).post(
f"{base}/posts", json={"title": "hello"}, timeout=(3, 1) # 연결 3초, 읽기 1초
)
requests Retry POST 실험 결과
| 서버 상황 | allowed_methods | 클라이언트가 본 결과 | 도착한 요청 | 만들어진 글 |
|---|---|---|---|---|
| 항상 503 | 기본값 | HTTP 503 | 1번 | 1개 |
| 항상 503 | POST 포함 | RetryError 예외 | 4번 | 4개 |
| 503 두 번 뒤 정상 | POST 포함 | HTTP 201, id 3 | 3번 | 3개 |
| 응답 지연 두 번 뒤 정상 | 기본값 | ReadTimeout 예외 | 1번 | 1개 |
| 응답 지연 두 번 뒤 정상 | POST 포함 | HTTP 201, id 3 | 3번 | 3개 |
| 연결 끊김 두 번 뒤 정상 | 기본값 | ConnectionError 예외 | 1번 | 1개 |
| 연결 끊김 두 번 뒤 정상 | POST 포함 | HTTP 201, id 3 | 3번 | 3개 |
POST를 허용한 쪽은 세 가지 실패 모두에서 요청을 다시 보냈고 서버는 그때마다 글을 만들었습니다. 가장 곤란한 것은 201이 돌아온 세 경우입니다. 클라이언트 쪽에는 오류도 경고도 없이 성공 응답 하나만 남는데 서버에는 같은 글이 3개 있습니다. 응답 본문에서는 돌아온 ID가 1이 아니라 3이라는 점이 유일한 흔적입니다.
기본값 쪽도 눈여겨볼 부분이 있습니다. 읽기 타임아웃과 연결 끊김에서 클라이언트는 예외를 받았지만 서버에는 글이 1개 만들어져 있었습니다. 예외를 보고 사람이나 상위 코드가 다시 보내면 재시도 설정과 무관하게 중복이 생깁니다.
기본값에 POST가 없는 이유
>>> from urllib3.util.retry import Retry
>>> sorted(Retry.DEFAULT_ALLOWED_METHODS)
['DELETE', 'GET', 'HEAD', 'OPTIONS', 'PUT', 'TRACE']
기본 목록에는 여러 번 보내도 결과가 같다고 약속된 메서드만 들어 있습니다. POST와 PATCH는 빠져 있습니다. urllib3 문서도 이 목록을 멱등한 메서드라고 설명합니다. allowed_methods=["GET", "POST"]는 그 안전장치를 직접 끄는 설정입니다.
반대로 요청이 서버에 닿지 않은 것이 확실한 실패는 메서드를 가리지 않고 재시도했습니다. 아무도 듣지 않는 포트로 POST를 보내자 기본값에서도 urllib3의 재시도 경고가 3줄 찍혔고 6.0초 뒤에 ConnectionError가 났습니다. 연결 자체가 안 된 경우는 중복 걱정이 없으니 맞는 동작입니다.
재시도 간격은 0초, 2초, 4초
서버에 요청이 도착한 시각으로 간격을 쟀습니다. backoff_factor=1.0, total=3일 때 503 시나리오의 요청 간격은 0.0초, 2.0초, 4.0초였습니다. 첫 재시도는 기다리지 않고 바로 나갑니다. 네 번 모두 실패하면 6.0초 뒤에 RetryError가 납니다.
읽기 타임아웃 시나리오의 간격은 1.0초, 3.0초였습니다. 타임아웃 1초를 기다린 시간이 더해진 값입니다. 서버가 느려서 타임아웃이 난 상황이라면 첫 재시도가 대기 없이 바로 나가므로 느린 서버에 같은 요청이 겹쳐 쌓입니다.
Idempotency-Key로 중복 막기
클라이언트가 요청마다 고유한 키를 헤더에 넣고, 서버는 이미 본 키면 새로 만들지 않고 처음 결과를 돌려주는 방식입니다. IETF 초안으로 올라와 있는 헤더이고, 서버가 지원해야 의미가 있습니다. 실험 서버에는 이렇게 넣었습니다.
key = self.headers.get("Idempotency-Key")
with LOCK:
if key and key in STATE.by_key:
post_id = STATE.by_key[key] # 같은 키면 다시 만들지 않고 처음 결과를 돌려준다
else:
STATE.posts.append(body)
post_id = len(STATE.posts)
if key:
STATE.by_key[key] = post_id
import uuid
headers = {"Idempotency-Key": str(uuid.uuid4())} # 요청 하나에 키 하나, 재시도에도 같은 값
resp = session.post(f"{base}/posts", json={"title": "hello"}, headers=headers, timeout=(3, 1))
| 서버 상황 | 클라이언트가 본 결과 | 도착한 요청 | 만들어진 글 |
|---|---|---|---|
| 503 두 번 뒤 정상 | HTTP 201, id 1 | 3번 | 1개 |
| 응답 지연 두 번 뒤 정상 | HTTP 201, id 1 | 3번 | 1개 |
요청은 똑같이 3번 도착했지만 글은 1개만 생겼고 돌아온 ID도 1입니다. 키는 요청 하나에 하나를 만들어 재시도에도 같은 값이 나가야 합니다. 헤더에 한 번 넣어 두면 재시도 요청에도 같은 키가 실려 갔습니다.
대처 방법 정리
1. 서버가 중복을 걸러 주는지 먼저 확인합니다. 걸러 주지 않는 API라면 allowed_methods에 POST를 넣지 않습니다.
2. 실패한 POST는 조회한 뒤에 다시 보냅니다. 타임아웃이나 5xx를 받았을 때 바로 재전송하지 말고, 제목이나 외부 ID처럼 고유한 값으로 먼저 조회해서 없을 때만 다시 보냅니다.
3. 재시도 끝에 받은 응답인지 확인합니다. 실험에서 재시도 두 번 뒤에 받은 201 응답은 resp.raw.retries.history의 길이가 2였고, 한 번에 성공한 응답은 0이었습니다. 실패 뒤 정리 작업을 하는 코드라면 이 값으로 앞선 시도가 있었는지 구분할 수 있습니다.
retries = resp.raw.retries
if retries is not None and retries.history:
print(f"재시도 {len(retries.history)}번 끝에 받은 응답입니다")
이 실험의 한계
로컬 HTTP/1.1 서버에 요청마다 새 세션으로 보낸 결과입니다. keep-alive로 재사용하던 연결이 끊기는 경우나 프록시가 중간에서 재전송하는 경우는 다루지 않았습니다. 서버가 처리 도중에 죽어서 글이 절반만 만들어지는 상황도 범위 밖입니다. 재시도 간격은 urllib3 2.7.0에서 잰 값이고 버전에 따라 다를 수 있습니다.
함께 읽으면 좋은 글
