Leaky Bucket

이 알고리즘의 핵심 아이디어는, "요청을 '큐(Queue)'에 담아두고, 정해진 처리 속도(Rate)에 맞춰 순서대로 일정하게 처리하는 방식" 입니다. 핵심은 '평균 속도'가 아니라 '고정된 속도'로 요청을 처리하여 트래픽을 평탄화(smoothing)하는 데 있습니다.

이름 그대로 "구멍이 샌(Leaky) 양동이"에 비유할 수 있습니다.

• 양동이 (Bucket): 요청을 순서대로 담는 큐(Queue)입니다. (정해진 크기 존재)

• 물 (Water): 시스템에 들어오는 요청입니다. (불규칙하게 들어올 수 있음)

• 구멍 (Leak): 정해진 속도(예: 1초에 1개)로 요청을 처리하는 장치입니다. 물이 일정한 속도로만 빠져나갑니다.

• 넘침 (Overflow): 요청이 너무 빨리 들어와 양동이(큐)가 가득 차면, 새로 들어오는 물(요청)은 버려집니다(거부).

동작 방식

1. 큐(Queue) 생성: 정해진 크기(Capacity)를 가진 FIFO(First-In, First-Out) 큐를 생성합니다.

2. 요청 수신 및 큐 추가: 요청이 들어오면, 큐에 빈 공간이 있는지 확인합니다.

   • 공간 있음 (Allow): 큐의 맨 뒤에 요청을 추가합니다.

   • 공간 없음 (Deny): 큐가 가득 찼으므로, 새로운 요청을 거부(Overflow)합니다.

3. 일정한 속도로 처리: 별도의 처리기(Processor)가 큐의 맨 앞에서부터 고정된 속도(예: 1초당 1개)로 요청을 꺼내어 처리합니다.

   • 이 처리 속도는 요청이 얼마나 많이 큐에 쌓여있는지와 관계없이 항상 일정합니다.

👍 장점

• 안정적인 트래픽 처리 (트래픽 평탄화): 이 알고리즘의 가장 큰 장점입니다. 요청이 순간적으로 폭주(Burst)하더라도, 실제 시스템(서버)은 항상 일정한 속도로 요청을 받게 됩니다. 이를 통해 시스템을 과부하로부터 안정적으로 보호할 수 있습니다.

• 예측 가능성: 시스템이 처리하는 요청 속도가 고정되어 있어, 부하를 매우 쉽게 예측하고 관리할 수 있습니다.

• 요청 순서 보장: FIFO 큐를 사용하므로, 큐에 들어온 요청은 순서대로 처리됩니다.

👎 단점

• 버스트 트래픽 불허: 토큰 버킷과 정반대되는 단점입니다. 시스템이 오랫동안 유휴 상태여서 처리 여력이 남아있어도, 순간적으로 몰린 요청을 정해진 속도보다 빠르게 처리할 수 없습니다.

• 요청 지연 (Latency): 모든 요청은 즉시 처리되지 않고 일단 큐에 대기해야 합니다. 큐가 길어질수록 요청이 처리되기까지의 대기 시간(Latency)이 길어집니다.

• 오래된 요청 문제 (Stale Request): 큐에 요청이 너무 오래 머무르면, 막상 처리될 시점에는 이미 타임아웃 등으로 인해 의미 없는 요청이 될 수 있습니다.

💥 결과: Token Bucket과 핵심 차이

두 알고리즘은 비슷해 보이지만 목적이 다릅니다.

• 토큰 버킷 (Token Bucket): "평균 속도"를 제어하며 버스트(Burst)를 허용합니다. (토큰이 모여있으면 한 번에 사용 가능)

• 리키 버킷 (Leaky Bucket): "고정된 출력 속도"를 강제하며 버스트를 평탄화(Smoothing)합니다. (요청이 아무리 많아도 처리 속도는 일정)