Rate Limiter

개요

네트워크 시세틈에서 처리율 제한 장치(rate limiter)는 클라이언트 또는 서비스가 보내는 트래픽의 처리율을 제어하기 위한 장치이다.

예를 들어, 특정 API의 요청 횟수가 제한 장치에 정의된 임계치(threshold)를 넘어서면 추가로 들어온 모든 요청은 처리가 중단(block) 된다.

장점:

• Dos 공격에 의한 자원 고갈을 방지할 수 있다.

• 비용 절감 가능

  • 요청에 대한 처리를 제한하면 서버를 많이 확장하지 않아도 된다.

  • 3자(third-party) 서비스 API 호출에 대한 비용이 줄어들 수 있다.

• 서버 과부하를 막는다.

  • 봇에서 오는 트래픽이나, 악의적인 패턴으로 유발된 트래픽을 걸러낼 수 있다.

처리율 제한 장치는 어디에 설정할 것인가?

1. 클라이언트

• 일반적으로 안정적이지 못하다.

• 클라이언트 요청은 쉽게 위변조가 가능하고, 모든 구현을 통제하는 것은 어려울 수 있다.

1. 서버

1. 미들웨어

• 미들웨어에 장치를 두고 서버로 가는 요청을 통제할 수 있다.

MSA의 경우 보통 API Gateway라고 불리는 컴포넌트에 구현하곤 한다.

게이트웨이는 처리율 제한, SSL 종단, 사용자 인증, IP 허용 목록(whitelist) 관리 등을 지원한다.

• 일단 API 게이트웨이는 처리율 제한을 지원하는 미들웨어라는 것을 알아두자.

그럼 어디에 두어야 하는게?

제한은 없다. 시스템의 아키텍처, 우선순위, 목표에 따라서 달라질 수 있다. 그럼에도 일반적으로 적용될 수 있는 몇 가지 지침은 다음과 같다.

• 백엔드 서버:

  • 프로그래밍 언어, 캐시 서비스 등 현재 사용하는 기술 스택을 점검하고, 서버 측 구현을 지원하기 충분할 정도로 효율이 높은지 확인해야 한다.

  • 서버 측에서 모든 것을 구현하기로 했다면, 알고리즘은 자유롭게 선택할 수 있다.

• 미들웨어:

  • 시스템 설계가 이미 MSA를 기반으로 하고, 사용자 인증이나 IP 허용목록 관리 등을 처리하기 위해 이미 게이트웨이가 존재한다면 처리율 제한 기능 또한 여기에 포함시켜야 할 수 있다.

• 상용 API 게이트웨이:

  • 처리율 제한 서비스를 직접 만드는 것도 시간이 든다.

  • 구현하기에 충분한 리소스가 부족하다면 상용 API 게이트웨이를 쓰는 것도 바람직하다.