Dead Letter

RabbitMQ는 메시지가 소비되고 예상치 못하게 처리되지 않을 경우, 해당 메시지를 다시 큐로 보내는 기본적인 기능인 Re-Queuing을 수행한다. 이 과정은 메시지가 Consumer에게 전달된 후, 컨슈머가 이를 처리했음을 확인하는 acknowledgment(ACK) 메시지를 RabbitMQ 브로커에 보내지 않을 때 발생한다.

하지만 계속 동일한 에러로 메시지를 처리할 수 없는 경우, 에러를 발생시키는 메시지는 소비되고 리큐잉하는 루프를 반복할 것이다.

Message가 Dead Letter가 되는 조건

1. 메시지가 Queue에서 거부(Reject) 또는 NACK 상태

   1. Re-Queue=false로 설정된 Consumer가 reject/nack 응답을 통해 거절한 메세지

      • Re-Queue=false 설정은 메시지를 거부할 때, 해당 메시지를 원래 큐로 되돌리지 않겠다는 의미이다. 즉, 메시지를 처리되지 않음을 의미한다.

   2. Re-Queue=true로 설정된 Consumer가 reject/nack 응답을 통해 거절한 메세지는 다시 리큐잉 되기 때문에 DLX(Dead Letter Exchange) 기능이 동작하지 않는다.

2. Per-Message TTL이 만료된 경우

   메시지가 큐에 저장된 TTL을 초과하면, 해당 메시지는 만료되어 데드 레터 큐로 이동한다.

   • 큐에 설정된 TTL이 만료되는 것은 큐 자체를 삭제하며, 남아있는 메시지는 모두 삭제되고 데드 레터로 처리하지 않는다.

3. Queue의 최대 길이 초과

   큐에 설정된 최대 메시지 수(max-length) 또는 최대 바이트 수(max-length-bytes)를 초과할 경우 발생한다. (최대 길이가 100이고 큐에 100개의 메시지가 있는데 새롭게 추가되는 경우)

   RabbitMQ에서는 기본적으로 가장 오래된 메시지가 데드 레터 큐(DLQ)로 이동한다. 이는 x-max-length 정책을 사용할 때의 기본 동작이다. FIFO 원칙을 따른다.

   • RabbitMQ는 기본적으로 가장 오래된 메시지를 제거하고 새로운 메시지를 추가하거나, 새로운 메시지를 데드 레터 큐로 전송한다.

4. Queue가 가득찬 경우

   큐가 물리적으로 가득 차서 더 이상 메시지를 저장할 수 없는 상태일 때, 새로운 메시지는 데드 레터 큐로 전송된다. 이 경우는 시스템 메모리나 디스크 용량이 부족하여 새로운 메시지를 수용할 수 없는 상황을 얘기한다.

RabbitMQ에서 데드 레터가 된 메시지의 헤더를 확인하면, 메시지가 데드 레터 큐로 이동한 이유를 알 수 있다.

이 정보는 주로 “x-death” 헤더에 저장되고 관련 정보가 저장되어 있다.

“x-death” Header에 포함된 주요 정보

1. reason 메시지가 데드 레터 큐로 이동한 이유를 나타낸다. 예를들어, TTL 만료, Consumer에 의한 Reject, 큐가 가득차 버려진 경우 등의 이유가 있다.

2. time

   메시지가 데드 레터 큐로 이동한 시간이다. 메시지의 처리 이력을 추적하는 데 유용하다.

3. count

   동일한 reason으로 메시지가 데드 레터 큐로 이동한 횟수이다. 특정 메시지가 얼마나 자주 실패했는지 알 수 있다.

4. queue

   데드 레터 큐로 이동하기 전에 원래 큐의 이름이다. 메시지의 출처를 추적할 수 있다.

5. exchange

   데드 레터 큐로 이동하기 전 메시지를 마지막으로 처리한 Exchange 이름이다. 여러 번 DLX에 의해 처리된 메시지인 경우 DLX 정보가 포함될 수 있다.

Dead Letter Exchange(DLX) 란?

RabbitMQ의 DLX는 특정 조건을 만족하지 못해서 처리할 수 없는 메시지들을 Routing 하는 Exchange이다.

DLX 생성 방법

DLX를 생성하는 방법은 어렵지 않다.

1. DLX용 Exchange 생성

2. Dead Letter Queue 생성

3. Queue Argument 설정

   메세지를 저장하는 큐를 만들 때, Argument 부분에 거부되거나 처리되지 못해 버려진 메시지에 대한 처리를 설정해야 한다. 큐 생성 시, Key-Value 형식으로 ‘x-dead-letter-exchange’ 속성에 DLX 값을 명시한다.

   • ex) x-dead-letter-exchange : log.dlx

   이렇게 큐를 생생하고 나면 버려지거나 거부되는 메세지들은 dlx Exchange로 들어가게 된다.

4. DLQ와 DLX Binding

   Dead Letter Queue와 DLX를 바인딩 해서 메시지가 DLX로 전송될 때 사용할 Routing Key를 설정한다.

   DLQ의 Argument로 ‘x-dead-letter-routing-key : routing key’ 설정

출처

실제 DLQ를 확인해 보면, 왼쪽 상단 Exchange에는 DLX 이름과 Routing key가 명시되어 있고 해당 메시지의 delivery_mode, 이력, 실패 사유 등이 나타나 있다.