RabbitMQ

AMQP는 데이터를 서로 교환할 할 때 사용하는 방법이다.

MQ를 오픈소스에 기반한 표준 프르토콜이 AMQP(Advanced Messsage Queueing Protocol)이다.

AMQP 자체가 프로토콜을 의미하기 때문에 이 프로토콜을 구현한 MQ 제품들 중 하나가 RabbitMQ이다.

RabbitMQ 동작

                         Broker
Producers -> [Exchange -- Binding --> Queue] -> Consumers

메세지를 발행하는 Producer에서 Broker의 Exchange로 메시지를 전달하면, Binding 이라는 규칙에 의해 연결된 Queue로 메시지가 복사된다. Consumer는 Broker의 Queue를 통해 메시지를 수신해서 처리한다.

AMQP에는 네트워크에 문제가 있거나, 메시지를 처리하지 못하는 경우를 위해 2가지 수신 확인 모델을 갖추고 있다.

1. Consumer는 메시지를 받으면 명시적으로 broker에게 통지하고, 브로커는 이 알림을 받으면 Queue에서 메시지를 삭제한다.

2. Broker가 메시지를 전달하면 자동으로 삭제하는 방식

Exchange Type과 라우팅

용어 정리

Exchange: 생산자로부터 수신한 메시지를 큐에 분배하는 라우터의 역할

Queue: 메시지를 메모리나 디스크에 저장했다가 소비자에게 메시지를 전달하는 역할

Binding: Exchange와 Queue의 관계를 정의

Exchange Type: 메시지를어떠한 방법으로 라우팅할지 결정하는 일종의 알고리즘

모든 메시지는 Queue로 직접적으로 전달되지 않고, 반드시 Exchange에서 먼저 받는다. 그리고 Exchange Type과 Binding 규칙에 따라서 적절한 Queue로 라우팅된다.

[RabbitMQ 속성]

• Name: Exchange 이름

• Type: 메시지 전달 방식 (Exchange Type)

• Durability: Broker가 재시작 될 때 남아있는지 여부 (durable, transient)

• Auto-delete: 마지막 Queue 연결이 해제되면 삭제

Bindings

생성된 Exchange에서는 전달 받은 메시지를 원하는 Queue로 전달하기 위해 Bindings라는 규칙을 정의한다.

간단하게 목적지 Queue 이름만으로도 Binding을 추가할 수 있고, Exchange Type에 따라서 Routing Key를 지정해서 메시지를 필터링 한 후 Queue로 보내도록 정의할 수도 있다.

Exchange Type

RabbitMQ는 4가지 주요 Exchage Type을 제공하며, 각 유형은 메시지 라우팅을 위해 서로 다른 논리를 사용한다.

1. Direct Exchange

   Binding Key가 메시지의 Routing Key와 정확히 일치하는 큐로 메시지를 라우팅한다.

   • 사용 예: 오류 유형에 따라서 특정 프로세서에 오류 로그를 전송한다.

2. Topic Exchange

   Routing Key와 Binding Key가 일치하거나 일부 패턴과 일치하는 모든 Queue로 메시지를 전달한다.

   컨슈머에서 메시지 형태에 따라 선택적으로 수신해야 하는 경우 pub/sub 패턴 구현에 활용할 수 있다.

   Binding Key는 점(.)으로 구분지어 정의한다. *, #를 이용해 와일드 카드를 표현할 수 있다.

   • *는 단어 하나 일치, #는 0또는 1개 이상의 단어 일치를 의미한다.

   • (라우팅 키) quick.orange.rabbit, lazy.orinage.elephant → (바인딩 키) *.orange.*

   • (라우팅 키)lazy.orange.elephant, lazy.pink.rabbit → (바인딩 키) lazy.#

3. Fanout Exchange

   Routing Key에 관계없이, 바인딩된 모든 큐에 메시지를 broadcast 한다.

   • 사용 예: 모든 서비스에 시스템 전체 공지 사항을 전송한다.

4. Headers Exchange

   Routing Key가 아닌 메시지 헤더의 속성을 기준으로 메시지를 라우팅 한다.

   Binding Key만을 사용하는 것보다 더 다양한 속성을 사용할 수 있다. 이 방법을 사용하면 바인딩 키는 무시되고, 헤더 값이 바인딩 시 지정된 값과 같은 경우에만 일치하는 것으로 판단한다.

   • 사용 예: 사용자 정의 헤더 정보를 기반으로 메시지를 큐로 전송

메시지를 저장하는 Queue

Consumer 애플리케이션은 Queue를 통해 메시지를 소비하는데, Queue는 반드시 미리 정의해야 사용할 수 있다.

연결을 공유하는 Channels

Consumer 애플리케이션에서 Broker로 많은 연결을 맺는 것은 바람직하지 않다.

RabbitMQ는 Channel 이라는 개념을 통해 하나의 TCP 연결을 공유해서 사용할 수 있는 기능을 제공한다.

멀티 스레드/프로세스를 사용하는 작업에서는 각각 별도의 Channel을 열고 사용하는 것이 바람직하다.

• RabbitMQ에서 지원하는 모든 프로토콜은 TCP 기반이다.

rabbitmq에는 connection과 channel의 개념이 존재한다.

connection은 물리적은 연결을 의미하며, channel은 publisher와 exchange 또는 consumer와 exchange 통신 경로를 의미한다. 하나의 channel은 하나의 exchange 또는 queue만 통신할 수 있다.

즉, 생산자와 소비자는 최소 하나의 channel을 가지고 있어야 메시지를 발행하거나 구독할 수 있는것이다.

• 프로듀서와 컨슈머가 실행중이라면 물리적으로 2개의 커넥션이 존재하게 된다.

TTL 설정

RabbitMQ에서 Per-Message TTL은 개별 메시지에 대한 설정할 수 있는 TTL 속성을 의미한다.

이 설정은 각 메시지가 큐에 얼마나 오랫동안 보관될 수 있는지를 정의한다.

메세지 TTL (Per-Message TTL)

1. 기능 설명

   해당 TTL은 메시지가 큐에 추가될 때 설정되며, 추가된 메시지가 큐에 머무를 수 있는 최대 시간을 밀리초 단위로 지정한다. 지정한 시간이 초과되면, 메시지는 만료되어 큐에서 삭제된다.

2. 설정 방법

   메시지 속성 중에서 ‘expiration’ 필드 속성을 사용하여 설정할 수 있다. 이 필드는 문자열 형태로 TTL 값을 지정한다. (1000 밀리초 = 1초)

3. 우선순위

   만약 큐에 대한 TTL과 메시지에 대한 TTL이 모두 설정되어 있다면, 값이 더 짧은 TTL이 적용된다.

NACK (Negative Acknowledgement)

NACK 상태는 메시지를 받았지만 처리하지 못한 상태를 의미하며, 메시지를 받은 Consumer가 메시지를 처리하지 못하거나 에러가 발생한 경우를 의미한다.

Acknowledge Mode

RabbitMQ의 Acknowledge Mode는 소비자(Consumer)가 메시지를 성공적으로 처리했음을 RabbitMQ 서버에 알리는 방식을 의미하는데, 주로 두 가지 모드가 존재한다.

• 즉, 메시지 소비 후 승인(acknowledge) 방식을 결정하는 설정이다.

1. AUTO

   • 메시지가 소비자에게 전달되는 즉시 자동으로 처리된 것으로 간주한다.

   • 실제 메시지 처리 성공 여부와 관계없이 큐에서 메시지를 제거

   • 성능은 높지만 메시지 손실 위험

2. MANUAL

   • 소비자가 명시적으로 처리 성공(ack) 또는 실패(nack/reject)를 알림

   • 메시지 처리 완료 후 수동으로 확인을 보내야 큐에서 메시지 제거

   • 손실 방지에는 효과적이지만 추가적인 처리 과정 필요

   • spring에서는 Channel.basicAck(), Channel.basicNack() 직접 호출