Cache Memory

CPU가 메모리에 접근하는 속도는 CPU 연산 속도보다 압도적으로 느리다.

• CPU와 빠른 장치는 데이터를 가져오는데 빠르고, 멀리 있는것은 느리다.

• 속도가 빠른 저장 장치는 용량이 작고 비싸다. 속도가 느린것은 그에 반비례한다.

캐시가 쓰이는 예

• JPA의 영속성 컨텍스트도 캐시의 일부

• CDN (Content Delivery Network)

  • 해외에서 인기있는 데이터를 통신사에 직접 때려넣어줌. (유튜브 기준)

• 웹 캐시

  • 네트워크를 통해 데이터를 가져오는 것이 HDD보다 느릴때가 있다.

  • 브라우저 캐시 : HTML, CSS, js 이미지 등을 하드디스크나 메모리에 캐싱해놓고 다음 접속시 재활용

  • 응답 캐시 : 웹 서버에서는 상당수가 동적 웹 페이지를 처리할지라도 내용이 바뀌는 경우가 적기 때문에 서버에서 생성한 HTML을 캐싱해서 다음 요청에 재활용한다.

  • 프록시 캐시 : client에서 자주 요청받는 내용은 웹 서버로 전송하지 않고 웹 서버 앞단의 프록시 서버에 캐싱해서 데이터를 제공하기도 한다. ex) nginx

• NoSQL (Redis)

  • Remote Dictinary Server

    • Dictionary는 Java의 해시 맵을 생각하면 된다. key를 집어넣으면 value가 튀어나옴.

• EHcaceh

  • Java의 캐싱 API 명세인 JSR-107을 따르는 오픈소스 캐시 구현체

  • Spring, Hinbernate ORM에서도 사용 가능

캐시

저장 장치들을 CPU에 얼마나 가까운지를 기준으로 계층 구조로 나타낼 수 있다.

• Memory Hierarachy. 여기서 메모리는 “RAM”이 아니라 일반적인 저장 창지이다.

• 레지스터는 CPU 내부에 존재한다.

캐시는 연산에 필요한 데이터를 미리 갖다놓는 임시 메모리다. CPU에서 주 기억장치, 보조 기억장치까지 도달하는 비용이 크다. 캐시는 CPU 옆에 달려 있어서 데이터를 가져오는데 빠르다.

CPU는 먼저 캐시를 참조하는데, 여기에 데이터가 없다면 주기억장치(RAM, ROM)을 방문한다.

따라서 CPU가 자주 사용하는 데이터를 가져다 놓는게 유리하다. 즉, 캐시 히트율을 높이면 성능을 높일 수 있다.

캐시 메모리

컴퓨터 시스템의 성넝을 향상 시키기 위한 메모리 유형.

• CPU가 메모리에 진입하는 속도가 느리기 때문에 이를 보완하기 위한 것이 캐시 메모리

• 레지스터보다 용량이 크고 메모리보다 빠른 “SRAM” 기반의 저장 장치

CPU와 거리가 가까운 물리 장치 일수록 처리속도가 빠르지만 용량이 작고 비싸다.

컴퓨터 내부에는 여러개의 캐시 메모리가 존재한다.

• CPU(코어)와 가까울수록 순서대로 L1, L2, L3 캐시라고 한다.

캐시 메모리는 CPU 내부/외부에 위치할 수 있으며 계층적으로 구성된다.

• 일반적으로 L1, L2는 내부에, L3는 외부에 위치해 있다.

위에는 “멀티 코어 프로세서”의 캐시 메모리 구조이다.

• 코어마다 L1, L2를 두기 때문에 서로 다른 내용을 저장할 수 있기 때문에 데이터 일관성을 유지할 수 있도록 상황에 따라“싱크”를 잘 맞춰야 한다.

참조 지역성 원리

캐시 메모리는 메모리보다 용량이 많이 작다. 따라서 모든 내용을 저장할 수 없다.

• 따라서 “자주 사용되는 내용들을” 예측하여 저장해야 한다.

캐시가 효율적으로 동작하기 위해서는 캐시 적중률(Hit Rate)가 높아야 한다. 그러기 위해서는 캐시로 저장되는 데이터는 “지역성(Locality)”를 가져야 한다.

• 지역성 : 데이터의 접근이 시간/공간적으로 가깝게 발생하는 것을 의미함.

참조 지역성의 원리는 CPU가 사용할 법한 데이터를 예측하는 방법이다. 아래 두 가지 경향을 바탕으로 만들어진 원리이다.

1. CPU는 “최근 접근했던 메모리 공간”에 다시 접근하려는 경향이 있다. (시간 지역성)

   • 즉, 특정 데이터가 한번 접근되었을 경우에는 가까운 미래에 다시 접근할 가능성이 있다.

   // 변수 val에 여러번 접근한다. (이미 참조했던 val을 계속 참조)
   void calcul() {
   	int val = 2;
   	
   	while (true) {
   		System.out.println(val);		
   	}
   }

2. CPU는 “접근한 메모리 공간 근처”를 접근하려는 경향이 있다. (공간 지역성)

   • 즉, 비슷한 프로세스/스레드와 같이 접근한 데이터 근처에 있는 데이터를 접근할 확률이 높다.

   
   void calcul() {
   	int[] arr = {...};
   	
   	for (int i = 0; i < arr.length; i++) {
   		System.out.println(arr[i]);
   	}
   }

   for 문을 순회하면서 배열에 접근하게 되는데, 해당 배열의 메모리 공간을 계속 사용한다.

   • 1, 2, 3.. N번 index에 접근하는데 이것을 “순차 지역성”이라고 한다.

캐싱이 가능한 이유는 프로그램이 “지역성”을 가지고 있기 때문이다.

캐시 히트와 캐시 미스

캐시 메모리는 CPU가 사용할 법한 대상을 “에측”하여 저장하는데,

• 이때 CPU가 활용해야 하는 데이터를 캐시 메모리가 잘 가지고 있다면 “캐시 히트”

• 반대로 없어서 메모리(RAM)에 직접 가져와야 하면 “캐시 미스”

캐시 적중률

캐시가 미스되지 않고 히트 된 비율이 “캐시 적중률” 이다.

캐시 적중률 = 캐시 히트 / (캐시 히트 + 캐시 미스)

적중률이 높을수록 CPU가 메모리에 접근하는 횟수를 줄일 수 있다. 즉, CPU 성능이 향상된다.