Raid와 Erasure Coding

스토리지 시스템에 있어서 데이터 보호는 한 기업의 정보 자산에 해당하는 만큼 정말 중요한 부분이다.

IT 관리자들은 스토리지 시스템을 구축하기에 앞서 인프라와 사용목적을 파악하고, 그에 맞는 데이터 보호 솔루션을 강구해야 한다.

스토리지의 데이터 손실을 복구할 수 있는 가장 확실한 방법은 데이터를 백업해 두고, 문제 발생시 백업본으로 복구를 하는 방법이다.

또다른 방법은 오늘 설명할 RAID와 Erasure Coding과 같이 시스템 범위 내에서 데이터 보호가 이루어지는 방법이다.

RAID

RAID는 스토리지 가상화 기술의 일종으로, 한 디스크가 차면 다음 디스크에 저장하는 기본적인 JBOD 방식에서 성능과 데이터 무결성을 확보하기 위해 만들어 졌다.

RAID(Redundant Array of Independent Disks)는 한 뭉텅이인 데이터를 각각의 디스크에 나눠 저장하는 것을 의미한다. 여기서 나눠 저장하는 방식은 아래 두가지로 나눠진다.

striping

데이터를 조각내어 각 디스크에 저장하는 방식이다.

• 장점

  A라는 데이터를 하나의 디스크에서 불러오는 것보다 각 디스크에 저장된 A의 조각들을 동시에 불러와서 모으는 편이 빠르고 디스크별 부하도 줄일 수 있다.

• 단점

  디스크 하나가 망가지면 해당 디스크의 데이터 조각은 없어지기 때문에 데이터의 무결성에 문제 발생

mirroring

데이터를 각 디스크에 복제하여 동시 저장하는 방식이다.

• 장점

  디스크 하나가 망가져도 다른 디스크에 같은 데이터가 존재하기 때문에 해당 데이터 보존 가능

• 단점

  그 데이터만큼 추가 공간을 차지하기 때문에 공간 효율 측면에서는 좋지 못하다.

마지막으로 RAID는 패리티(parity)라는 데이터 복구 수단을 두고 있다.

Parity

패리티는 원본 데이터를 특정 알고리즘을 활용해 생성할 수 있는 추가 데이터를 의미한다.

아래 RAID5 구성의 경우 데이터별 패리티를 1개씩 생성하며, XOR 비트 연산이라는 계산법을 활용한다.

데이터 A, B, C, D가 디스크 4개에 3개의 조각 데이터 + 패리티로 저장된다. 만일 한 디스크에 문제가 생겼을 경우, 나머지 2개의 조각 데이터와 패리티를 XOR 연산으로 계산해 문제가 생긴 디스크의 데이터 조각을 복구할 수 있다.

하지만 만일 2개의 디스크에 문제가 생겼을 경우, 1개의 패리티만으로는 전체 데이터의 복구가 불가능하다.

이를 보완하기 위한 것이 RAID6이다.

RAID6는 스트라이핑으로 저장하는 점에서 RAID5와 같지만, 패리티가 1개가 아닌 2개씩 구성된다. 또한 XOR 연산이 아니라 Reed-Solomon 부호로 패리티를 생성한다.

하지만, 패리티를 늘리게 되면 패리티 생성을 위한 추가 공간이 필요하고, 패리티 생성 및 복구로 인한 CPU 부하의 증가를 야기할 수 있다.

위 3가지를 어떻게 구성하는지에 따라 RAID 수준이 달라진다. 이 작업들은 별도의 하드웨어 컨드롤러에서 진행하는 하드웨어 RAID와 서버의 OS 내에서 진행하는 소프트웨어 RAID로 나눠진다.

RAID	설명
하드웨어 RAID	- 별도의 하드웨어인 RAID 컨트롤러 카드를 통해 RAID를 구현 - 시스템에 부담없이 읽기/쓰기나 패리티 계산 등의 속도 빠름 - RAID 컨트롤러 카드의 가격 비쌈
소프트웨어 RAID	- 단순히 메인보드에서 직접 RAID 기능을 구현 - RAID를 적용할 디스크만 있으면 별도의 하드웨어가 필요없어 비용 아낄 수 있음 - 다른 작업들과 CPU 리소스를 공유하기 때문에 전반적인 작업 속도가 느려질 수 있다. - 이때문에 소프트웨어 RAID에서는 오버헤드가 가장 낮은 RAID 0이나 RAID 1을 사용하는 경우가 많다.

RAID는 기본적으로 1~2개정도의 디스크 오류에 대처할 수 있을 정도로만 쓰여왔고, 디스크 용량도 크지 않아 복구 작업이 몇시간만 걸렸다. 하지만 단일 저장장치의 용량이 수 TB로 커지게 되면서 디스크 복구 작업이 며칠이나 걸리게 되면서 RAID의 실용성에 의문이 제기되고 있다.

이때문에 이를 보완할 수 있는 기술로서, hadoop 3 버전에도 추가된 기술인, Erasure Coding이 나왔다.

Erasure Coding

이레이저 코딩(erasure coding)은 RAID와 마찬가지로 데이터 손실 시 미리 준비된 패리티로 복구하는 기술이다. 차이점은 패리티를 계산하는 방법에서 차이가 있다.

이레이저 코딩에서도 RAID 6 처럼 데이터를 조각으로 나눠 Reed-Solomon와 같은 알고리즘을 사용하여 데이터 패리티들을 생성한다. 여기서 RAID와 차이점은 데이터 보호 수준을 유연하게 설정할 수 있다는 점이다.

아래 그림을 보자.

n개의 조각데이터를 연산을 통해 k개의 패리티를 생성한다. 이 n+k개 중 최대 k개의 데이터가 손실되어도 n개의 데이터만 살아있으면 원본 데이터가 복구 가능한 방식이다.

Erasure Coding이 RAID와 가장 큰 차이점을 보이는 부분은 디스크 단위가 아닌 영역 단위로 복구가 이루어진다는 것이며, 이레이저 코드 알고리즘은 2개 이상의 동시 오류를 지원한다는 점이다.

하지만 단점도 존재한다.

소프트웨어 RAID처럼 모든 작업이 소프트웨어로 처리되고 모든 데이터를 인코딩하는 만큼, 패리티 계산에 CPU 오버헤드와 지연시간이 발생한다. 이 때문에 하둡과 같은 블록 스토리지 시스템은 블록별 계산이 많아지기 때문에 전반적인 스토리지 성능에 영향을 줄 수 있다.