HDFS Block

Block

물리적인 디스크는 블록 크기라는 개념이 있다. 블록의 정의는 아래와 같다.

Block : 한번에 읽고 쓸 수 있는 데이터의 최대량

디스크 블록의 크기는 기본적으로 512 byte이다.

HDFS에서도 역시 블록의 개념을 가지고 있다. 오늘은 HDFS의 Block에 대해 알아보자.

HDFS에서의 Block

위에서 말한 디스크 블록의 기본적인 크기와 다르게 HDFS의 블록 크기는 기본적으로 128MB이다.

디스크 블록에 비해 상당히 큰 이유는 탐색 비용을 최소화 하기 위해서이다. 블록의 크기가 매우 크면, 블록의 시작점을 탐색하는데 걸리는 시간을 줄이고, 데이터를 전송하는 데 더 많은 시간을 할애 할 수 있다.

HDFS의 파일은 128MB인 블록 크기의 chunk로 쪼개지고, 각 chunk는 독립적으로 저장된다. 이때, 단일 디스크를 위한 파일 시스템은 디스크 블록 크기보다 작은 데이터라도 한 블록 전체를 점유하지만, HDFS 파일은 블록 크기보다 작은 데이터일 경우, 전체 블록 크기에 해당하는 하위 디스크를 모두 점유하지는 않는다. 아래 그림을 보자.

612MB 크기의 파일이 있다. HDFS에서는 이를 128MB 단위로 쪼개 5개의 블록을 만든다. 여기서 블록 E는 블록 기본 크기인 128MB를 모두 점유하는 것이 아닌 100MB만 점유하게 된다. HDFS는 3copy이므로 총 15개의 블록이 생성되어 각 서버에 분산되어 저장될 것이다.

이때 실제 데이터는 DataNode에 저장되고, 각 블록에 대한 메타데이터는 NameNode에 저장된다.