Tez와 MR

Hive에는 MapReduce 엔진과 Tez 엔진, Spark 엔진이 있다. 이중 Tez와 MR의 차이를 알아보자.

MapReduce

• 크게 데이터를 원하는 Key-Value 형태로 만드는 작업인 Map과 Map 작업이 끝난 데이터를 합치는 Reduce 작업으로 나눌 수 있다.
• Map-Reduce 작업 후 HDFS에 저장을 반복하는 과정에서 Disk I/O가 발생하게 되어 작업의 속도가 느려지게 된다.

Tez

• 미리 실행계획을 계산하여 DAG(비동기 사이클 그래프)로 작업 순서, 리소스를 최적화 하여, Map 단계의 데이터를 Disk가 아닌 Memory에 저장하여 Reduce에 전달함으로써 데이터 작업 처리 속도를 증가시켜준다.
• Stage(Map-Reduce가 반복되어 Disk I/O가 발생하는 단계)가 나누어지지 않는 간단한 작업에 대해서는 처리속도 향상을 기대하기 어렵다.

그림으로 보면 아래와 같다.

하이브 실행 엔진 설정은 hive에서 아래와 같이 할수 있다.

set hive.execution.engine=mr;
set hive.execution.engine=tez;