Hive Install in Docker

Hive Install in Docker

hive를 설치해보자. Hive는 앞에서 설치했던 Hadoop 컨테이너에 함께 설치할 것이다.

Hadoop 설치는 아래 링크를 참고하기 바란다.

Hadoop3 SingleNode Install in Docker

metastore DB

우선 metestore DB를 위한 postgres 컨테이너를 하나 생성해야 한다. postgres와 hadoop 컨테이너의 통신을 위해 아래와 같이 docker-compose.yml 파일을 생성해 주었다.

각각에 사용된 이미지는 postgresql 11 공식 이미지와 전에 생성했던 hadoop 이미지를 사용한다.

# docker-compose.yml

version: '3'
services:
  postgres:
    image: kt1201/postgres
    container_name: postgres
    ports:
      - "5432:5432"
    environment:
      POSTGRES_PASSWORD=postgres
    volumes:
      - postgres-data:/var/lib/postgresql/data
      
  hdfs:
    image: kt1201/hadoop:3.3.1
    container_name: hadoop
    ports:
      - 50070:50070
      - 10000:10000
    volumes:
      - hadoop_namenode:/root/hadoop-3.3.1/namenode
      - hadoop_datanode:/root/hadoop-3.3.1/datanode

volumes:
  postgres-data:
  hadoop_namenode:
  hadoop_datanode:

후에 아래 명령어로 컨테이너를 실행시켜준다.

[root@kt1201 bigdata-docker-compose]# docker-compose up -d

postgres 컨테이너로 들어가 postgres 계정으로 psql로 접속한 뒤, hive 유저와 비밀번호를 설정해 준다.

[root@kt1201 bigdata-docker-compose]# docker exec -it 25ddd9f892a4 /bin/bash
root@25ddd9f892a4:/# su - postgres
postgres@25ddd9f892a4:~$ psql
psql (14.2 (Debian 14.2-1.pgdg110+1))
Type "help" for help.

postgres=# create user hive superuser;
CREATE ROLE
postgres=# ALTER USER hive WITH PASSWORD 'hive';
ALTER ROLE

metastore 라는 database 생성 및 hive 유저에게 권한을 부여하고 ‘UTF-8’ 타입을 지정한다.

postgres=# CREATE DATABASE metastore WITH OWNER hive ENCODING 'UTF8' template template0;
CREATE DATABASE
postgres=# \l
                                 List of databases
   Name    |  Owner   | Encoding |  Collate   |   Ctype    |   Access privileges
-----------+----------+----------+------------+------------+-----------------------
 metastore | hive     | UTF8     | en_US.utf8 | en_US.utf8 |
 postgres  | postgres | UTF8     | en_US.utf8 | en_US.utf8 |
 template0 | postgres | UTF8     | en_US.utf8 | en_US.utf8 | =c/postgres          +
           |          |          |            |            | postgres=CTc/postgres
 template1 | postgres | UTF8     | en_US.utf8 | en_US.utf8 | =c/postgres          +
           |          |          |            |            | postgres=CTc/postgres
(4 rows)
postgres=# \quit
postgres@25ddd9f892a4:~$

Hive

hive 설치파일 다운로드 후 압축해제 한다.

[root@b171915f8f63 ~]# wget 'https://mirror.navercorp.com/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz'
[root@b171915f8f63 ~]# tar zxvf apache-hive-3.1.2-bin.tar.gz

Hive 관련 환경 변수 및 PATH를 설정해준다.

# ~/.bashrc

# JAVA
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64
export JAVA_OPTS="-Dfile.encoding=UTF-8"
export CLASSPATH="."

# HADOOP
export HADOOP_HOME=/root/hadoop-3.3.1
export HADOOP_CONFIG_HOME=$HADOOP_HOME/etc/hadoop

# Hive
export HIVE_HOME=/root/apache-hive-3.1.2-bin

# PATH
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin

postgresql jdbc 드라이버 다운로드 후 hive 라이브러리 경로에 추가한다.

[root@b171915f8f63 ~]# wget https://repo1.maven.org/maven2/org/postgresql/postgresql/42.2.20/postgresql-42.2.20.jar
[root@b171915f8f63 ~]# mv postgresql-42.2.20.jar $HIVE_HOME/lib

hive-site.xml

apache-hive-3.1.2-bin/conf/hive-site.xml 설정을 해준다.

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>hive.metastore.local</name>
        <value>false</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:postgresql://postgres:5432/metastore</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>org.postgresql.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>hive</value>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
    <property>
        <name>hive.server2.enable.doAs</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.server2.authentication</name>
        <value>NONE</value>
    </property>
</configuration>

후에 hive 디렉터리 생성 및 쓰기 권한을 부여해준다.

[root@b171915f8f63 conf]# hadoop fs -mkdir -p /user/hive/warehouse
[root@b171915f8f63 conf]# hadoop fs -ls /user/hive
Found 1 items
drwxr-xr-x   - root supergroup          0 2022-04-20 08:07 /user/hive/warehouse
[root@b171915f8f63 conf]# hadoop fs -chmod g+w /user/hive/warehouse
[root@b171915f8f63 conf]# hdfs dfs -ls /user/hive
Found 1 items
drwxrwxr-x   - root supergroup          0 2022-04-20 08:07 /user/hive/warehouse

metastore 초기화 후 hadoop구동 및 hive 접속

[root@b171915f8f63 conf]# schematool -initSchema -dbType postgres
[root@b171915f8f63 conf]# start-all.sh
[root@b171915f8f63 conf]# hive

Beeline 접속(외부접속 설정)

hive 말고, beeline과 같은 외부 클라이언트로 접속을 하기 위해선 hiveserver2를 구동해야 한다.

아래는 hiveserver2를 구동/종료하는 script이다.

# /root/apache-hive-3.1.2-bin/bin/start-hive.sh

#!/bin/bash
nohup hive --service metastore > /dev/null 2>&1 &
nohup hive --service hiveserver2 > /dev/null 2>&1 &

# /root/apache-hive-3.1.2-bin/bin/stop-hive.sh

#!/bin/bash

PID=`ps -eaf | grep hiveserver2 | grep -v grep | awk '{print $2}'`
if [[ "" != "$PID" ]]; then
    echo "killing $PID"
    kill -9 $PID
fi

PID=`ps -eaf | grep metastore | grep -v grep | awk '{print $2}'`
if [[ "" != "$PID" ]]; then
    echo "killing $PID"
    kill -9 $PID
fi

#kill -9 $(lsof -t -i:10000)

hiveserver2를 구동시키고 beeline으로 접속해보자.

[root@b171915f8f63 bin]# start-hive.sh
[root@3f1e571ef5ad logs]# beeline -u 'jdbc:hive2://'
...
Connected to: Apache Hive (version 3.1.2)
Driver: Hive JDBC (version 3.1.2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 3.1.2 by Apache Hive
0: jdbc:hive2://>

위와 같이 beeline으로 접속이 될 것이다. 하지만 우리는 외부 클라이언트에서 접속할때 아래와 같이 ip와 port를 명시해 주어야 한다. 명시하고 beeline 접속을 시도하게 되면 아래와 같이 계정 관련 에러가 나온다.

[root@3f1e571ef5ad conf]# beeline -n hive -p hive -u jdbc:hive2://localhost:10000
...
Connecting to jdbc:hive2://localhost:10000/
22/04/22 06:48:39 [main]: WARN jdbc.HiveConnection: Failed to connect to localhost:10000
Error: Could not open client transport with JDBC Uri: jdbc:hive2://localhost:10000/: Failed to open y.authorize.AuthorizationException): User: root is not allowed to impersonate anonymous (state=08S01
Beeline version 3.1.2 by Apache Hive

hadoop 설정파일 중 core-site.xml에 계정과 그룹에 대한 접근 설정을 추가한다.

    <property>
        <name>hadoop.proxyuser.{사용 계정명}.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.{사용 계정명}.groups</name>
        <value>*</value>
    </property>

후에 hiveserver2와 hadoop을 재구동 후 beeline 접속을 한다.

[root@b171915f8f63 ~]# stop-hive.sh
[root@b171915f8f63 ~]# stop-all.sh
[root@b171915f8f63 conf]# beeline -n hive -p hive -u jdbc:hive2://localhost:10000

DBeaver로도 정상 접속 될 것이다.

Tez 설치

현재 hive engine을 확인은 아래와 같다.

0: jdbc:hive2://localhost:10000/> set hive.execution.engine;
+----------------------------+
|            set             |
+----------------------------+
| hive.execution.engine=mr  |
+----------------------------+
1 row selected (0.026 seconds)

현재 엔진은 MapReduce로 되어있다. 이를 Tez 엔진으로 바꿔보자. 설치할 Tez 버전은 0.9.2 버전이다. 우선 아래 명령어로 다운받고 압축을 풀어준다.

[root@b171915f8f63 ~]# wget https://downloads.apache.org/tez/0.9.2/apache-tez-0.9.2-bin.tar.gz
[root@b171915f8f63 ~]# tar -zxvf apache-tez-0.9.2-bin.tar.gz

hive-site.xml 설정 추가

hive-site.xml에 아래 설정을 해준다.

# hive-site.xml

<configuration>
    ...
    <property>
        <name>tez.lib.uris</name>
        <value>/root/apache-tez-0.9.2-bin</value>
    </property>
    <property>
        <name>hive.execution.engine</name>
        <value>tez</value>
    </property>
</configuration>

tez-site.xml

tez-site.xml을 새로 만들어서 아래와 같이 작성한다. 이때 tez.lib.uris는 hdfs에서 tez 라이브러리 위치이다. 작성 후에 넣어줄 것이다.

# /root/apache-tez-0.9.2-bin/conf

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>tez.lib.uris</name>
        <value>${fs.defaultFS}/user/tez/tez.tar.gz</value>
    </property>
    <property>
        <name>tez.use.cluster.hadoop-libs</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.tez.container.size</name>
        <value>3020</value>
    </property>
</configuration>

다음은 환경변수 설정을 추가해 준다.

# ~/.bashrc

#Tez
export TEZ_HOME=/root/apache-tez-0.9.2-bin
export TEZ_CONF_DIR=$TEZ_HOME/conf
export TEZ_JARS=$TEZ_HOME/*:$TEZ_HOME/lib/*

export HADOOP_CLASSPATH=$CLASSPATH:${TEZ_CONF_DIR}:${TEZ_JARS}/*:${TEZ_JARS}/lib/*

환경변수 설정을 적용한다.

[root@b171915f8f63 ~]# source ~/.bashrc

이제 tez 라이브러리를 tez-site.xml에 설정한 hdfs 경로로 넣어준다.

[root@b171915f8f63 ~]# hdfs dfs -mkdir -p /user/tez
[root@b171915f8f63 ~]# hdfs dfs -put /root/apache-tez-0.9.2-bin/share/tez.tar.gz /user/tez

이제 hive를 실행하고 엔진을 확인한다.

[root@b171915f8f63 conf]# hive
hive> set hive.execution.engine;
hive.execution.engine=tez

해당 컨테이너를 commit해 준다.

[root@b171915f8f63 conf]# exit
[root@kt1201 ~]# docker commit hadoop kt1201/hadoop:3.3.1