Hadoop3 SingleNode Install in Docker

도커에 hadoop3을 설치할 일이 생겨 정리했다.

실행 환경

필자는 Docker를 이용한 컨테이너 환경에서 Single Node로 설치할 것이다.

사용할 OS는 centos7.9이다. 아래 항목이 전제가 되어 있어야 한다.

• java 1.8 (JAVA_HOME과 PATH 환경설정까지 완료) 설치
• 로컬에 docker-compose 설치

Docker에 설치 시 주의사항

Docker에 설치 시 그냥 centos 컨테이너를 생성하여 systemctl 명령을 사용하면 아래와 같이 나온다.

[root@52ef2bb43881 ~]# systemctl
Failed to get D-Bus connection: Operation not permitted

systemctl 명령을 사용하기 위해선 처음 컨테이너를 실행 할 때 아래와 같이 –privileged 옵션과 -d 옵션으로 /sbin/init을 실행한후 exec로 /bin/bash를 실행시켜야 한다

$ docker run --privileged -d --name mycentos centos:7 /sbin/init
$ docker exec -it mycentos /bin/bash

Hadoop 설치

하둡을 설치한다. 설치 버전은 3.3.1이다.

[root@52ef2bb43881 ~]# wget https://mirrors.sonic.net/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
[root@52ef2bb43881 ~]# tar xvzf hadoop-3.3.1.tar.gz

하둡에 대한 환경변수 설정을 ~/.bashrc에 아래와 같이 해준다. HADOOP_HOME은 각자에 맞는 경로를 써주면 된다.

export HADOOP_HOME=/root/hadoop-3.3.1
export HADOOP_CONFIG_HOME=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

이후 하둡 버전 확인을 통해 환경변수 및 설치 확인을 한다

[root@52ef2bb43881 ~]# source ~/.bashrc
[root@52ef2bb43881 ~]# hadoop version
Hadoop 3.3.1
Source code repository https://github.com/apache/hadoop.git -r a3b9c37a397ad4188041dd80621bdeefc46885f2
Compiled by ubuntu on 2021-06-15T05:13Z
Compiled with protoc 3.7.1
From source with checksum 88a4ddb2299aca054416d6b7f81ca55
This command was run using /home/hadoop-3.3.1/share/hadoop/common/hadoop-common-3.3.1.jar

지금까지 standalone hadoop 설치였다. 여기서 이어서 Single Node Cluster로 설치를 해보자.

필요 패키지 설치

하둡에서는 노드 간의 통신을 ssh를 이용하여 하기 때문에 ssh 설치가 필수이다.

[root@52ef2bb43881 ~]# yum install openssh-server openssh-clients openssh-askpass -y

SSH Keygen

ssh를 비밀번호 없이 통신하기 위해 ssh-keygen을 해준다.

[root@52ef2bb43881 ~]# ssh-keygen -t rsa
[root@52ef2bb43881 ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[root@52ef2bb43881 ~]# systemctl start sshd
[root@52ef2bb43881 ~]# ssh localhost
Last login: Tue Apr 19 08:41:05 2022 from localhost
[root@52ef2bb43881 ~]# exit
logout
Connection to localhost closed.
[root@52ef2bb43881 ~]#

Hadoop 설정

hadoop-env.sh 파일을 열어 아래와 같이 작성해준다.

[root@52ef2bb43881 ~]# cd $HADOOP_CONFIG_HOME
[root@52ef2bb43881 hadoop]# vim hadoop-env.sh

# hadoop-env.sh
...
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64
export HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export HDFS_SECONDARYNAMENODE_USER="root"
export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"

그리고 각 데몬들이 홈으로 사용할 디렉토리를 생성한다.

[root@52ef2bb43881 ~]# mkdir $HADOOP_HOME/temp
[root@52ef2bb43881 ~]# mkdir $HADOOP_HOME/namenode
[root@52ef2bb43881 ~]# mkdir $HADOOP_HOME/datanode

이후 다음 각 설정 파일들을 수정해 준다. 설정 파일들이 있는 디렉토리 경로로 이동한다.

[root@52ef2bb43881 ~]# cd $HADOOP_CONFIG_HOME

core-site.xml

HDFS와 MapReduce에서 공통적으로 사용할 환경정보

[root@52ef2bb43881 hadoop]# vim core-site.xml

# core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop-3.3.1/temp</value>
    </property>

    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
        <final>true</final>
    </property>

    <!-- Trash -->
    <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>
    <property>
        <name>fs.trash.checkpoint.interval</name>
        <value>120</value>
    </property>
</configuration>

hdfs-site.xml

HDFS에서 사용할 환경정보

[root@52ef2bb43881 hadoop]# vim hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
        <final>true</final>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/root/hadoop-3.3.1/namenode</value>
        <final>true</final>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/root/hadoop-3.3.1/datanode</value>
        <final>true</final>
    </property>
</configuration>

mapred-site.xml

MapReduce에서 사용할 환경 정보

[root@52ef2bb43881 hadoop]# vim mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>

Hadoop 실행

먼저 네임노드를 포맷해준다.

[root@52ef2bb43881 hadoop]# hadoop namenode -format

하둡 설치가 끝났다. docker commit 하여 이미지를 생성해준다.

[root@kt1201 ~]# docker commit 52ef2bb43881 kt1201/hadoop:3.3.1

다시 컨테이너로 돌아와서 하둡을 실행시키고, jps로 확인해보자.

[root@52ef2bb43881 hadoop]# start-all.sh
Starting namenodes on [localhost]
Last login: Wed Apr 20 02:12:34 UTC 2022 from localhost on pts/1
Starting datanodes
Last login: Wed Apr 20 03:56:37 UTC 2022 on pts/0
Starting secondary namenodes [52ef2bb43881]
Last login: Wed Apr 20 03:56:39 UTC 2022 on pts/0
52ef2bb43881: Warning: Permanently added '52ef2bb43881,172.17.0.2' (ECDSA) to the list of known hosts.
Starting resourcemanager
Last login: Wed Apr 20 03:56:42 UTC 2022 on pts/0
Starting nodemanagers
Last login: Wed Apr 20 03:56:46 UTC 2022 on pts/0
[root@52ef2bb43881 hadoop]# 
[root@52ef2bb43881 hadoop]# 
[root@52ef2bb43881 hadoop]# jps
2145 Jps
1369 SecondaryNameNode
1145 DataNode
971 NameNode
1819 NodeManager
1661 ResourceManager

하둡 설치가 완료되었다. 이후 다른 Ecosystem들과의 통신을 위하여 미리 docker-compose.yml을 아래와 같이 작성해 주었다.

# docker-compose.yml

version: '3'
services:      
  hdfs:
    image: kt1201/hadoop:3.3.1
    container_name: hadoop
    ports:
      - 50070:50070
    volumes:
      - hadoop_namenode:/root/hadoop-3.3.1/namenode
      - hadoop_datanode:/root/hadoop-3.3.1/datanode

volumes:
  hadoop_namenode:
  hadoop_datanode:

위에서 50070포트의 포트포워딩은 하둡에서 제공하는 UI를 볼수 있는 포트이다. 해당 yml 파일로 컨테이너를 생성하고 하둡을 구동 시킨 후, 브라우저에서 50070포트로 들어가면 아래와 같은 화면을 볼 수 있다.

다음장은 hive 설치를 해보자. Hive Install in Docker