MariaDB(Mysql) MHA

January 5, 2023

MariaDB(Mysql) MHA란?

MHA란?

Master DB가 장애로 서비스가 불가능한 상태가 되면, 자동으로 Failover를 수행하여 Slave DB를 Master DB로 승격시켜 서비스 다운타임을 최소화하는 auto failover 솔루션이다.

MHA 서버 기본구성

MHA Manager, Master, Slave 서버 총 3개가 기본 구성이다.

MHA 구성

구분	설명
Manager	모든 DB의 Alive를 체크하고 Failover, Master Switch 등을 처리
Master	데이터의 write, read가 모두 발생되는 메인 DB
Slave	Master의 부하 분산을 위해 read_only 된 DB

MHA 의 장점

최소한의 Down Time으로 Master의 장애 처리 및 Slave의 새로운 Master로 변경 수행 가능
Master의 장애로 각 노드(Master 및 Slave)의 데이터 불일치가 발생하지 않음
현재 MySQL 서버의 설정을 변경 할 필요가 없음 (MySQL 5.0이상)
서버를 많이 늘릴 필요가 없음 (MySQL Cluster 대비)
스토리지 엔진에 제약을 받지 않음
MySQL 성능에 전혀 제약 사항이 없음

MHA의 장애 체크

MHA Manager가 3초마다 마스터 DB를 CONNECT / SELECET / INSERT 체크하며 3회 실패시 장애로 인식하고 Failover를 수행

MHA의 Replication

Mysql에서는 Lossless Replication을 지원 하는데 이는 Master에서 데이터 변경이 되면 Slave 어딘가에 반드시 변경이력(relay log)이 남아있다는 것을 보장
MHA에서는 장애 발생시 가장 최근에 변경된 Slave를 Master DB로 승격 시킨 후 Lossless Replication 를 통한 relay log로 데이터 복구를 수행
장애 발생부터 Master DB 승격, 데이터 복구 까지 걸리는 시간은 통상 10~30초

MHA의 FailOver

Master DB에 장애가 발생하면 MHA Manager는 Master장비의 VIP를 down시킨다. 이후 Replication을 진행 후 down 시킨 VIP를 Slave장비에서 올려 Failover를 진행

MHA + Replication 구성하기

우선 Master, Slave 서버의 Replication 부터 구성한다.

Replication

/etc/hosts

OS 환경은 Ubuntu 18.04 버전이다.

/etc/hosts 구성은 아래와 같다.

168.100.125 mha-manager     # Manager IP
168.100.126 server1         # Master IP
168.100.127 server2         # Slave IP
168.100.128 mha-master-vip  # VIP

hosts 파일을 보면 알겠지만 VIP를 사용하여 구성할 것이다. VIP에 대한 설명은 아래 링크를 참조한다.

VIP(Virtual IP)란?

기본 패키지 설치 (매니저, 서버1, 서버2)

필요한 라이브러리를 설치해 준다.

apt-get install libdbd-mysql-perl
apt-get install libconfig-tiny-perl
apt-get install libparams-validate-perl
apt-get install libparallel-forkmanager-perl
apt-get install liblog-dispatch-perl
apt-get install libtime-hires-perl
apt-get install make
apt-get install libnet-telnet-perl
apt-get install libmodule-install-perl

MariaDB Master / Slave 구성

DB 설치 (서버1, 서버2)

MariaDB를 설치한다

$ apt-get install mariadb-server
$ apt-get install mariadb-client
$ service mysql start

root 패스워드 설정 후 접속 테스트

$ mysql_secure_installation

Enter current password for root (enter for none): enter
Set root password? [Y/n] y
Remove anonymous users? [Y/n] y
Disallow root login remotely? [Y/n] n
Remove test database and access to it? [Y/n] n
Reload privilege tables now? [Y/n] y

$ mysql -u root -p
>

외부 접속이 가능하도록 하기 위해 아래 설정도 주석처리 해 준다. (DB 서버 설정 파일을 해당 경로와 다를 수 있다.)

$ vim /etc/mysql/mariadb.conf.d/50-server.cnf

<before>
bind-address           = 127.0.0.1

<after>
#bind-address           = 127.0.0.1

유저 생성 (서버1, 서버2)

Replication 유저 생성

> create user 'rep'@'%' identified by 'Rep123!';
> grant replication slave on *.* to 'rep';
> flush privileges;

MHA 유저도 미리 생성해 주자. 여기서, mha 계정에 특수문자는 들어가지 않도록 한다.

> grant all privileges on *.* to 'mha'@'%' identified by 'Mha123';
> flush privileges;

Replication 환경 설정

설정을 위해 DB 서비스를 중지한다. (서버1, 서버2)

$ service mysql stop

DB 서버 설정 파일에서 [mariadb] 부분을 다음과 같이 추가한다. (DB 서버 설정 파일을 해당 경로와 다를 수 있다.) (각 서버에 맞는 설정 입력)

$ vim /etc/mysql/mariadb.conf.d/50-server.cnf

# 서버1 (Master) 에서
[mariadb]
server_id=1
log-bin=mysql-bin

# 서버2 (Slave) 에서
[mariadb]
server_id=2
log-bin=mysql-bin
read_only=1
relay_log_purge=0

다시 DB 서비스 실행 (서버1, 서버2)

$ service mysql start

Master 서버에서 로그파일과 위치 확인 (서버1)

> show master status\G
*************************** 1. row ***************************
            File: mysql-bin.000001
        Position: 313
    Binlog_Do_DB:
Binlog_Ignore_DB:
1 row in set (0.00 sec)

Slave 서버에서 Replication 세팅 (서버2)

> CHANGE MASTER TO
-> MASTER_HOST='server1',				-- 현재 마스터서버 host명
-> MASTER_USER='rep',					-- 현재 마스터서버 replication 계정 user
-> MASTER_PASSWORD='Rep123!',			-- 현재 마스터서버 replication 계정 password
-> MASTER_LOG_FILE='mysql-bin.000001',	-- 현재 마스터서버의 logfile(show master status\G 참조)
-> MASTER_LOG_POS=313;					-- 현재 마스터서버의 log 포지션(show master status\G 참조)

> start slave;

> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: server1
                  Master_User: rep
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 313
               Relay_Log_File: mysqld-relay-bin.000002
                Relay_Log_Pos: 537
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 313
              Relay_Log_Space: 836
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 0
               Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
             Master_Server_Id: 1
               Master_SSL_Crl:
           Master_SSL_Crlpath:
                   Using_Gtid: No
                  Gtid_IO_Pos:
      Replicate_Do_Domain_Ids:
  Replicate_Ignore_Domain_Ids:
                Parallel_Mode: conservative
1 row in set (0.00 sec)

show slave status\G의 결과에서 Slave_IO_State, Slave_IO_Running, Slave_SQL_Running이 위와 같은 상태여야 한다.

실제 Replication이 동작하는지 Master 서버에서 데이터베이스와 테이블을 생성하고 Slave 에도 생성되었는지 확인해 본다.

MHA

Replication 구성이 완료가 되었다면, MHA를 설치하여 Master, Slave를 모니터링, Failover 등의 기능을 수행해 보자.

MHA 환경 구성

디렉토리 및 유저 생성 (매니저, 서버1, 서버2)

MHA 매니저가 사용할 디렉토리를 생성한다. 위치는 원하는 대로.

$ mkdir /data/mariadb_mha

MHA 유저도 생성해 준다.

$ useradd -g mysql -d /home/mha -m -s /bin/bash mha
$ passwd mha
$ chown -R mha:mysql /data/mariadb_mha

MHA node 설치 (매니저, 서버1, 서버2)

$ mkdir /data/mariadb_mha/source
$ cd /data/mariadb_mha/source

$ wget http://cliel.com/data/mha4mysql-node-0.57.tar.gz
$ tar -xvzf mha4mysql-node-0.57.tar.gz

$ cd mha4mysql-node-0.57
$ perl Makefile.PL
$ make
$ make install

MHA Manager 설치 (매니저)

$ cd /data/mariadb_mha/source
$ wget http://cliel.com/data/mha4mysql-manager-0.57.tar.gz
$ tar -xvzf mha4mysql-manager-0.57.tar.gz

$ cd mha4mysql-manager-0.57
$ perl Makefile.PL
$ make
$ make install

visudo 설정 (매니저, 서버1, 서버2)

mha 계정이 sudo 권한에 대해 비밀번호를 입력하지 않도록 하기 위해 아래 설정을 해준다.

$ visudo

# 맨 아래 추가
mha ALL = (ALL) NOPASSWD: ALL

ssh-keygen (매니저, 서버1, 서버2)

각 서버에 ssh 통신 시 비밀번호가 없이 통신할 수 있도록 공개키 설정을 한다.

# 키 생성
$ su - mha
$ ssh-keygen -t rsa
enter
enter
enter

# 키 복사
$ ssh-copy-id -i ~/.ssh/id_rsa.pub mha@192.168.100.125
$ ssh-copy-id -i ~/.ssh/id_rsa.pub mha@192.168.100.126
$ ssh-copy-id -i ~/.ssh/id_rsa.pub mha@192.168.100.127

# 연결 테스트
$ ssh 192.168.100.125
$ ssh 192.168.100.126
$ ssh 192.168.100.127

# .ssh 권한 수정
$ chmod 700 ~/.ssh
$ chmod 600 ~/.ssh/id_rsa
$ chmod 644 ~/.ssh/id_rsa.pub
$ chmod 644 ~/.ssh/authorized_keys
$ chmod 644 ~/.ssh/known_hosts

MHA에서 사용할 config 파일 생성 (매니저)

각 설정 경로의 역할은 각 변수 명을 보면 알 수 있다. manager_log의 경로를 특히 잘 기억해 두자

$ cp data/mariadb_mha/source/mha4mysql-manager-0.57/samples/conf/app1.cnf /etc/mha.cnf
$ vim /etc/mha.cnf

[server default]
user=mha
password=Mha123

ssh_user=mha

repl_user=rep
repl_password=Rep123!

manager_workdir=/data/mariadb_mha/log/masterha
manager_log=/data/mariadb_mha/log/masterha/MHA.log
remote_workdir=/data/mariadb_mha/log/masterha

master_binlog_dir=/var/lib/mysql

[server1]
hostname=192.168.100.126
candidate_master=1

[server2]
hostname=192.168.100.127
candidate_master=1

설정 확인 (매니저)

ssh 통신 체크

$ masterha_check_ssh --conf=/etc/mha.cnf
Thu Jan  5 15:47:58 2023 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Thu Jan  5 15:47:58 2023 - [info] Reading application default configuration from /etc/mha.cnf..
Thu Jan  5 15:47:58 2023 - [info] Reading server configuration from /etc/mha.cnf..
Thu Jan  5 15:47:58 2023 - [info] Starting SSH connection tests..
Thu Jan  5 15:48:00 2023 - [debug]
Thu Jan  5 15:47:59 2023 - [debug]  Connecting via SSH from mha@192.168.100.127(192.168.100.127:22) to mha@192.168.100.126(192.168.100.126:22)..
Thu Jan  5 15:48:00 2023 - [debug]   ok.
Thu Jan  5 15:48:00 2023 - [debug]
Thu Jan  5 15:47:58 2023 - [debug]  Connecting via SSH from mha@192.168.100.126(192.168.100.126:22) to mha@192.168.100.127(192.168.100.127:22)..
Thu Jan  5 15:48:00 2023 - [debug]   ok.
Thu Jan  5 15:48:00 2023 - [info] All SSH connection tests passed successfully.

Replication 설정 체크

$ masterha_check_repl --conf=/etc/mha.cnf
Thu Jan  5 15:49:39 2023 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Thu Jan  5 15:49:39 2023 - [info] Reading application default configuration from /etc/mha.cnf..
Thu Jan  5 15:49:39 2023 - [info] Reading server configuration from /etc/mha.cnf..
Thu Jan  5 15:49:39 2023 - [info] MHA::MasterMonitor version 0.57.
Thu Jan  5 15:49:40 2023 - [info] GTID failover mode = 0
...
Thu Jan  5 15:49:46 2023 - [info] Checking replication health on 192.168.100.127..
Thu Jan  5 15:49:46 2023 - [info]  ok.
Thu Jan  5 15:49:46 2023 - [info] Checking master_ip_failover_script status:
Thu Jan  5 15:49:46 2023 - [info]   /data/mariadb_mha/scripts/master_ip_failover --command=status --ssh_user=mha --orig_master_host=192.168.100.126 --orig_master_ip=192.168.100.126 --orig_master_port=3306
Thu Jan  5 15:49:46 2023 - [info]  OK.
Thu Jan  5 15:49:46 2023 - [warning] shutdown_script is not defined.
Thu Jan  5 15:49:46 2023 - [info] Got exit code 0 (Not master dead).

MySQL Replication Health is OK.

Replication 설정 체크 시 에러 발생

필자는 masterha_check_repl 체크 시에 아래 2가지 에러가 발생하였다. 그에 대한 해결책을 정리하였다.

1. MHA NodeUtil.pm 관련 version 에러

에러 문구는 아래와 같다.

$ masterha_check_repl --conf=/etc/mha.cnf
Tue Dec 27 01:52:44 2022 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Tue Dec 27 01:52:44 2022 - [info] Reading application default configuration from /etc/mha.cnf..
Tue Dec 27 01:52:44 2022 - [info] Reading server configuration from /etc/mha.cnf..
Tue Dec 27 01:52:44 2022 - [info] MHA::MasterMonitor version 0.57.
Tue Dec 27 01:52:45 2022 - [error][/usr/local/share/perl/5.26.1/MHA/MasterMonitor.pm, ln427] Error happened on checking configurations. Redundant argument in sprintf at /usr/local/share/perl/5.26.1/MHA/NodeUtil.pm line 184.
Tue Dec 27 01:52:45 2022 - [error][/usr/local/share/perl/5.26.1/MHA/MasterMonitor.pm, ln525] Error happened on monitoring servers.
Tue Dec 27 01:52:45 2022 - [info] Got exit code 1 (Not master dead).

NodeUtil.pm 파일에서 mysql 버전을 가져오는데 파싱에러가 난 것이다.

아래와 같이 NodeUtil.pm 파일의 코드를 수정해 준다.

$ vim /usr/local/share/perl/5.26.1/MHA/NodeUtil.pm

<before>
sub parse_mysql_version($) {
  my $str = shift;
  my $result = sprintf( '%03d%03d%03d', $str =~ m/(\d+)/g );
  return $result;
}


sub parse_mysql_major_version($) {
  my $str = shift;
  my $result = sprintf( '%03d%03d', $str =~ m/(\d+)/g );
  return $result;
}

<after>
sub parse_mysql_version($) {
  my $str = shift;
  ($str) =  $str =~ m/^[^-]*/g;
  my $result = sprintf( '%03d%03d%03d', $str =~ m/(\d+)/g );
  return $result;
}

sub parse_mysql_major_version($) {
  my $str = shift;
  $str =~ /(\d+)\.(\d+)/;
  my $strmajor = "$1.$2";
  my $result = sprintf( '%03d%03d', $strmajor =~ m/(\d+)/g );
  return $result;
}

2. mysqlbinlog: unknown variable ‘default-character-set=utf8mb4’ 에러

에러 문구는 아래와 같다.

Tue Dec 27 04:27:16 2022 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Tue Dec 27 04:27:16 2022 - [info] Reading application default configuration from /etc/mha.cnf..
Tue Dec 27 04:27:16 2022 - [info] Reading server configuration from /etc/mha.cnf..
Tue Dec 27 04:27:16 2022 - [info] MHA::MasterMonitor version 0.57.
Tue Dec 27 04:27:17 2022 - [info] GTID failover mode = 0
...
Tue Dec 27 04:27:22 2022 - [info]   Connecting to root@192.168.100.127(192.168.100.127:22)..
mysqlbinlog: unknown variable 'default-character-set=utf8mb4'
mysqlbinlog version command failed with rc 7:0, please verify PATH, LD_LIBRARY_PATH, and client options
 at /usr/local/bin/apply_diff_relay_logs line 493.
Tue Dec 27 04:27:23 2022 - [error][/usr/local/share/perl/5.26.1/MHA/MasterMonitor.pm, ln208] Slaves settings check failed!
Tue Dec 27 04:27:23 2022 - [error][/usr/local/share/perl/5.26.1/MHA/MasterMonitor.pm, ln416] Slave configuration failed.
Tue Dec 27 04:27:23 2022 - [error][/usr/local/share/perl/5.26.1/MHA/MasterMonitor.pm, ln427] Error happened on checking configurations.  at /usr/local/bin/masterha_check_repl line 48.
Tue Dec 27 04:27:23 2022 - [error][/usr/local/share/perl/5.26.1/MHA/MasterMonitor.pm, ln525] Error happened on monitoring servers.
Tue Dec 27 04:27:23 2022 - [info] Got exit code 1 (Not master dead).

MySQL 5.5.3 부터 default-character-set 이라는 옵션이 없어졌기 때문이다.

mysqlbinlog 프로그램은 기본적으로 my.cnf 를 읽게 되어 있는데 여기에 default-character-set 설정이 있었기 때문에 해당 변수를 이해하지 못하기 때문에 발생한다.

$ vim /etc/mysql/my.cnf

[client-server]

# Import all .cnf files from configuration directory
!includedir /etc/mysql/conf.d/
!includedir /etc/mysql/mariadb.conf.d/

/etc/mysql/my.cnf 파일을 보면 위와 같이 두가지 경로의 모든 conf 파일을 보고 있다.

그중 default-character-set 설정이 들어가 있는 파일은 아래와 같다. 2가지 파일을 아래와 같이 주석처리 하여 수정한다.

$ vim /etc/mysql/mariadb.conf.d/50-client.cnf

[client]
# Default is Latin1, if you need UTF-8 set this (also in server section)
# default-character-set = utf8mb4

$ vim /etc/mysql/mariadb.conf.d/50-mysql-clients.cnf

[mysql]
# Default is Latin1, if you need UTF-8 set this (also in server section)
# default-character-set = utf8mb4

MHA 기능 관련 스크립트 수정 (매니저)

MHA Manager 설치 시 기본 제공된 스크립트에서 master_ip_failover, master_ip_online_change 파일 수정이 필요하다. 장애가 감지 되면 master_ip_failover 가 사용되며 사용자 정의 takeover(relocate) 시 master_ip_online_change 이 사용된다.

우선 2가지 스크립트들을 작업 폴더 생성 후 복사한다.

$ mkdir /data/mariadb_mha/scripts
$ cp /data/mariadb_mha/source/mha4mysql-manager-0.57/samples/scripts/master_ip_online_change /data/mariadb_mha/scripts
$ cp /data/mariadb_mha/source/mha4mysql-manager-0.57/samples/scripts/master_ip_failover /data/mariadb_mha/scripts

Master IP <-> Slave IP 변경 스크립트 설정

해당 라인의 코드를 주석처리 한다.

$ vim /data/mariadb_mha/scripts/master_ip_online_change

...
149       ## Drop application user so that nobody can connect. Disabling per-session binlog beforeha    nd
150       #$orig_master_handler->disable_log_bin_local();
151       #print current_time_us() . " Drpping app user on the orig master..\n";
152       #FIXME_xxx_drop_app_user($orig_master_handler);

...
244       ## Creating an app user on the new master
245       #print current_time_us() . " Creating app user on the new master..\n";
246       #FIXME_xxx_create_app_user($new_master_handler);
247       #$new_master_handler->enable_log_bin_local();
248       #$new_master_handler->disconnect();
...

Failover 스크립트 설정

해당 라인의 코드를 주석처리 한다.

$ vim /data/mariadb_mha/scripts/master_ip_failover

...
 86       ## Creating an app user on the new master
 87       #print "Creating app user on the new master..\n";
 88       #FIXME_xxx_create_user( $new_master_handler->{dbh} );
 89       #$new_master_handler->enable_log_bin_local();
 90       #$new_master_handler->disconnect();
 91
 92       ## Update master ip on the catalog database, etc
 93       #FIXME_xxx;
...

/etc/mha.cnf 수정

위에서 설정한 두 스크립트에 대한 경로 설정을 해준다.

master_ip_online_change_script, master_ip_failover_script 추가

[server default]
user=mha
password=Mha123

ssh_user=mha

repl_user=rep
repl_password=Rep123!

manager_workdir=/data/mariadb_mha/log/masterha
manager_log=/data/mariadb_mha/log/masterha/MHA.log
remote_workdir=/data/mariadb_mha/log/masterha

master_binlog_dir=/var/lib/mysql

master_ip_online_change_script=/data/mariadb_mha/scripts/master_ip_online_change
master_ip_failover_script=/data/mariadb_mha/scripts/master_ip_failover

[server1]
hostname=192.168.100.126
candidate_master=1

[server2]
hostname=192.168.100.127
candidate_master=1

이로써 MHA 설정까지 모두 끝이 났다.

VIP 설정

이대로 서비스해도 기능적인 문제는 없다. 하지만 보안적인 문제와 원활한 서비스 제공을 위하여 VIP 설정을 해 주는것이 좋다. (DNS 를 통한 서비스 제공 방법도 있지만, 이 글에서는 MHA + VIP로 작성하였다.)

VIP 활성화 / 비활성화 (서버1)

ifconfig 명령어를 통하여 VIP를 활성화, 비활성화 시킬 수 있다.

현재 서버1이 Master 상태이니, 서버1에 VIP(192.168.100.128)를 활성화 시켜 놓으면 된다.

명령어는 아래와 같다.

$ ifconfig
eno1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.100.126  netmask 255.255.255.0  broadcast 192.168.100.255
        ...

$ ifconfig eno1:0 192.168.100.50 up
$ ifconfig
eno1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.100.126  netmask 255.255.255.0  broadcast 192.168.100.255
        ...

eno1:0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.100.50  netmask 255.255.255.0  broadcast 192.168.100.255
        ...

VIP 변경 스크립트 (매니저)

Failover나 Master Switch가 될 때 VIP도 Master 서버에 맞게 down되고 up이 되어야 한다.

해당 스크립트는 아래와 같다. (필자의 네트워크 명은 eno1이다. 각자에 맞게 수정하자.)

$ vim /data/mariadb_mha/scripts/mha_change_vip.sh

#!/bin/bash

## Fail-Over VIP Change
V_NEW_MASTER=`cat /etc/hosts | grep $1 | awk '{print $2}'`
V_EXIST_VIP_CHK=`ping -c 1 -W 1 mha-master-vip | grep "packet loss" | awk '{print $6}'`
V_VIP_IP=`cat /etc/hosts | grep mha-master-vip | awk '{print $1}'`

if [ $V_EXIST_VIP_CHK = "0%" ]
then
    echo "VIP IS Alive, VIP Relocate $V_NEW_MASTER "
    /usr/bin/ssh -o StrictHostKeyChecking=no mha-master-vip /usr/bin/sudo /sbin/ifconfig eno1:0 down &
    ssh -o StrictHostKeyChecking=no $V_NEW_MASTER /usr/bin/sudo /sbin/ifconfig eno1:0 $V_VIP_IP netmask 255.255.255.0
    ssh -o StrictHostKeyChecking=no $V_NEW_MASTER /usr/sbin/arping -c 5 -D -I eno1 -s $V_VIP_IP $V_VIP_IP
    VIP_NOHUP_PS=`ps -ef| grep "ifconfig eno1:0" | grep ssh | grep -v grep | awk '{print $2}'` && kill -9 $VIP_NOHUP_PS
elif [ $V_EXIST_VIP_CHK = "100%" ]
then
    echo "VIP IS dead, VIP Relocate $V_NEW_MASTER "
    /usr/bin/ssh -o StrictHostKeyChecking=no $V_NEW_MASTER /usr/bin/sudo /sbin/ifconfig eno1:0 $V_VIP_IP netmask 255.255.255.0
    /usr/bin/ssh -o StrictHostKeyChecking=no $V_NEW_MASTER /usr/sbin/arping -c 5 -D -I eno1 -s $V_VIP_IP $V_VIP_IP
fi

VIP 변경 스크립트 추가 (매니저)

생성한 mha_change_vip.sh를 master_ip_online_change, master_ip_failover에 추가해준다.

$ vim master_ip_online_change

...
244       ## Creating an app user on the new master
245       #print current_time_us() . " Creating app user on the new master..\n";
246       #FIXME_xxx_create_app_user($new_master_handler);
247       #$new_master_handler->enable_log_bin_local();
248       #$new_master_handler->disconnect();
249
250       ## Update master ip on the catalog database, etc
251
252       # Change vip
253       system("/bin/bash /data/mariadb_mha/scripts/mha_change_vip.sh $new_master_ip");
254
255       $exit_code = 0;
...

$ vim master_ip_failover

...
 86       ## Creating an app user on the new master
 87       #print "Creating app user on the new master..\n";
 88       #FIXME_xxx_create_user( $new_master_handler->{dbh} );
 89       #$new_master_handler->enable_log_bin_local();
 90       #$new_master_handler->disconnect();
 91
 92       ## Update master ip on the catalog database, etc
 93       #FIXME_xxx;
 94
 95       # Change vip
 96       system("/bin/bash /data/mariadb_ha/scripts/mha_change_vip.sh $new_master_ip");
 97
 98       $exit_code = 0;
...

MHA 테스트 (매니저)

모든 설정이 완료 되었으면 아래 2가지 테스트를 해본다.

$ masterha_check_ssh --conf=/etc/mha.cnf
$ masterha_check_repl --conf=/etc/mha.cnf

MHA 구동 (매니저)

MHA가 마스터 DB 모니터링 중에 장애가 감지되어 failover 가 발생 된 이후 일정 시간내에 장애에 대해서는 failover 가 진행 되지 않는다. failover 가 한번 처리 된 후 일정 시간안에는 failover가 되지 않으며 기본 값은 8시간이다. last_failover_minute으로 8시간을 1분으로 변경하여 실행하였다.

$ masterha_manager --conf=/etc/mha.cnf --last_failover_minute=1 &
$ masterha_check_status --conf=/etc/mha.cnf
mha (pid:8754) is running(0:PING_OK), master:192.168.100.126

status가 위와 같이 뜬다면 잘 실행 된 것이다.

로그도 확인해 보자

$ tail -f /data/mariadb_mha/log/masterha/MHA.log