Serde - OpenCSVSerde

CSV 파일을 hadoop 에서 읽을 수 있게 해주는 OpenCSVSerde를 사용해보고, 데이터 검증까지 해볼 것이다.

* Hive 0.14 버전부터 기본 지원

먼저 데이터는 아래와 같다. 데이터 검증 오류를 위해 중간에 줄바꿈을 넣었다.

# csvserdetest.csv

NO,TYPE,CODE,NAME,ADRES,RN_ADRES,TELNO,CTPRVN_CD
"1",편의점,"123456",7일레븐,경기도 설남시 분당구 삼평동 656,경기도성남시 분당구 분당내곡로 151,,"41"
"2",편의점,"123456",GS25,경기도 수원시 장안구 천천동 502-1, 경기도 수원시 장안고 정자로 22,,"41"
"3",편의점,"123456",미니스톱,경기도 김포시 사우동 249-5,경기도 김포시 사우중로 11번길 20,,"41"
"4",편의점,"123456",electromart/피규어,삼성,엘지,카메라,대형가전,디스플레이,경기도 성남시 분당구 백현동 531, 경기도 성남시 분당구 대황판교로 606번길 10,,"41"
"5",편의점,"123456",위드미,충청북도 청주시 청원구 오창읍 각리 646-1,충청북도 청주시 청원구
오창읍 오창중앙로 65,,"43"

Create문은 아래와 같다.

CREATE EXTERNAL TABLE csvserde_test(
	no			string,
    type		string,
    code		string,
    name		string,
    adres		string,
    rn_adres	string,
    telno		string,
    ctprvn_cd	string
)
ROW FORMAT SERDE
	'org.apache,hadoop,hive,serde2,OpenCSVSerde'
WITH SERDEPROPERTIES (
	'escapeChar'='\\',
    'quote'='"',
    'seperatorChar'=',')
)
STORED AS INPUTFORMAT
	'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
	'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
	'/user/hive/st/csvserde_test'
TBLPROPERTIES (
	'skip.header.line.count'='1'
)
;

- sepratorChar: 칼럼간의 구분자

- quoteChar: 칼럼의 값을 지정한 문자로 묶어준다.

- escapeChar: 칼럼에 데이터를 입력할 때 파싱하지 않고 무시

테이블이 생성되었으니 데이터를 넣어보자.

항상 데이터를 넣기전에 확인해 줘야 할 것이 있다. 바로 인코딩이다.

리눅스에서 파일 인코딩 확인 명령어는 아래와 같다.

$ file -bi csvserdetest.csv

만약 utf-8이 아니라면 아래 명령어로 바꿔주자

$ iconv -f euc-kr -t utf8 csvserdetest.csv > csvserdetest_utf8.csv

utf-8로 인코딩이 변환된 데이터를 하둡에 넣어보자

$ hadoop fs -put csvserdetest_utf8.csv /user/hive/st/csvserde_test

hive로 조회를 해보면 데이터가 나온다.

SELECT * FROM csvserde_test;

이제 데이터 검증을 해보자.

데이터를 보면 4번 데이터는 따옴표 없이 쉼표가 많고, 5번 데이터는 중간에 줄바꿈이 있다. 이런것들을 모두 발견할 수 있어야 한다.

해당 데이터의 검증은 python의 csv 라이브러리를 이용하면 간단하게 할 수 있다. 코드는 아래와 같다.

# select_error_in_csv.py

import csv

a_list = []
f = open('C:/csvserdetest.csv', 'r', encoding='udf8')
reader = csv.reader(f)
for row in reader:
    if len(row) != 12:
        print(row)
f.close()