python으로 hdfs 접근

python으로 hdfs에 이미지, 영상 데이터를 적재해야 할 일이 생겨 작성하게 되었다.

필요 라이브러리

hdfs 라이브러리가 필요하다.

$ pip3 install hdfs

코드

from hdfs import Client, HdfsError

hdfs_client = Client(f'http://{ip주소}:{port}', proxy='{user}')

load_path = '/user/hive/warehouse/test'
image_path = '/DATA/temp/test.mp4'

hdfs_client.makedirs(load_path)
hdfs_client.upload(load_path, image_path, overwrite=True)

디렉토리 만들고 이미지 파일을 업로드하는 코드이다.

추가적인 정보는 python HDFSCLI 공식 문서 를 참고하자.