HDFS 명령어 테스트~

클라우데라의 QuickStartVM에서 HDFS 명령어를 테스트해보자. 

하둡 파일 시스템의 전체 명령어는 하둡(Hadoop) 파일시스템 (HDFS) 명령어 정리~를 참고하기 바란다. 

아래 내용은 University of California, San Diego의 Mahidhar  Tatineni 교수 자료를 참고했다. 

1. -ls 명령어로 현재 하둡 파일 시스템에 내용을 확인할 수 있다. 

VM에서는 /hbase, /solr 등의 디렉토리 구성을 볼 수 있다.  

> hdfs dfs -ls /

2. -mkdir을 사용하여 예제로 쓸 /user/test 디렉토리를 생성한다. 

> hdfs dfs -mkdir /user/test
> hdfs dfs -ls /user/

3. 리눅스의 dd 명령어를 통해 1GB의 대용량 파일을 만들어 보자. 

> dd if=/dev/urandom of=sample.txt bs=64M count=16

4. 생성된 sample.txt 파일을 하둡 파일 시스템으로 저장한다. 

> hdfs dfs -put sample.txt /user/test/
> hdfs dfs -ls /user/test/

5. 하둡 파일 시스템에 저장된 파일의 상세 내역은 fsck 명령어로 확인할 수 있다. 

블럭 개수 및 블럭 사이즈, 리플리케이션 팩터 등을 확인할 수 있다. 

참고로 VM에서는 128M의 블럭 사이즈와 1개의 리플리케이션이 기본으로 설정되어 있는 것을 알 수 있다. 

> hdfs fsck /user/test/sample.txt

6. 마지막으로 dfsadmin 명령어를 통해서 데이터 노드의 전체 상태를 살펴볼 수 있다. 

> hdfs dfsadmin -report