티스토리 뷰

반응형

클라우데라의 QuickStartVM에서 HDFS 명령어를 테스트해보자. 

하둡 파일 시스템의 전체 명령어는 하둡(Hadoop) 파일시스템 (HDFS) 명령어 정리~를 참고하기 바란다. 


아래 내용은 University of California, San Diego의 Mahidhar  Tatineni 교수 자료를 참고했다. 


1. -ls 명령어로 현재 하둡 파일 시스템에 내용을 확인할 수 있다. 

VM에서는 /hbase, /solr 등의 디렉토리 구성을 볼 수 있다.  

> hdfs dfs -ls /


2. -mkdir을 사용하여 예제로 쓸 /user/test 디렉토리를 생성한다. 

> hdfs dfs -mkdir /user/test
> hdfs dfs -ls /user/


3. 리눅스의 dd 명령어를 통해 1GB의 대용량 파일을 만들어 보자. 

> dd if=/dev/urandom of=sample.txt bs=64M count=16


4. 생성된 sample.txt 파일을 하둡 파일 시스템으로 저장한다. 

> hdfs dfs -put sample.txt /user/test/
> hdfs dfs -ls /user/test/


5. 하둡 파일 시스템에 저장된 파일의 상세 내역은 fsck 명령어로 확인할 수 있다. 

블럭 개수 및 블럭 사이즈, 리플리케이션 팩터 등을 확인할 수 있다. 

참고로 VM에서는 128M의 블럭 사이즈와 1개의 리플리케이션이 기본으로 설정되어 있는 것을 알 수 있다. 

> hdfs fsck /user/test/sample.txt


6. 마지막으로 dfsadmin 명령어를 통해서 데이터 노드의 전체 상태를 살펴볼 수 있다. 

> hdfs dfsadmin -report


반응형
댓글
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
«   2024/03   »
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31
글 보관함