HDFS 간단히 살펴보기~

"클라우데라 QuickStart VM 설치 후 먼저 HDFS 명령어를 통해 

하둡 파일시스템에 파일을 올리는 간단한 예제를 살펴보고, Hue 인터페이스로도 확인해 보기로 하자.

1. VM에서 상단의 터미널 아이콘을 클릭한다. 

2. 터미널에서 testfile.txt를 생성하고 하둡 파일시스템에 업로드한다. 

HDFS의 ls 명령어로 실제 파일이 업로드 된 것을 확인할 수 있다. 

 

3. 이제 웹 브라우저 기반의 HUE 인터페이스를 통해서 해당 파일을 살펴보자. 

웹브라우저의 북마크에서 Hue를 클릭하고 우측 상단의 "File Browser"를 선택한다. 

여기에서도 testfile.txt 파일이 올라가 있는 것을 확인할 수 있다. 

4. testfile.txt 파일을 클릭하면 해당 파일의 상세 내역을 볼 수 있다. 

또한 왼쪽의 "Edit file"을 선택하여 해당 파일의 내용을 수정할 수도 있다. 

5. 실제로 Hue를 통해 testfile.txt 파일의 내용을 수정하는 화면이다. 

이상으로 간단하게 텍스트 파일을 생성하고, 하둡 파일 시스템에 올린 다음, HUE 인터페이스를 통해 수정하는 부분까지 살펴봤다. 

다음에는 하둡 word counting 맵리듀스 예제를 QuickStart VM에서 돌려보는 예제를 살펴보기로 하자. 

QuickStart VM을 활용한 예제는 University of California, San Diego 대학의 나타샤 발락(Natasha Balac) 교수의 자료를 참고했다.