'QuickStartVM'에 해당되는 글 3건

  1. 2016.01.08 HBase 예제 살펴보기~
  2. 2016.01.04 [QuickStartVM] 하둡 word counting 테스트
  3. 2015.12.30 클라우데라 QuickStart VM 설치하기

HBase 예제 살펴보기~

|



이번에는 클라우데라에 포함된 HBase에 대해서 살펴보도록 하자. 

HBase에 대해서는 하둡(Hadoop) 관련 기술 - 피그, 주키퍼, HBase에 대한 간략한 정리! 를 참고하기 바란다. 


HBase 서버 확인

먼저 HBase 서버가 동작 중인지 확인해 봐야 한다. 

HBase는 Master와 RegionServer가 모두 동작해야 하므로 다음 명령어로 상태를 확인하고 

동작 중이 아닌 경우, start 명령어로 시작하면 된다. 

> sudo service hbase-master status
> sudo service hbase-regionserver status

> sudo service hbase-master start
> sudo service hbase-regionserver start


HBase 실행 

1. HBase Shell을 실행한다.  

> hbase shell


2. HBase에 userinfotable 을 만들고 데이터를 넣어보자. 

hbase(main):001:0> create 'userinfotable',{NAME=>'username'},{NAME=>'fullname'},{NAME=>'homedir'}
hbase(main):001:0> put 'userinfotable','r1','username','vcsa'
hbase(main):001:0> put 'userinfotable','r2','username','sasuser'
hbase(main):001:0> put 'userinfotable','r3','username','postfix'
hbase(main):001:0> put 'userinfotable','r1','fullname','VirtualMachine Admin'
hbase(main):001:0> put 'userinfotable','r2','fullname','SAS Admin'
hbase(main):001:0> put 'userinfotable','r3','fullname','Postfix User'
hbase(main):001:0> put 'userinfotable','r1','homedir','/home/vcsa'
hbase(main):001:0> put 'userinfotable','r2','homedir','/var/sasuser'
hbase(main):001:0> put 'userinfotable','r3','homedir','/user/postfix'


3. scan을 활용해서 userinfotable의 내용을 확인해 본다. 

hbase(main):001:0> scan 'userinfotable'
hbase(main):001:0> scan 'userinfotable',{COLUMNS=>'fullname'}


Hbase Shell을 빠져나올때는 exit 명령어를 사용한다. 


Hue에서의 HBase

Hue 인터페이스에서도 HBase의 내용을 확인하고 스캔할 수 있다. 

Data Browser > HBase를 선택하면 HBase 화면으로 들어갈 수 있다. 

위에서 생성한 userinfotable이 존재하는 것을 확인할 수 있다. 

테이블 이름을 클릭해서 해당 내용을 조회하고 처리할 수 있다. 


'Cloud&BigData > 하둡(Hadoop)' 카테고리의 다른 글

HDFS 명령어 테스트~  (0) 2016.01.13
Pig 두번째 예제 살펴보기~  (0) 2016.01.11
HBase 예제 살펴보기~  (0) 2016.01.08
Hive 예제 살펴보기~  (0) 2016.01.07
Pig 첫번째 예제 VM에서 실행하기~  (0) 2016.01.06
Hadoop 2.0 - HDFS2와 YARN  (0) 2016.01.05



Trackback 0 And Comment 0

[QuickStartVM] 하둡 word counting 테스트

|



클라우데라의 QuickStart VM을 활용해서 하둡 맵리듀스를 처리하는 예제를 살펴보기로 하자. 

만약 VM이 설치되어 있지 않다면, QuickStart VM 설치하기 글을 참고하기 바란다. 


테스트할 예제는 가장 기본적인 WordCount 예제이다. 

해당 소스에 대한 설명은 WordCount 맵리듀스 테스트 글을 살펴보기 바란다. 


Word Count 테스트 

이제 QuickStart VM을 통해서 Word Count를 해보기로 하자. 

1. VM에서 터미널을 열고 다음 명령어로 hadoop-mapreduce-examples.jar 파일이 있는 곳으로 이동하고 해당 파일을 확인한다. 

> cd /usr/lib/hadoop-mapreduce/
> ls *examples.jar


2. hadoop jar 명령어로 wordcount 예제를 실행해 보자. 

> hadoop jar hadoop-mapreduce-examples.jar wordcount


Word Count를 실행하기 위해 입력 파일(<in>), 출력 파일(<out>)을 포함시켜야한다고 나온다. 

그래서 다음 단계로 입력 파일을 만들어 보도록 하자. 


3. testfile1과 testfile2를 다음과 같이 생성한다. 

> echo "Hello world in HDFS" > /home/cloudera/testfile1
> echo "Hadoop word count example in HDFS" > /home/cloudera/testfile2
> ls /home/cloudera/testfile*


4. 하둡 파일 시스템에 /user/cloudera/input 폴더를 생성하고 위에서 만든 testfile1, testfile2를 하둡 파일시스템에 올린다. 

> hdfs dfs -mkdir /user/cloudera/input
> hdfs dfs -put /home/cloudera/testfile1 /user/cloudera/input
> hdfs dfs -put /home/cloudera/testfile2 /user/cloudera/input


5. 이제 word count 예제에 입력, 출력을 지정해서 맵리듀스 잡을 실행시켜 보자. 

> hadoop jar hadoop-mapreduce-examples.jar wordcount /user/cloudera/input /user/cloudera/output


6. 하둡 파일 시스템의 결과값을 다음 명령어로 확인해 본다. 

> hdfs dfs -ls /user/cloudera/output


7. 단어 갯수와 순서가 저장되어 있는 파일 part-r-00000의 내용을 확인해 보면 다음과 같다. 

> hdfs dfs -cat /user/cloudera/output/part-r-00000


8. 마지막으로 결과 파일을 get 명령어로 로컬 파일(/home/cloudera/wordcount.txt)로 가져온다. 

> hdfs dfs -get /user/cloudera/output/part-r-00000 /home/cloudera/wordcount.txt


이상으로 VM에서 하둡 맵리듀스 잡을 실행해보았다. 

본 강의 내용은 University of California, San Diego의 나타샤 발락(Natasha Balac) 교수의 자료를 참고했다. 





Trackback 0 And Comment 0

클라우데라 QuickStart VM 설치하기

|



클라우데라에서 하둡 에코 시스템의 테스트를 위한 QuickStart VM을 제공하고 있다. 

Hadoop 2.0, Spark, Hive, Pig, HBase, Sqoop, Flume 등 하둡 관련 시스템을 일일이 설치하지 않고 

가상환경에서 마음껏 테스트 할 수 있는 환경을 제공한다. 

또한 사전에 포함된 데이터를 통해서 각종 기능을 테스트할 수 있는 "Getting Started"도 있으므로 하둡에 관심이 있으면 한번쯤 설치해서 사용해보기 바란다. 


QuickStart VM 다운로드 및 설치

QuickStartVM은 VMWare, KVM, VirtualBox의 VM으로 각각 제공되는데 VirtualBox를 통해서 설치해보기로 한다.  

1. https://www.virtualbox.org/wiki/Downloads로 이동해서 OS에 적합한 VirtualBox를 다운로드하고 설치한다. 

2. 클라우데라의 QuickStart VM을 https://downloads.cloudera.com/demo_vm/virtualbox/cloudera-quickstart-vm-5.4.2-0-virtualbox.zip 에서 다운로드 한다. (4G 정도의 용량으로 다운로드하는데 시간이 좀 걸린다.)

3. 다운로드한 QuickStartVM의 압축을 푼다. 

4. VirtualBox를 실행한다. 

5. File > Import Appliance 를 클릭하여 VM을 임포트한다. 


6. 폴더 아이콘을 클릭한다. 


7. QuickStart VM의 압축을 해제한 폴더에서 cloudera-quickstart-vm-5.4.2-0-virtualbox.ovf 파일을 선택한다. 


8. "import" 버튼을 클릭하고 QuickStart VM이 임포트 될 때까지 기다린다. 


9. 왼쪽 창에서 cloudera-quickstart-vm을 선택하고 "Start" 버튼을 클릭해 실행한다. 


앞으로 위에서 설치한 QuickStart VM을 기반으로 각종 예제들을 설명할 것이므로 한번쯤 설치해보기 바란다. 

그리고 위 설치 과정과 이미지는 University of California, San Diego의 나타샤 발락(Natasha Balac) 교수의 자료를 참고했다. 





Trackback 0 And Comment 0
prev | 1 | next