본문 바로가기 메뉴 바로가기

컴퓨터, 독서, 학습, 그리고 사람

프로필사진
  • 글쓰기
  • 관리
  • 미니주요글
  • 미니가 읽은 책
  • 태그
  • 방명록
  • RSS

컴퓨터, 독서, 학습, 그리고 사람

검색하기 폼
  • 분류 전체보기 (622)
    • 사색 (145)
      • 독서 (125)
      • 칼럼 (9)
      • 생각 (8)
      • 신문스크랩 (2)
    • 리뷰 (111)
      • 트랜드 (1)
      • 세미나 (18)
      • 블로그 (66)
      • 일반 (16)
    • 영어 공부 (7)
      • 영어학습 (0)
      • 영어표현 (6)
      • 유용한 단어 (1)
    • Cloud&BigData (92)
      • BigData Modeling (5)
      • 하둡(Hadoop) (22)
      • 구글앱엔진 (1)
      • NoSQL (3)
      • Fingra.ph (2)
      • R (23)
      • BigData (13)
      • Machine Learing (20)
      • Lean Startup (3)
    • Beginner (5)
      • 웹표준 (5)
    • XML Developer (42)
      • SCORM (9)
      • XML기초 (8)
      • HTML5 (7)
      • 디자인 패턴 (12)
      • XSL (6)
    • 프로젝트관리론 (34)
      • 프로젝트지침 (9)
      • 프로젝트수행 (9)
      • 프로젝트관리 (7)
      • 인력관리 (7)
      • 기획 (2)
    • 컴퓨터공학 (39)
      • 전산보안론 (7)
      • 소프트웨어공학 (5)
      • 디지털서비스 (18)
      • 디지털네트워크 (1)
      • 통계학 (8)
    • 프로그래밍 (146)
      • 아이폰 (15)
      • 안드로이드 (24)
      • 바다 (1)
      • 리눅스 (17)
      • MySQL (11)
      • Java (26)
      • 윈도우 (4)
      • Web (35)
      • Oracle (1)
      • Mac (5)
    • 셀프 (0)
  • 방명록

pig (4)
Pig 두번째 예제 살펴보기~

passwd 파일에서 아이디, 이름, 홈디렉토리를 가져오는 피그 예제를 살펴봤다. 이번에는 하둡 완벽 가이드에 나왔던 연도별 최고 온도를 계산하는 예제를 살펴보기로 하자. 해당 예제에 대한 설명은 Hive & Pig - 하둡(Hadoop)의 맵리듀스를 보다 편하게~ 를 참고하기 바란다. 1. 먼저 예제로 사용할 sample.txt 파일을 만들어 보자. > vi sample.txt 2. 년도 온도 품질 순으로 탭을 공백으로 다음과 같이 입력하고 저장한다. 3. 생성한 sample.txt 파일을 하둡 파일 시스템의 /user/cloudera에 업로드하고 확인한다. > hdfs dfs -put sample.txt /user/cloudera > hdfs dfs -ls /user/cloudera 4. pig를 실..

Cloud&BigData/하둡(Hadoop) 2016. 1. 11. 07:32
Pig 첫번째 예제 VM에서 실행하기~

클라우데라의 QuickStartVM에서 피그 스크립트를 실행하는 것을 살펴보기로 한다. 피그(Pig)와 관련된 내용은 다음 글을 참고하기 바란다. 하둡(Hadoop) 관련 기술 - 피그, 주키퍼, HBase에 대한 간략한 정리! Hive & Pig - 하둡(Hadoop)의 맵리듀스를 보다 편하게~ 오늘 살펴볼 예제는 VM의 passwd 파일을 HDFS에 업로드하고, 해당 파일에서 사용자 아이디, 사용자 이름, 그리고 홈디렉토를 가져와서 결과를 저장하는 것이다. 다음 순서대로 따라해 보자. 1. /etc/passwd 파일을 HDFS의 /user/cloudera로 업로드한다. > hdfs dfs -put /etc/passwd /user/cloudera > hdfs dfs -ls /user/cloudera/p..

Cloud&BigData/하둡(Hadoop) 2016. 1. 6. 07:55
하둡(Hadoop) 관련 기술 - 피그, 주키퍼, HBase에 대한 간략한 정리!

하둡과 관련해 HDFS(하둡 파일 시스템), MapReduce(맵리듀스)를 기본적으로 알아야 합니다. 그러나 때로는 하둡 에코 시스템으로 제공하는 도구들을 이해하면 좀 더 빠르고 쉽게 하둡 프로그래밍을 할 수 있습니다. 이번에는 하둡과 관련된 많은 프로젝트들 중에서 피그(pig), HBase, 주키퍼(Zookeeper)에 대해서 간략하게 개념을 정리하려고 합니다. 해당 개념들을 살펴보고 추후 필요할 때 활용하면 좋겠네요. 피그(Pig) 피그는 대용량 데이터셋을 좀 더 고차원적으로 처리할 수 있도록 합니다. 맵리듀스에서 처리할 수 없는 부분들을 지원한다고 하는데요. 대표적으로 조인(Join)과 같은 연산이 가능합니다. 피그는 다중 값과 중첩된 형태를 보이는 좀 더 다양한 데이터 구조를 지원하고, 데이터에 ..

Cloud&BigData/하둡(Hadoop) 2014. 8. 21. 23:31
Hive & Pig - 하둡(Hadoop)의 맵리듀스를 보다 편하게~

하둡(Hadoop) 프로젝트를 진행할 때 사람들의 고민이 무엇일까? 하고 생각해 봤습니다. Java 언어에 익숙하더라도 첫번째로 만나는 문제는 역시 맵리듀스(MapReduce)가 아닐까 합니다. 맵리듀스는 맵과 리듀스가 합쳐진 것으로 각각의 Map 함수와 Reduce 함수를 구현하고 JobClient를 통해 호출해야 합니다. 그런데 일반적으로 하둡 프로젝트에서 한번만 맵리듀스를 사용하는 경우는 거의 없습니다. 대부분 맵 리듀스를 반복적으로 사용하게 됩니다. 여기에 맵리듀스에서 기본적으로 사용하는 타입인 Text, IntWritable, LongWritable과 같은 것 이외에 객체를 사용한다든지. Key 항목이 아닌 Value에 속하는 항목으로 정렬을 하고 싶다든지, 하는 경우에 많은 개발자들이 어려움을..

Cloud&BigData/하둡(Hadoop) 2014. 8. 15. 00:35
이전 1 다음
이전 다음
공지사항
최근에 올라온 글
  • 초예측 - 세계 석학 8인에⋯
  • 만화로 보는 바빌론 부자⋯
  • 세상 물정의 물리학 - 복⋯
  • (경제신문 스크랩) 미국⋯
최근에 달린 댓글
  • 이전 종료 했던 부분부터 재⋯
  • getContext() 오류 나는데 어⋯
  • 안녕하세요. 플레이 시작시⋯
  • 감사합니다! 좋은정보였습니⋯
Total
3,033,178
Today
247
Yesterday
328
링크
  • 수식입력_latex
  • W3Schools Online Web Tutorials
  • 영어 학습 사이트
TAG
  • java
  • SCORM
  • Google
  • 웹
  • fingra.ph
  • 빅데이터
  • 안드로이드
  • 분석
  • r
  • 통계
  • 하둡
  • 맥
  • 도서
  • HTML
  • 책
  • 세미나
  • XML
  • 애플
  • mysql
  • 마케팅
  • 구글
  • Hadoop
  • 디자인
  • 클라우드
  • 자바
  • 모바일
  • ms
  • 프로젝트
  • 자바스크립트
  • 아이폰
more
«   2021/04   »
일 월 화 수 목 금 토
        1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30  
글 보관함
  • 2021/04 (2)
  • 2021/03 (3)
  • 2020/12 (2)
  • 2020/04 (3)
  • 2020/02 (1)

Blog is powered by Tistory / Designed by Tistory