본문 바로가기 메뉴 바로가기

미니의 꿈꾸는 독서, 그리고 프로그래밍 이야기

프로필사진
  • 글쓰기
  • 관리
  • 미니주요글
  • 미니가 읽은 책
  • 태그
  • 방명록
  • RSS

미니의 꿈꾸는 독서, 그리고 프로그래밍 이야기

검색하기 폼
  • 분류 전체보기 (647)
    • 사색 (289)
      • 독서 (148)
      • 칼럼 (9)
      • 세미나 (18)
      • 리뷰 (94)
      • 영어 (7)
    • Cloud&BigData (90)
      • 하둡(Hadoop) (22)
      • R (23)
      • BigData (18)
      • Machine Learing (20)
    • XML Developer (42)
      • SCORM (9)
      • XML기초 (8)
      • HTML5 (7)
      • 디자인 패턴 (12)
      • XSL (6)
    • 컴퓨터공학 (74)
      • 전산보안론 (7)
      • 소프트웨어공학 (5)
      • 디지털서비스 (18)
      • 디지털네트워크 (1)
      • 통계학 (9)
      • 프로젝트관리론 (34)
    • 프로그래밍 (151)
      • 아이폰 (15)
      • 안드로이드 (24)
      • 리눅스 (17)
      • MySQL (11)
      • Java (26)
      • Web (40)
      • 기타 (11)
    • 셀프 (0)
  • 방명록

조인 (2)
하둡 맵리듀스 Join 활용 퀴즈!!

본 퀴즈는 University of California, San Diego의 Super Computer Center, Paul Rodriguez님의 강의에 포함된 내용이다. 해당 퀴즈에 대한 답은 올려놓지 않을 계획이므로 아래 내용을 잘 따라하고 직접 풀어보기 바란다. 하둡 맵리듀스 Join 활용 예제 를 참고하면 쉽게 구현할 수 있을 것이다. 아래 예제에 따라 데이터 파일을 생성하고 조인하는 맵리듀스를 파이썬으로 구현해 보도록 하자. 1. 퀴즈에 사용할 데이터 파일을 생성하는 다음 파이썬 소스를 make_join2data.py 파일로 저장한다. #!/usr/bin/env python import sys # ------------------------------------------------------..

Cloud&BigData/하둡(Hadoop) 2016. 1. 20. 07:15
하둡 맵리듀스 Join 활용 예제

하둡 맵리듀스를 활용하다 보면 서로 다른 유형의 데이터 셋을 조인해야 하는 경우가 종종 있다. SQL에서 테이블간 조인을 생각해 보면 된다. Word Count 예제를 기반으로 맵리듀스의 조인을 고려해 보자. 특정 단어의 개수를 세는데 파일 하나는 전체 기간을 대상으로 하고, 다른 파일은 월별로 각 단어의 개수를 나타낸다고 해보자. 아래의 두 파일을 하나로 합쳐서 형태로 합쳐서 출력하는 부분을 하둡 맵리듀스로 구현해보는 것이다. join1_FileA.txt able,991 about,11 burger,15 actor,22 join1_FileB.txt Jan-01 able,5 Feb-02 about,3 Mar-03 about,8 Apr-04 able,13 Feb-22 actor,3 Feb-23 burger..

Cloud&BigData/하둡(Hadoop) 2016. 1. 18. 07:29
이전 1 다음
이전 다음
반응형
공지사항
최근에 올라온 글
  • 불편한 편의점
  • 통계조작에 속지 않으려면...
  • 돈의 심리학 - 당신은 왜 부자가 되지 못했는가
  • 김진명 역사소설 고구려 - 소수림왕편, 고국양왕편⋯
최근에 달린 댓글
  • 안녕하세요. 아래 링크 드린 블로그에서 글쓴이님 글 훔⋯
  • 안녕하세요? 상황인식 공부하는 대학원생입니다. 검색하다⋯
  • 서평을 읽는 것 만으로도 많은 생각을 하게 되네요. 맨⋯
  • 정리해주신 내용만 봐도 정말 도움이 많이 되네요 감사합⋯
Total
3,285,716
Today
0
Yesterday
600
링크
  • 수식입력_latex
  • W3Schools Online Web Tutorials
  • 영어 학습 사이트
TAG
  • ms
  • java
  • 자바스크립트
  • 책
  • 빅데이터
  • 애플
  • Google
  • 클라우드
  • 마케팅
  • XML
  • 맥
  • Hadoop
  • 세미나
  • 디자인
  • 프로젝트
  • 아이폰
  • fingra.ph
  • mysql
  • 구글
  • 도서
  • 안드로이드
  • 웹
  • HTML
  • 하둡
  • 통계
  • 분석
  • 자바
  • r
  • 모바일
  • SCORM
more
«   2023/02   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28
글 보관함
  • 2022/12 (2)
  • 2022/11 (1)
  • 2022/10 (3)
  • 2022/09 (5)
  • 2022/08 (5)

Blog is powered by Tistory / Designed by Tistory

티스토리툴바