본문 바로가기 메뉴 바로가기

컴퓨터, 독서, 학습, 그리고 사람

프로필사진
  • 글쓰기
  • 관리
  • 미니주요글
  • 미니가 읽은 책
  • 태그
  • 방명록
  • RSS

컴퓨터, 독서, 학습, 그리고 사람

검색하기 폼
  • 분류 전체보기 (623)
    • 사색 (146)
      • 독서 (126)
      • 칼럼 (9)
      • 생각 (8)
      • 신문스크랩 (2)
    • 리뷰 (111)
      • 트랜드 (1)
      • 세미나 (18)
      • 블로그 (66)
      • 일반 (16)
    • 영어 공부 (7)
      • 영어학습 (0)
      • 영어표현 (6)
      • 유용한 단어 (1)
    • Cloud&BigData (92)
      • BigData Modeling (5)
      • 하둡(Hadoop) (22)
      • 구글앱엔진 (1)
      • NoSQL (3)
      • Fingra.ph (2)
      • R (23)
      • BigData (13)
      • Machine Learing (20)
      • Lean Startup (3)
    • Beginner (5)
      • 웹표준 (5)
    • XML Developer (42)
      • SCORM (9)
      • XML기초 (8)
      • HTML5 (7)
      • 디자인 패턴 (12)
      • XSL (6)
    • 프로젝트관리론 (34)
      • 프로젝트지침 (9)
      • 프로젝트수행 (9)
      • 프로젝트관리 (7)
      • 인력관리 (7)
      • 기획 (2)
    • 컴퓨터공학 (39)
      • 전산보안론 (7)
      • 소프트웨어공학 (5)
      • 디지털서비스 (18)
      • 디지털네트워크 (1)
      • 통계학 (8)
    • 프로그래밍 (146)
      • 아이폰 (15)
      • 안드로이드 (24)
      • 바다 (1)
      • 리눅스 (17)
      • MySQL (11)
      • Java (26)
      • 윈도우 (4)
      • Web (35)
      • Oracle (1)
      • Mac (5)
    • 셀프 (0)
  • 방명록

조인 (2)
하둡 맵리듀스 Join 활용 퀴즈!!

본 퀴즈는 University of California, San Diego의 Super Computer Center, Paul Rodriguez님의 강의에 포함된 내용이다. 해당 퀴즈에 대한 답은 올려놓지 않을 계획이므로 아래 내용을 잘 따라하고 직접 풀어보기 바란다. 하둡 맵리듀스 Join 활용 예제 를 참고하면 쉽게 구현할 수 있을 것이다. 아래 예제에 따라 데이터 파일을 생성하고 조인하는 맵리듀스를 파이썬으로 구현해 보도록 하자. 1. 퀴즈에 사용할 데이터 파일을 생성하는 다음 파이썬 소스를 make_join2data.py 파일로 저장한다. #!/usr/bin/env python import sys # ------------------------------------------------------..

Cloud&BigData/하둡(Hadoop) 2016. 1. 20. 07:15
하둡 맵리듀스 Join 활용 예제

하둡 맵리듀스를 활용하다 보면 서로 다른 유형의 데이터 셋을 조인해야 하는 경우가 종종 있다. SQL에서 테이블간 조인을 생각해 보면 된다. Word Count 예제를 기반으로 맵리듀스의 조인을 고려해 보자. 특정 단어의 개수를 세는데 파일 하나는 전체 기간을 대상으로 하고, 다른 파일은 월별로 각 단어의 개수를 나타낸다고 해보자. 아래의 두 파일을 하나로 합쳐서 형태로 합쳐서 출력하는 부분을 하둡 맵리듀스로 구현해보는 것이다. join1_FileA.txt able,991 about,11 burger,15 actor,22 join1_FileB.txt Jan-01 able,5 Feb-02 about,3 Mar-03 about,8 Apr-04 able,13 Feb-22 actor,3 Feb-23 burger..

Cloud&BigData/하둡(Hadoop) 2016. 1. 18. 07:29
이전 1 다음
이전 다음
공지사항
최근에 올라온 글
  • 스탑 스모킹 - 1,500만 독⋯
  • 초예측 - 세계 석학 8인에⋯
  • 만화로 보는 바빌론 부자⋯
  • 세상 물정의 물리학 - 복⋯
최근에 달린 댓글
  • 이전 종료 했던 부분부터 재⋯
  • getContext() 오류 나는데 어⋯
  • 안녕하세요. 플레이 시작시⋯
  • 감사합니다! 좋은정보였습니⋯
Total
3,033,780
Today
494
Yesterday
355
링크
  • 수식입력_latex
  • W3Schools Online Web Tutorials
  • 영어 학습 사이트
TAG
  • 아이폰
  • 세미나
  • r
  • 하둡
  • fingra.ph
  • 디자인
  • 모바일
  • java
  • 마케팅
  • 도서
  • HTML
  • 통계
  • XML
  • Hadoop
  • 안드로이드
  • 애플
  • 프로젝트
  • 자바스크립트
  • 빅데이터
  • 분석
  • 클라우드
  • SCORM
  • mysql
  • Google
  • 구글
  • 자바
  • 웹
  • 맥
  • ms
  • 책
more
«   2021/04   »
일 월 화 수 목 금 토
        1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30  
글 보관함
  • 2021/04 (3)
  • 2021/03 (3)
  • 2020/12 (2)
  • 2020/04 (3)
  • 2020/02 (1)

Blog is powered by Tistory / Designed by Tistory