미니의 꿈꾸는 독서, 그리고 프로그래밍 이야기

이제 본격적으로 빅데이터 가치 창출을 위한 5단계의 프로세스를 살펴보기로 한다. 이것은 일반적인 빅데이터 분석 과정인 "데이터 획득 - 데이터 준비 - 데이터 분석 - 시각화 - 활용"을 의미한다. 데이터 획득 (Acquire) 데이터 획득은은 단순히 데이터를 수집하는 것만을 의미하지 않는다. 먼저 데이터 셋을 명확하게 정의해야 한다. 어떤 데이터들이 있고, 해당 데이터의 특성이 무엇인지를 명확하게 설정해야 한다. 그리고 나서 데이터를 검색해보거나 쿼리를 할 수 있어야 한다. 개인적으로는 이 단계에서 데이터 속성을 파악하는 것이 중요하다고 생각한다. 데이터에 어떤 항목들이 포함되어 있고, 그것이 무엇을 의미하는 지를 알아야 올바른 가설 또는 문제를 정의할 수 있다. 데이터 준비 (Prepare) 데이터 ..

미니 서평 10년 전 이 책을 처음 읽었을 때 신선한 충격이었다. 아인슈타인에 대한 전기가 아닌, 공식 E=mc2이 마치 살아 있는 생명체인 것처럼, 탄생, 초창기, 성년기로 나누어서 소설처럼 쉽게 이야기 하고 있었다. 이번에 다시 읽으면서 내용을 더 깊이 있게 이해하고 싶었으나 물리학 지식이 부족해서인지 10년 전과 별 차이는 없는 듯 하다. 다만, 책에 등장하는 수많은 천재 과학자들의 이야기에서상상력과 과학적 사고의 필요성을 새삼 느끼게 되었다. 과학적 사고는 모든 사람들이 당연하게 받아들이는 것에 대해서 왜? 그럴까? 하고 다른 측면에서 생각해 보는 것 같다. 여기에 상상력을 발휘해 가설을 세우고 현상을 관찰하거나 실험을 통해서 증명해 나가는 것 같다. 기존 생각의 틀을 깨는 것은 쉽지 않다. 그러..

빅데이터는 초기의 개념 정의, 그리고 기술 적용의 단계를 넘어 활용으로 나아가고 있다. 가치 창출을 위한 빅데이터 활용 측면에서 빅데이터 모델링에 대해 살펴보고자 한다. 알리스테어 크롤과 벤저민 요스코비치가 쓴 린 분석(Lean Analytics)에 보면, "행동을 변화시키지 않는다면 잘못된 지표이다" 라는 이야기가 나온다. 빅데이터 분석만 하고 아무런 행동도 하지 않는다면 무의미하다는 것이다. 즉, 빅데이터 분석의 최종 목표는 반드시 실행이어야 한다. 다양하고 수많은 데이터에서 인사이트를 찾고 이를 실행에 옮기는 것이야말로 진정한 빅데이터의 활용이자 데이터 과학이라 할 수 있다. 그러나 빅데이터에서 인사이트를 찾아내는 것 자체가 어려울 수 있다. 인사이트를 찾기 위해서는 무엇을 해야 할까? 당연히 분석..

미니 서평 자유주의적 개입주의~ 타인의 선택을 유도하는 부드러운 개입을 바로 넛지(nudge)라고 한다. 원래 넛지는 "1.팔꿈치로 슬쩍 찌르다. 2.주의를 환기시키다" 라는 의미를 가지고 있었으나, 탈러와 선스타인에 의해서 주의를 환기시키는 차원에서 벗어나 다른 사람의 행동을 변화시키고 보다 윤택하게 만드는 역할까지로 발전한 것이다. 책의 내용을 전반적으로 살펴보면, 넛지에 대한 개념을 이콘과 인간에 비유해 설명하는 1부는 신선하고 재미있었다. 넛지가 필요한 순간이나 선택 설계에 대한 내용들.. 그리고 RECAP까지.... 하지만 사례를 이야기하는 2부~4부까지는 책을 읽는 내내 지루했다. 연금이나 모기지, 사회 보장, 의료 보험 등이 미국 정책 중심이어서 생소하기도 했지만내가 그 분야에 문외한이어서 ..

2023/10/15 비열한 시장과 도마뱀의 뇌 2023/08/14 클루지 - 생각의 역사를 뒤집는 기막힌 발견 2023/08/03 메리골드 마음 세탁소 2022/12/16 불편한 편의점 2022/11/21 돈의 심리학 - 당신은 왜 부자가 되지 못했는가 2022/09/25 워런버핏 바이블 2021 2022/09/21 김진명 역사소설 고구려 2022/09/14 아빠의 첫 돈 공부 - 월급 노예 18년 만에 찾은 경제적 자유 달성법 2022/09/08 채권쟁이 서준석의 다시 쓰는 주식 투자 교과서 2022/09/02 빛의 양자컴퓨터 - 광양자컴퓨터의 원리와 이론 그리고 실현을 향한 여정 2022/08/15 질서너머 - 인생의 다음 단계로 나아가는 12가지 법칙 2022/08/06 NFT 레볼루션 - 현실과 ..

본 퀴즈는 University of California, San Diego의 Super Computer Center, Paul Rodriguez님의 강의에 포함된 내용이다. 해당 퀴즈에 대한 답은 올려놓지 않을 계획이므로 아래 내용을 잘 따라하고 직접 풀어보기 바란다. 하둡 맵리듀스 Join 활용 예제 를 참고하면 쉽게 구현할 수 있을 것이다. 아래 예제에 따라 데이터 파일을 생성하고 조인하는 맵리듀스를 파이썬으로 구현해 보도록 하자. 1. 퀴즈에 사용할 데이터 파일을 생성하는 다음 파이썬 소스를 make_join2data.py 파일로 저장한다. #!/usr/bin/env python import sys # ------------------------------------------------------..

하둡 맵리듀스를 활용하다 보면 서로 다른 유형의 데이터 셋을 조인해야 하는 경우가 종종 있다. SQL에서 테이블간 조인을 생각해 보면 된다. Word Count 예제를 기반으로 맵리듀스의 조인을 고려해 보자. 특정 단어의 개수를 세는데 파일 하나는 전체 기간을 대상으로 하고, 다른 파일은 월별로 각 단어의 개수를 나타낸다고 해보자. 아래의 두 파일을 하나로 합쳐서 형태로 합쳐서 출력하는 부분을 하둡 맵리듀스로 구현해보는 것이다. join1_FileA.txt able,991 about,11 burger,15 actor,22 join1_FileB.txt Jan-01 able,5 Feb-02 about,3 Mar-03 about,8 Apr-04 able,13 Feb-22 actor,3 Feb-23 burger..

하둡 스트리밍을 활용하면 맵리듀스 잡을 실행가능한 스크립트, 쉘 프로그래밍/파이썬/자바/R 등으로 처리할 수 있다. 하둡 스트리밍에 대해서는 Apache Hadoop Streaming을 참고하면 된다. 이번 강의에서는 기본 하둡 예제인 Word Count를 파이썬으로 구성한 후, 하둡 스트리밍으로 맵리듀스를 적용하는 예제를 살펴보기로 한다. 하둡 스트리밍 명령어는 다음과 같이 사용법을 확인할 수 있다. > hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar --help 1. 먼저 파이썬으로 맵 함수를 만들어 보자. WordCount에서 맵 함수는 파일의 각 라인별로 읽어서 공백으로 자른 다음, Key: 단어, Value: 1로 출력하면 된다. > ged..

클라우데라의 QuickStartVM에서 HDFS 명령어를 테스트해보자. 하둡 파일 시스템의 전체 명령어는 하둡(Hadoop) 파일시스템 (HDFS) 명령어 정리~를 참고하기 바란다. 아래 내용은 University of California, San Diego의 Mahidhar Tatineni 교수 자료를 참고했다. 1. -ls 명령어로 현재 하둡 파일 시스템에 내용을 확인할 수 있다. VM에서는 /hbase, /solr 등의 디렉토리 구성을 볼 수 있다. > hdfs dfs -ls / 2. -mkdir을 사용하여 예제로 쓸 /user/test 디렉토리를 생성한다. > hdfs dfs -mkdir /user/test > hdfs dfs -ls /user/ 3. 리눅스의 dd 명령어를 통해 1GB의 대용량 ..

passwd 파일에서 아이디, 이름, 홈디렉토리를 가져오는 피그 예제를 살펴봤다. 이번에는 하둡 완벽 가이드에 나왔던 연도별 최고 온도를 계산하는 예제를 살펴보기로 하자. 해당 예제에 대한 설명은 Hive & Pig - 하둡(Hadoop)의 맵리듀스를 보다 편하게~ 를 참고하기 바란다. 1. 먼저 예제로 사용할 sample.txt 파일을 만들어 보자. > vi sample.txt 2. 년도 온도 품질 순으로 탭을 공백으로 다음과 같이 입력하고 저장한다. 3. 생성한 sample.txt 파일을 하둡 파일 시스템의 /user/cloudera에 업로드하고 확인한다. > hdfs dfs -put sample.txt /user/cloudera > hdfs dfs -ls /user/cloudera 4. pig를 실..