루키의 보석함

맵리듀스 개요 맵리듀스(MapReduce)는 기존 하드웨어를 활용한 분산 프로그래밍 모델로서, 대용량 데이터를 빠르고 안전하기 처리하기 위해 만들었다. 2014년 OSDI 컨퍼런스에서 구글이 "MapReduce : Simplified Data Processing on Large Clusters" 논문을 발표한 이후, 맵리듀스는 관심을 받기 시작했다. 그리고 오픈소스 루씬(Lucene)의 개발자인 더그 커팅(Doug Cutting)이 하둡(Hadoop)을 만들면서 맵리듀스가 널리 알려졌다. 하둡 오픈 소스 프로젝트는 구글의 분산 기술(GFS, MapReduce)을 기반으로 2006년부터 시작했다. 하둡 파일 시스템(HDFS)는 대규모 분산 파일 시스템 구축의 성능과 안전정을 보여줬고, 맵리듀스는 HDFS에..

미니 서평 게리 해멀의 경영의 미래를 읽으면서 경영학의 문외한인지라 내용은 어려웠다. 그러나 20세기의 조직, 관리, 효율성을 강조하던 경역학이 21세기에는 새로운 형태로 나아가야 한다는 전반적인 흐름은 이해할 수 있었다. 프레드릭 W. 테일러(Frederic W. Taylor), 에드워즈 데밍(W. Edwards Demming)등의 과학적 관리 기법이나 품질관리 기법등을 통해 기업들은 오랜 시간 성장해왔고 효율성의 극대화를 가져올 수 있었다. 그러나 다니엘 핑크가 이야기하는 하이컨셉의 시대에는 이러한 경영 기법으로는 창의성을 가져올 수 없을 것이다. 책의 실험을 통해 나타나는 것처럼 집단 지식을 활용하여 더 나은 의사결정을 내리는 것도 한 방법이 될 수 있을 것이다. 즉, 직원들을 조직적으로 통제와 관..

하둡과 관련해 HDFS(하둡 파일 시스템), MapReduce(맵리듀스)를 기본적으로 알아야 합니다. 그러나 때로는 하둡 에코 시스템으로 제공하는 도구들을 이해하면 좀 더 빠르고 쉽게 하둡 프로그래밍을 할 수 있습니다. 이번에는 하둡과 관련된 많은 프로젝트들 중에서 피그(pig), HBase, 주키퍼(Zookeeper)에 대해서 간략하게 개념을 정리하려고 합니다. 해당 개념들을 살펴보고 추후 필요할 때 활용하면 좋겠네요. 피그(Pig) 피그는 대용량 데이터셋을 좀 더 고차원적으로 처리할 수 있도록 합니다. 맵리듀스에서 처리할 수 없는 부분들을 지원한다고 하는데요. 대표적으로 조인(Join)과 같은 연산이 가능합니다. 피그는 다중 값과 중첩된 형태를 보이는 좀 더 다양한 데이터 구조를 지원하고, 데이터에 ..

미니서평 총,균,쇠(Guns, Germs, and Steel)는 제레드 다이아몬드 박사가 1998년 퓰리처 상을 받은 명저로 잘 알려져 있다. 저자의 해박한 지식, 과학적인 탐구와 분석을 보면서 그저 감탄만 나올 뿐이었다. 이런 책을 이제야 봤다는 점이 부끄럽기도 하지만, 두께만큼이나 읽고 난 후 마음도 꽉 찬 느낌이다. 총,균,쇠는 뉴기니인인 얄리의 작은 질문으로부터 시작된다. 당신네 백인들은 그렇게 많은 화물을 발전시켜 뉴기니까지 가져왔는데 어째서 우리 흑인들은 그런 화물들을 만들지 못한 겁니까? 과연 인종 차별적인 이런 질문이 맞는 것일까? 백인들은 태생적으로 우월해서 전 세계를 지배하게 되었고, 흑인들은, 아프리카 원주민은, 아메리카의 인디언들은.. 선천적인 이유로 피지배인이 될 수 밖에 없었을까..

하둡(Hadoop) 프로젝트를 진행할 때 사람들의 고민이 무엇일까? 하고 생각해 봤습니다. Java 언어에 익숙하더라도 첫번째로 만나는 문제는 역시 맵리듀스(MapReduce)가 아닐까 합니다. 맵리듀스는 맵과 리듀스가 합쳐진 것으로 각각의 Map 함수와 Reduce 함수를 구현하고 JobClient를 통해 호출해야 합니다. 그런데 일반적으로 하둡 프로젝트에서 한번만 맵리듀스를 사용하는 경우는 거의 없습니다. 대부분 맵 리듀스를 반복적으로 사용하게 됩니다. 여기에 맵리듀스에서 기본적으로 사용하는 타입인 Text, IntWritable, LongWritable과 같은 것 이외에 객체를 사용한다든지. Key 항목이 아닌 Value에 속하는 항목으로 정렬을 하고 싶다든지, 하는 경우에 많은 개발자들이 어려움을..

Cloudera Impala 소개 Cloudera Impala는 SQL 형태로 Hadoop의 데이터를 이용해 실시간으로 분석할 수 있는 시스템이다. 이것은 MapReduce 프레임워크를 사용할 때, 배치 처리로 인한 지연이 발생하는 것을 최적화 한 것이다. 구글에서도 2006년부터 기존의 GFS와 MapReduce에 실시간 처리가 가능한 Dremel을 본격적으로 활용하고 있다. Apache Hadoop의 HDFS와 MapReduce가 구글의 GFS, MapReduce 논문을 기반으로 만들어진 것처럼, Cloudera Impala도 2010년 발표된 구글의 Dremel 논문을 기반으로 하고 있다. 다만, SQL과 유사한 형태를 하둡에서 활용하기 위해 Hive의 쿼리 방식의 인터페이스를 가져왔다. 하둡을 C..

통독: 2014.05.26 ~ 2014.06.29 미니서평 고전이기는 하지만 오랜만에 읽어보는 연예소설이었다. 한달여 기간동안 1/3도 못 읽었던 책을 이번 주말에 단숨에 읽어버렸다. 책을 읽으면서 주인공인 엘리자베스와 다아시가 잘 되기를 얼마나 바랬던지.. ^^ 헤피엔딩으로 끝나는 결말에 마지막까지 즐겁기는 했지만 방송 드라마의 신데렐라 이야기와는 다른 느낌이었다. 그것은 책 전반에 흐르고 있는 사람들의 행동에 대한 끊임없는 분석 때문이 아니었을까? 특히 '오만과 편견'에는 등장인물들의 인상과 태도에 대한 묘사가 상당히 자세히 나온다. 이것은 독자들이 첫 인상으로 등장인물들을 미리 판단해 보라는 것 같았다. '첫 인상으로 사람을 미리 단정지어 버리는 것..' 이것이 바로 편견이라는 것이다. (이 책의 ..

미니 서평 최근 이슈가 되는 사물 인터넷 (IoT - Internet of Things)을 살펴보기 위해 본 책이다. 저자는 스마트폰, 빅데이터, 사물인터넷을 포함해 최신 ICT 비즈니스 상황을 일목요연하게 정리하고 있다. ICT 분야의 전반적인 현재 상황과 앞으로의 발전 방향을 이해하는데 분명 도움이 된다. 다만, 전체적인 관점에서 다루다 보니 세부적인 내용이 약간 아쉽다. 예를 들어, 가장 관심을 가졌던 사물인터넷에 대해서 한 챕터에 간략하게 설명하고 있을 뿐이다. 그래도 "하드웨어 에코 시스템을 구축하고 있는 스패로"나 "Carrier IQ의 스마트폰 정보 수집" 등은 관심을 끌기에 충분했다. ICT의 최신 흐름을 파악하고 싶다면 한번쯤 읽어보기를 추천한다. 밑줄 긋기 정보의 가치는 소유하느냐로 결..

미니 서평 개인적으로 이런 스타일의 책을 별로 좋아하지 않는다. "좋은게 좋다"는 식의 이야기들이 많기 때문이다. "좋은 나라 만들자".. "배고프니까 밥먹자".. 하는 메아리 없는 구호랑 별반 다를 바가 없다. 솔직히 이 책도 그런 생각을 가지고 보기 시작했고, 일부 내용들은 이런 기대를 저버리지 않았다. 공감, 동의, 주의 집중해서 듣기, 침묵, 질문, 긍정... 어릴 적 도덕 교과서에 나오는 이야기 그대로이다. 하지만 이런 일반적인 주제들이 일관성있게 엮이고 실제 사례를 통한 이야기로 접해보니 색달랐다. 결국 알고 있다는 것보다 실제 어떻게 행동하느냐가 더 중요한 것이었다. 아무리 잘 알고 있으면 뭐하겠는가? 아는 것으로는 충분하지 않다. 실제로 적용해야 한다. 바라는 것으로는 충분하지 않다. 행동..

미니서평 짐 콜린스의 Good To Great를 읽고 난 후, 내 머리속에 남아있는 표현들은 다음과 같다. 단계 5의 리더.. 버스에 탈 적합한 사람.. 냉혹한 사실의 직시.. 열정을 가지고 경제 엔진을 움직이면서 세계 최고가 될 수 있는 일.. 플라이 휠 효과.. 진정한 리더는 겸손하면서 추진력과 불굴의 의지를 가지고 있어야 한다. 즉 내강외유?를 의미하는 것이 아닐런지.. 단계 5의 리더들은 일이 잘 풀릴 때에는 창문 밖을 내다보면서 자기 자신 외의 요인들에 찬사를 돌린다. 그리고 찬사를 돌릴 특별한 사람이나 사건을 찾을 수 없을 경우에는 행운 탓으로 돌린다. 일이 잘 풀리지 않을 때에는 거울을 들여다보며 자신에게 책임을 돌리고 결코 운이 나쁜 걸 탓하지 않는다. 짐 콜린스는 사람에 대한 중요성으로 ..