루키의 보석함

Analytics에 대해서 좁은 의미와 넓은 의미로 정리를 했었는데요. 이번에는 Analytics IQ를 측정할 수 있는 성숙도 모델(Maturity Model)에 대해서 정리해 보도록 하겠습니다. 소프트웨어공학에서는 업무능력과 성숙도를 평가하기 위해, CMMI(Capability Maturity Model Integration) 인증을 하기도 하는데요. 빅데이터 시대에는 분석 능력을 평가하기 위한 인증도 나오지 않을까 하는 생각도 드네요. ^^ 분석에 대한 성숙도 모델은 2010년 Harvard Business Press에서 Thomas Davenport, Jeanne Harris, Robert Morison이 쓴 "Analytics at Work: Smarter Decisions, Better Res..

빅데이터에서의 스토리텔링 빅데이터와 관련된 책들을 읽어보면서 현재까지 가장 아쉬움이 많이 남는 책이었습니다. 빅데이터로 세상의 변화를 읽어내기 위해서는 정보에서 데이터의 흐름을 찾아내는 즉, "스토리텔링"이 중요하다고 이야기 하고 있습니다. 데이터 그 자체에는 아무런 의미가 없지만 거기서 패턴과 스토리를 읽어낼 수 있다면, 그 데이터는 엘빈 토플러가 말한 무용지식에서 유용한 지식으로 바뀐다는 것이지요. 또한 수많은 데이터들이 만들어내는 무질서한 흐름 속에서 숨겨진 패턴을 발견하는 것이 빅데이터를 정말로 의미있고 가치 있게 만드는 작업이라고 하고 있습니다. 마지막으로 빅데이터 분석의 목적이 미래를 단순히 예측하는 데만 만족하지 말고 미래에 대응하고 미래 경쟁력을 확보하며 미래 자체를 창조하는 목적이 되어야..

빅데이터의 사례로 가장 많이 이야기하는 것이 바로 "Google 독감 트렌드"입니다. 구글에 집계된 검색어를 기반으로 세계 여러 국가의 독감 유행 수준에 대한 예상 수치를 제공하는 것인데요. 이를 기반으로 빅데이터에 대한 전략이 어떻게 만들어졌는지 한번 생각해 보기로 했습니다. 데이터 수집구글 검색어가 자동으로 구글의 서버에 쌓이게 되므로 데이터의 축적은 기본적으로 이루어졌을 것입니다. 또한 검색어는 시간에 따른 분포를 나타낸다는 점과 IP를 통한 위치를 파악할 수 있다는 것을 활용한 것이라 볼 수 있습니다. 즉, 검색어, 시간대, 그리고 위치 정보를 활용해서 독감 트렌드를 분석해 낸 것이죠. 먼저 독감(ILI - influenza likeness illness)과 관련된 키워드(ILI-related q..

MongoDB를 만든 10gen의 소프트웨어 엔지니어인 Kyle Banker가 쓴 책이어서 그런지 정말 최고입니다. 몽고디비를 처음 시작하는 개발자라면 반드시 가지고 참고해야 할 책이 아닐까 합니다. 저자는 머리말에서 다음과 같이 이야기합니다. 코멘트를 남기고 트윗을 날리는 것부터 검색과 정렬에 이르기까지 우리의 디지털 상호작용은 본질적으로 데이터베이스와의 상호작용이다. 솔직직히 우리가 웹 기반의 프로그래밍이라고 하는 것이 결국은 DB에 데이터를 저장하고 추출하는 것이 대부분이라는 점을 생각하면 될 것 같습니다. 이 책은 MongoDB를 설명하기 위해 기본 개념부터 이야기를 많이 합니다. 예를 들면, MongoDB의 인덱스 설계 구조를 이야기 하기 위해 인덱스에 대한 이론적 설명부터 합니다. 책을 읽고 ..

빅데이터, 경영을 바꾸다 - 함유근.채승병 지음/삼성경제연구소 데이터를 얻는 능력, 즉 데이터를 이해하는 능력, 처리하는 능력, 가치를 뽑아내는 능력, 시각화하는 능력, 전달하는 능력이야말로 앞으로 10년간 엄청나게 중요한 능력이 될 것이다. - 할 배리언, 구글 수석 경제학자 과거를 돌이켜 보면 세상을 바꾸는 기술들이 분명히 있었습니다. 80년대 후반 처음 봤던 개인용 컴퓨터, 90년대 중반부터 사용하기 시작한 인터넷, 2000대 후반의 스마트폰 등.. 그러나 업계의 모든 기대를 받았지만 떠오르지 못하고 사라진 기술들도 많습니다. 하지만 잘 안되던 기술들이 다른 이름으로 융합되고 새롭게 나타나서 다시 성공하기도 하는 것 같습니다. 스마트폰도 2000년대 초반 PDA등의 실패가 지금 성공의 기초가 되었다..

빅데이터 비즈니스 - 스즈키 료스케 지음, 천채정 옮김/더숲 일본에서 경제경영 베스트셀러에 오른 책이라고 해서 잔뜩 기대를 하고 살펴봤습니다. 하지만 너무 번역체의 느낌이 나서 읽기가 쉽지는 않았습니다. 그래도 끝까지 읽어보니 내용 자체는 꽤 좋았다는 생각이 드네요. 빅데이터에 처음 관심을 가져본 분이라면 전체적인 개념을 잡기 위해서 한번쯤 읽어보셔도 좋을 것 같습니다. 빅데이터의 진정한 가치는 커다란 데이터 자체에 있는 것이 아니라 여기에서 추출할 수 있는 새로운 사회적 가치가 있는지 여부에서 나타난다. 먼저 1장에서 빅데이터 비즈니스란 무엇인가?를 다루고 있습니다. 빅데이터와 관련해서 스즈키 료스케는 이용사업자와 지원사업자의 관점에서 이야기를 시작합니다. 즉, 빅데이터를 활용하여 사업의 부가가치를 증..

빅데이터를 위해서는 크게 세가지 분야의 기술이 필요합니다. 첫째, 데이터의 획득 및 생성하기 위한 센서나 디바이스에 적용할 기술이 있습니다. 둘째, 데이터를 축적하기 위해 병렬처리와 같은 아키텍처나 스토리지가 관련 기술이 필요합니다. 마지막으로 축적된 데이터를 분석하기 위해 하둡과 같은 기술들이 필요하겠죠. 이번에는 축적된 빅데이터를 분석하는 기술에 대해서 한번 정리해 보려고 합니다. 흔히 빅데이터 = 하둡 이라고 생각을 많이 합니다. 전혀 틀린 이야기는 아니지만 하둡이 만능은 아니라는 점을 확실히 이야기 하고 싶습니다. 하둡은 다음과 같은 장점 때문에 빅데이터의 분석 기술로 각광받고 있습니다. 대용량 비정형 데이터를 기반으로 함.HDFS와 맵리듀스를 활용하여 쉽게 분산 처리가 가능함.PC급의 하드웨어 ..

올해부터 빅데이터에 관심이 부쩍 높아진 것 같습니다. 클라우드 환경이 대중화되고 하둡 등 분산 처리 기술이 일반화 되면서 자연스럽게 빅데이터에 대한 관심도 늘어나는 것 같습니다. 하지만 아직도 빅데이터를 단순히 대용량 데이터로만 생각하는 경향이 있어서 빅데이터의 의미와 실제 사례를 간략하게 정리해 보려고 합니다. 빅데이터 확장 배경 왜 빅데이터에 관심을 가지게 되었을까요? 먼저 하드웨어가 발달하고 ERP, CRM과 같은 것을 통해 데이터가 충분히 축적되었다는 것입니다. 이렇게 축적된 데이터를 통해 비즈니스에 기여할 수 있는 인사이트를 만들 수 있을까? 하는 고민이 빅데이터의 시작이라고 생각합니다. 모든 IT 관련 이슈들이 그러하듯 빅데이터란 것도 하루아침에 나타난 것이 아닙니다. 예전에 데이터베이스에서도..

R 소개빅데이터 처리 기술 중에 최근 인기있는 R 에 대해서 간략하게 소개합니다. R은 통계, 그래픽 작업, 통계적 프로그래밍을 하는데 매우 효과적인 툴입니다. 기존의 SAS, SPSS와 같은 통계 처리 프로그램들이 있었는데요. R은 이러한 프로그램을 대신할 수 있는 오픈소스 프로젝트로서 R에서 사용할 수 있는 애드온만 2천개가 넘을 정도로 널리 사용되고 있습니다. 여러분이 R에 대한 자료를 검색하기는 쉽지 않습니다. 당연히 R을 검색하면 R과 관련없는 수많은 자료들이 나오기 때문이죠. R에 대한 자료를 가장 많이 가지고 있는 곳은 당연히 R 프로젝트 사이트입니다. http://www.r-project.org 위 사이트에서 R 프로그램 다운로드, 애드온 패키지, 문서, 소스 코드 등을 받아서 살펴볼 수 ..

Hadoop 완벽 가이드 - 톰 화이트 지음, 심탁길.김우현 옮김/한빛미디어 최근 빅데이터 이슈와 함께 하둡이 큰 관심을 받는 것 같습니다. 해외에서는 여러 프로젝트에서 이미 도입해서 사용하고 있지만 아직까지 국내에서는 하둡을 실제 프로젝트에 사용하고 있는 업체가 생각보다 많지 않은 것 같습니다. 실제로 올 4월쯤 본격적으로 하둡을 기반으로 한 서비스를 준비하면서 살펴보니 하둡에 대한 책도 톰 화이트가 지은 "Hadoop 완벽 가이드" 하나 뿐이더군요. (지금은 다른 하둡 책이 한 권 더 나오기는 했습니다만) 이 책은 하둡에 대해서 하둡의 역사, 하둡 파일시스템, 맵리듀스 프로그래밍, 하둡 I/O, 하둡 관리, 피그/HBase/주키퍼 등 관련 상위 기술 등 하둡과 관련된 거의 모든 이슈를 한권에 담아내고..