루키의 보석함

미니서평 제4차 산업혁명이 연일 기사화되고 있다. 작년 초 이 책의 저자인 클라우드슈밥 회장이 세계경제포럼에서 제4차 산업혁명을 언급하면서 시작되었다. 증기기관에서 전기, 그리고 컴퓨터로 이어지는 지금까지의 산업혁명은 시간이 경과된 다음에 명명되었다. 그러나 제4차 산업혁명은 그 시기가 도래하는 초기에 화두가 되고 있다. 빅데이터, 인공지능, 사물인터넷, 블록체인 등 기술의 발전에 따라 앞으로의 불확실성이 높아짐에 따라 나타난 현상으로 보인다. 불확실성(uncertainty)... 현대 사회를 관통하는 가장 적절한 단어가 아닐까 하는 생각을 한다. 프랑스 계몽시대의 철학자이자 작가인 볼테르는 '의심은 불쾌한 일이지만, 확신은 어리석은 일이다'라고 말했다. 실제로 제4차 산업혁명이 어떤 결과를 낳게 될지,..

미니서평 옥스퍼드 대학 교수인 빅토르 마이어 쇤버거 교수와 이코노미스트의 기자인 케네스 쿠키어가 쓴 빅데이터와 관련된 이야기다. 흔히 통계 분석과 빅데이터 분석을 동일하게 인식하는 경향이 있는데 두 저자는 전문가 답게 데이터의 차이, 즉 일부에서 전체로의 변화로 빅데이터를 규정하면서 글을 시작한다. 즉, 과거에는 통계 분석을 위해 샘플링된 정확하고 정밀한 데이터가 필요했지만빅데이터 분석에서는 모든 데이터를 다루기 때문에 일부 들쭉날쭉한 데이터도 문제가 없다는 점이다. 포도밭의 온도를 측정해야 한다고 생각해보자. 밭 전체에 온도 센서가 하나뿐이라면 우리는 그 센서가 언제나 정확히 작동하도록 철저히 관리해야 한다. 들쭉날쭉함은 허용되지 않는다. 그러나 포도나무 100그루마다 센서를 설치할 거라면 좀 더 저렴..

이제 본격적으로 빅데이터 가치 창출을 위한 5단계의 프로세스를 살펴보기로 한다. 이것은 일반적인 빅데이터 분석 과정인 "데이터 획득 - 데이터 준비 - 데이터 분석 - 시각화 - 활용"을 의미한다. 데이터 획득 (Acquire) 데이터 획득은은 단순히 데이터를 수집하는 것만을 의미하지 않는다. 먼저 데이터 셋을 명확하게 정의해야 한다. 어떤 데이터들이 있고, 해당 데이터의 특성이 무엇인지를 명확하게 설정해야 한다. 그리고 나서 데이터를 검색해보거나 쿼리를 할 수 있어야 한다. 개인적으로는 이 단계에서 데이터 속성을 파악하는 것이 중요하다고 생각한다. 데이터에 어떤 항목들이 포함되어 있고, 그것이 무엇을 의미하는 지를 알아야 올바른 가설 또는 문제를 정의할 수 있다. 데이터 준비 (Prepare) 데이터 ..

작년과 올해 발표된 가트너의 Hype Cycle을 기반으로 빅데이터, IoT 기술의 동향을 정리해 보려고 한다. 2014년에는 "빅데이터", "데이터 과학", "사물인터넷" 이 언급되었었는데, 2015년에는 "빅데이터"가 사라지고 "기계학습", "고급 분석", "시민 데이터 과학", "사물인터넷", "사물인터넷 플랫폼"이 등장했다. Gartner's 2014 Hype Cycle 빅데이터는 이제 환상을 점차 걷어내고 있는 추세로 2014년 가트너는 이야기했다. 그래도 안정화까지는 5~10년 정도 소요 될 것으로 보고 있다. 데이터 과학은 떠오르고 있는 분야로 설명하고 있고, 최고 정점에 올라 있는 것으로는 사물인터넷(IoT)를 이야기 하고 있다. Gartner's 2015 Hype Cycle 2015년에는..

"본 글은 2015년 8월 11일 지디넷코리아에 기고한 칼럼입니다." 최근 데이터 분석에 대한 관심이 높아지면서, 공공뿐만 아니라 민간에서도 다양한 프로젝트가 많아지고 있는 추세다.​빅데이터 프로젝트의 핵심은 데이터 규모와 관련된 것뿐만 아니라, 데이터를 분석해서 가치를 창출하고, 이를 기반으로 의사결정을 해 실제로 비즈니스에 활용하는데 있다. 데이터의 가치를 찾아내기 위해서는 끊임없이 가설을 세우고 지속적으로 검증하는 절차가 필요하다.​즉, 데이터 분석은 이러한 작업을 반복적으로 수행하면서 결과를 만들어가는 과정에 초점을 맞춰야 한다. 그러나 실제 빅데이터 프로젝트를 수행하는 형태를 살펴보면, 기존의 SI 프로젝트처럼 진행하는 경우가 많다. 대규모 SI 프로젝트를 수행하듯 전체 아키텍처를 설계하고, 주..

2015년 국가인적자원개발컨소시엄 지원사업으로 빅데이터 분석 관련 무료 교육이 진행될 예정입니다. 7월 8일(수) ~ 7월 10일(금) 까지 DMC 첨단산업센터에서 진행합니다. 1일차에는 빅데이터 분석의 필요성과 개념, 비즈니스에 적용 사례 등을 중심으로 살펴볼 계획이고2일차에는 빅데이터 분석을 위한 관련 기술들을 다뤄볼 생각입니다. 그리고 마지막 3일차에는 실제 빅데이터 분석을 어떻게 진행하는지, 어떤 방법이 더 나은 것인지 몇가지 주제를 정해서 함께 논의하면서 진행해 보려고 합니다. 정식 과정명은 "오픈소스를 활용한 빅데이터 분석 (Data Science & Analytics)"이고, 제가 강의를 진행합니다. 단순히 Hadoop이나 R 사용법만 교육하는 기존의 빅데이터 강의에서 벗어나 수강하시는 분들..

러시아의 사상가인 이사야 벌린은 사람을 "고슴도치"와 "여우"의 두 가지 유형으로 분류했다. 여우는 여러 가지 목적을 동시에 추구하면서 세상의 복잡한 면면을 두루 다룬다. 그래서 오지랖 넓게 여기 저기 기웃거리는 사람이라 할 수 있다. 반면, 고슴도치는 복잡한 세계를 단 하나의 체계적인 개념이나 기본 원리로 단순화 시킨다. 그래서 하나의 원리를 향해 외곬으로 나아가는 사람이라 할 수 있다. 원래 고슴도치와 여우는 라틴어 격언에서 시작한다. 여우는 많은 것을 알지만, 고슴도치는 큰 것 하나를 안다. (Multa novit vulpes, verum echinus unum magnum) 이사야 벌린은 톨스토이가 고슴도치 타입인지 여우 타입인지를 "전쟁과 평화"를 통해 살펴보았다고 한다. 그 결과 톨스토이는 고..

미니 서평 최근 이슈가 되는 사물 인터넷 (IoT - Internet of Things)을 살펴보기 위해 본 책이다. 저자는 스마트폰, 빅데이터, 사물인터넷을 포함해 최신 ICT 비즈니스 상황을 일목요연하게 정리하고 있다. ICT 분야의 전반적인 현재 상황과 앞으로의 발전 방향을 이해하는데 분명 도움이 된다. 다만, 전체적인 관점에서 다루다 보니 세부적인 내용이 약간 아쉽다. 예를 들어, 가장 관심을 가졌던 사물인터넷에 대해서 한 챕터에 간략하게 설명하고 있을 뿐이다. 그래도 "하드웨어 에코 시스템을 구축하고 있는 스패로"나 "Carrier IQ의 스마트폰 정보 수집" 등은 관심을 끌기에 충분했다. ICT의 최신 흐름을 파악하고 싶다면 한번쯤 읽어보기를 추천한다. 밑줄 긋기 정보의 가치는 소유하느냐로 결..

"본 글은 2014년 3월 12일 지디넷코리아에 기고한 칼럼입니다." 빅데이터에 관심이 있다면 데이터 과학자(Data Scientist)에 대해 들어 봤을 것이다. 성공적인 빅데이터 분석을 위해서 데이터 과학자들이 많이 필요하다고 한다. 데이터 과학자는 과연 어떤 역할을 할까? 2012년 하바드 비즈니스 스쿨에서 발표한 '데이터 과학자: 21세기 가장 멋진 직업'(Data Scientist: The Sexiest Job of the 21st Century)이란 자료를 보면 살펴보면 이에 대한 해답이 나와 있다. 데이터 과학자는 복잡하고 수많은 데이터를 구조화해서 분석이 가능하게 만든다. 필요한 데이터를 찾고 서로 연결하기도 하면서 데이터에서 인사이트를 찾아내는 것이다. 그리고 새롭게 찾아낸 인사이트를 비..

카프카(Kafka)는 대용량 실시간 처리를 위해 사용하는 메시징 시스템으로 Pub-Sub 구조로 되어 있다. LinkedIn, Twitter, Netflix, Tumblr, Foursquare 등 대용량을 다루는 업체들이 주로 카프카를 사용하고 있다. 물론 카프라 단독으로 실시간 처리를 구성하지 않고, 스톰(Storm) / 하둡(Hadoop) / HBase 등과 연동해서 활용하는 것이다. 아직까지 국내에서 카프카를 실제 서비스에 많이 활용하고 있지는 않고 오히려 레디스(Redis)와 같은 메모리(In-Memory) 기반의 메시지 큐나 멤캐쉬(memcached)를 더 많이 사용하는 것 같다. 하지만 전세계 40여개가 넘는 대용량을 다루는 업체들이 어떻게 카프카(Kafka)를 사용하고 있는지 한번 정리해 보..