루키의 보석함

"본 글은 2014년 2월 14일 지디넷코리아에 기고한 칼럼입니다." 최근 금융권에서 개인정보가 대량으로 유출돼 사회적으로 큰 이슈가 되고 있다. 비록 해킹을 통한 정보 유출이 아니었지만 개인정보 보호에 대한 중요성이 높아지는 계기가 됐다. 빅데이터 분석과 관련해서도 개인정보 보호 측면이 매우 중요하다. 많은 데이터를 처리하다 보면 개인 정보가 포함될 가능성이 높기 때문이다. 특히 고객 데이터를 분석해서 개별 고객에게 맞춤형 서비스로 제공한다고 가정해 보자. 고객은 기업이 제공하는 세심한 서비스에 감동할 수도 있지만, 반대로 자신의 정보가 노출됐다는 생각에 불편해 질수도 있다. 그렇다면 빅데이터 분석에서 개인정보보호는 어떻게 접근해야할까? 먼저 빅데이터를 처리하는 플랫폼에 보안 관련 요소들을 추가해야 한..

"본 글은 2014년 1월 9일 지디넷코리아에 기고한 칼럼입니다." "집에 책이 많으면 아이의 학교 성적이 좋은가?"와 같은 질문을 던지면 통계학에서 쓰이는 회귀 분석은 적절한 대답을 내놓지 않는다. 하지만 그와 약간 다른 질문에는 답을 해줄 수 있다. 예를 들면 다음과 같은 질문이다. "집에 책이 많은 아이는 집에 책이 전혀 없는 아이보다 공부를 더 잘하는 경향이 있는가?" 스티븐 레빗(Steven Levitt)이 쓴 "괴짜 경제학"에 나오는 이야기이다. 두 질문의 차이는 무엇일까? 전자는 원인과 결과를 묻는 인과관계(Causality)에 대한 질문이다. 후자는 둘 사이의 관련이 있는지를 알고자 하는 상관관계(Correlation)를 나타낸다. 분석을 통해 상관관계를 쉽게 찾을 수 있으므로 두번째 질문..

지난 11월 21일 삼성동 EMC 이펙트 데이 행사장에서 코스콤이 "빅데이터로 주가를 예측하다"라는 주제로 연초부터 진행해 온 주가예측분석 플랫폼과 활용 경험을 제시했다. 빅데이터 분석의 다양한 활용 분야 중 하나로 주식을 주목하고 있는 것이다. 기사에 따르면, 소셜 데이터를 통한 분석도 진행중이라고 한다. 기존 주식 데이터의 분석에 외부 환경을 고려한 소셜 데이터 분석은 좋은 아이디어라고 본다. 그리고 코스콤의 주가분석지수 'K-SMD12'는 국내외 증시 동향과 감성분석을 바탕으로 5일 미만의 단기예측을, 'K-SMD26'는 통계청 지표를 활용해 1개월, 6개월 이후 등 중기예측에 쓰인다고 한다. 하지만 위 제품을 검색해봐도 기사 내용 이외에는 나타나지 않아 실제 활용을 해볼 수 없다는 점과 더불어, ..

"본 글은 2013년 12월 5일 지디넷코리아에 기고한 칼럼입니다." 빅데이터 분석에 관심이 높아짐에 따라 '플라이 블라인드'(Fly Blind)라는 표현을 많이 사용한다. 앞이 안 보이는 채로 비행한다는 것이데, 비즈니스에선 데이터 분석 보단 단순히 직관에 의존해 업무을 처리하는 걸 뜻한다. 좋은 시나리오 작가와 유명 배우들 그리고 훌륭한 감독을 선정해 블록버스터 영화를 만든 다음, 충분한 시장조사와 사전 분석 없이 대박을 기대하면서 전 세계에 상영하는 것과 비슷하다 할 수 있다. 반면 빅데이터 분석은 주로 TV 시트콤에 비유된다. 시트콤은 시청자들의 피드백에 따라 시나리오나 인물 캐릭터가 변화한다. 매회 시청률 등을 분석해서 다음 회에 반영하는 방식이 쓰인다. 이게 바로 분석적인 접근이다. 처음 빅데..

"본 글은 2013년 11월 12일 지디넷코리아에 기고한 칼럼입니다." 최근 빅데이터 분석에서 실시간(real-time) 처리에 대한 요구가 늘었다. 주요 빅데이터 기술로 널리 사용하는 하둡(Hadoop)은 배치 처리에 기반해, 하둡 맵리듀스 동작 시간을 최대한 줄일 수는 있어도 실시간 처리에는 한계가 있다. 빅데이터 분석은 그동안 처리하지 못했던 많은 데이터에서 의미있는 정보를 추출해 내는 것이므로 필자는 처음에만 해도 실시간 처리는 큰 의미가 없을 것으로 판단했던게 사실이다. 그러나 데이터 분석 컨설팅을 진행하면서 실시간 처리에 대한 요구가 꽤 높다는 것을 알게 됐다. 예를 들어, 새로운 모바일 앱을 출시했을 때 사용자 증가 추이를 바로 확인하거나 광고 프로모션을 진행한다면 실시간으로 광고 효과를 알..

현재 빅데이터 관련 기술로 Hadoop이 주로 활용되고 있습니다. 그러나 최근 실시간 처리에 대한 요구가 늘어나면서 점차 In-Memory 기술에 대한 관심도 증가하고 있습니다. 과거 실시간 처리를 위한 OLTP로서 데이터베이스를 주로 사용했지만, 빅데이터 환경에서는 빠르게 생성되는 데이터 스트림을 처리하기 위해서 새로운 접근법이 필요한 것이죠. 빅데이터 분석 기술에 대한 정리 에서도 Hadoop이외의 다른 기술들을 살펴보면서, 구글에서는 Dremel을 통해 짧은 시간내에 수많은 데이터를 처리하기도 한다고 이야기했었습니다. 처리하는 영역은 조금씩 다르지만 실시간이라는 이슈를 위해 주로 사용되는 기술들에 대해서 정리해 보도록 하겠습니다. Redis Redis는 "Remote dictionary System..

지난 23일 산업통상자원부 기술표준원 주최로 "Open Cloud & Open Standard" 컨퍼런스가 열렸습니다. 최근 이슈인 오픈 스택(Open Stack)의 Tom Fifield가 오픈 클라우드 및 표준화 사례에 대해 발표하고, 래드햇(Redhat)도 최신의 오픈 소스 기반 클라우드를 소개했네요. 컨퍼런스 마지막 세션으로 클라우드를 활용한 모바일 분석 플랫폼으로 핑그래프(Fingra.ph) 발표를 했습니다. 현재까지의 Fingra.ph 진행 과정과 향후 SAAS 플랫폼으로 발전할 방향에 대해서 공유하는 자리였습니다. 참석한 많은 분들이 격려해주고 글로벌로 성장하는 Fingra.ph를 응원해 주셔서 감사했습니다.

"본 글은 2013년 10월 4일 씨넷코리아에 기고한 칼럼입니다." 일반적으로 시각화라는 것은 정보를 효율적으로 전달하기 위한 표현 기법을 의미한다. 빅데이터에서 말하는 데이터 시각화는 데이터를 분석한 결과물을 최종 사용자에게 효과적으로 전달하는 것을 의미한다. 사용자 입장에서 봤을 때 데이터 시각화가 갖는 의미는 무척 크다. Accenture 리포트에 따르면, 향후 20년 동안 데이터 기반 접근법이 모든 비즈니스에 적용될 것이라고 한다. 현재 IT 전문가나 데이터 전문가들을 위한 빅데이터 분석도 향후 누구나 쉽고 빠르게 필요한 정보에 접근할 수 있는 형태로 발전해 나갈 것으로 전망된다. 모든 사람들이 쉽고 빠르게 정보에 접근한다는 것은 바로 데이터 시각화와 관련된 문제다. 결국 향후 빅데이터 분석 플랫..

"본 글은 2013년 9월 5일 씨넷코리아에 기고한 칼럼입니다." 빅데이터에 대한 관심이 높아지면서 대기업 뿐만 아니라, 미래창조과학부, 서울시 등 정부기관도 빅데이터 분석 기술과 관련된 분야에 적극적인 투자를 하고 있는 듯 합니다. 매일일보의 김창성 기자님이 정리한 "빅데이터 시대 도래, 성공 열쇠는"이란 기사를 보면 빅데이터에 대한 필요성은 인식하고 있지만, 성과에 대한 불확실성 등으로 인한 문제점들을 잘 지적한 것 같습니다. 이런 문제점을 해결하기 위해 빅데이터 분석의 성공에 대한 핵심이 무엇인지 제 나름대로 생각을 정리해 봤습니다. 빅데이터 분석은 One-Time Project가 아니다. 빅데이터 분석은 한번 구축하면 되는 SI 프로젝트가 아닙니다. 빅데이터 분석은 장기간에 걸친 시간, 돈, 전문..

미니 서평 빅데이터의 높은 관심 최근 TV 프로그램을 보니 20회 특집에서 빅데이터 분석을 통한 해당 프로그램의 현재 상태를 진단하는 것을 봤는데요. 빅데이터가 이제는 전문가들만이 사용하는 것이 아니라, 누구나 이용할 수 있는 단계로 점차 나아가고 있다는 생각이 들었습니다. 실제로 빅데이터 관련 서적들이 봇물처럼 쏟아져 나오고 있으니 그만큼 관심이 높다는 것이겠죠. 제가 이미 읽었던 기술 부분이 아닌 빅데이터 개념과 관련된 책들도 다음과 같네요. 2013/02/22 - [리뷰/도서] - 빅데이터가 만드는 비즈니스 미래지도 - 미래 경제를 움직이는 거대한 데이터 혁명 2012/12/24 - [리뷰/도서] - 빅데이터 경영을 바꾸다 - 빅데이터 시대의 새로운 기회를 찾아서 2012/11/26 - [리뷰/도서..