빅데이터 경영을 바꾸다 - 빅데이터 시대의 새로운 기회를 찾아서

빅데이터, 경영을 바꾸다 - 함유근.채승병 지음/삼성경제연구소

데이터를 얻는 능력, 즉 데이터를 이해하는 능력, 처리하는 능력, 가치를 뽑아내는 능력, 시각화하는 능력, 전달하는 능력이야말로 앞으로 10년간 엄청나게 중요한 능력이 될 것이다. - 할 배리언, 구글 수석 경제학자

과거를 돌이켜 보면 세상을 바꾸는 기술들이 분명히 있었습니다. 

80년대 후반 처음 봤던 개인용 컴퓨터, 90년대 중반부터 사용하기 시작한 인터넷, 2000대 후반의 스마트폰 등..

그러나 업계의 모든 기대를 받았지만 떠오르지 못하고 사라진 기술들도 많습니다. 

하지만 잘 안되던 기술들이 다른 이름으로 융합되고 새롭게 나타나서 다시 성공하기도 하는 것 같습니다. 

스마트폰도 2000년대 초반 PDA등의 실패가 지금 성공의 기초가 되었다고 하고

웹 2.0도 마케팅 용어에 불과하다는 평가도 받았지만 추후 소셜 네트워크와 같은 새로운 서비스들의 성공으로 나타나기도 했구요. 

빅데이터도 이런 관점에서 바라볼 필요가 있다고 생각합니다. 

과거에 OLAP, 데이터웨어하우스, 데이터 마이닝 등 어떻게 생각해보면 우리는 이미 빅데이터란 것을 경험했었다고 볼 수 있습니다. 

즉, 빅데이터가 과거의 기술들을 기반으로 만들어진 것이라고 본다면 빅데이터는 기술의 문제가 아니라는 것입니다. 

물론 Hadoop이나 NoSQL과 같은 기술요소들은 존재하지만 어떻게 빅데이터를 활용하느냐에 문제가 더 중요하다는 것이죠. 

그런 측면에서 보면 함유근님과 채승병님이 쓴 이 책은 빅데이터를 경영에 적용하는 활용 사례를 중심으로 잘 설명하고 있습니다. 

1부 빅데이터에 주목하는 이유와 배경

먼저 제가 빅데이터의 확장 배경에 대해서 정리한대로 빅데이터의 3가지 요소인 규모(volume), 속도(velocity), 다양성(variety)에 대해서 이야기 하고 있습니다. 

그리고 빅데이터를 좁은 의미와 넓은 의미로 나누어 다음과 같이 정의합니다. 

빅데이터란 보통 수십에서 수천 테라바이트 정도의 거대한 크기를 갖고, 여러 가지 비정형 데이터를 포함하고 있으며, 생성-유통-소비가 몇 초에서 몇 시간 단위로 일어나 기존의 방식으로는 관리가 매우 어려운 데이터 집합을 의미한다. 

빅데이터란 기존의 방식으로는 관리와 분석이 매우 어려운 데이터 집합, 그리고 이를 관리, 분석하기 위해 필요한 인력과 조직 및 관련 기술까지 포괄하는 용어이다. 

마지막으로 빅데이터의 활용 배경으로 기술환경의 변화와 기업 경쟁 환경의 격화에 대해 이야기 하고 있습니다.

기술 환경의 변화와 관련해서는 다음 사항들을 다루고 있네요. 

• 저장 매체의 발달과 저장 비용의 하락
• 사람과 사람, 기계와 기계간 연결 증가
• 급격히 진보하고 있는 데이터 관리 및 분석 기술 

2부 빅데이터는 어떻게 경영을 바꾸는가?

2부는 이 책의 핵심 내용이라 할 수 있는 빅데이터가 경영을 어떻게 바꾸는지 설명하고 있습니다. 

첫째로 센서 기술과 가치 사슬의 재설계로 새로운 차원의 생산성 향상이 가능하다는 것입니다. 

동시에 생산성 향상으로 고용 감소와 같이 발생할 수 있는 점들을 지적하면서 빅데이터는 단순히 경영이나 기술적 이슈만이 아닌 사회적 정치적 관점에서 폭넓은 접근이 필요하다고 이야기 합니다. 

두번째로 발견에 의한 문제해결에 대해서 이야기 합니다. 

구글 애널리틱스(Google Analytics), 구글 트렌드(Google Trends), 구글 상관관계(Google Correlate)를 이야기 하면서 구글 검색 뒤에 숨겨진 세상의 변화 추이나 관심사들 간의 관계를 무료로 발견할 수 있다고 이야기 합니다 .

기존의 검색과 같은 방법은 무엇에 대한 답을 찾을지 미리 알고 (문제가 무엇인지 미리 알고, 즉 키워드) 시작하는 것이었지만, 

빅데이터는 창의적인 반복적 탐구 과정을 통해 무엇을 질문해야 하는지 (무엇이 문제가 되어야 하는지, 즉 검색할 키워드) 찾아내는 과정이다. 

빅데이터를 통한 발견과 관련된 "예측", "시각화", 그리고 "맞춤화"에 대해서 이야기 합니다. 

저도 실제 빅데이터를 이용하는 서비스를 구성하면서 반드시 다음과 같이 진행해야 한다고 생각하고는 있습니다. 

시각화를 통한 통계 -> 분석을 통한 리포트 -> 예측

특히 예측과 관련해서 고민을 많이 하고 있었는데요. 이 책에서는 예측을 위해서는 모델(model)이 있어야 한다고 하네요. 

'기업의 매출은 광고비에 비례한다'라고 하면 'Y(매출) = aX1(광고비) + b'라는 모델이 성립하고, 

이 모델이 적절하다면 기업은 앞으로 얼마의 광고비를 투입하면 매출이 어느 정도 될지 예측할 수 있다는 것이죠. 

그런데 빅데이터를 통한 예측을 하게 되면 다양한 변수들를 찾아서 예측력을 높일 수 있다고 합니다. 

'Y(매출) = aX1(광고비) + bX2(회사 웹사이트의 상품 홍보 클릭 수) + cX3(SNS에서 자사 제품 등장 수) + d(상수)'와 같이 모델을 확장할 수 있다는 것이죠. 

위 예제는 간단한 선형회귀식이지만 이론적으로는 다른 복잡한 형태의 예측 모형 구축도 가능해지면서 예측력을 한층 높일 수 있다고 하네요. 

세번째로 의사결정의 과학화와 자동화에 대해서 이야기 합니다. 

시장조사기관인 포레스터 리서치에 따르면 과거 20년에서 25년 동안 기업들이 활용 가능한 정보의 5%만으로 의사 결정을 해왔다고 합니다. 

즉 데이터보다 직관에 의존한 의사결정을 많이 해왔다는 것인데요. 이럴 때 발생할 수 있는 오류나 편견에 대해서도 많은 연구 결과들이 있습니다. 

빅데이터를 의사결정에 활용하는 4단계를 저자는 다음과 같이 이야기하고 있습니다. 

1단계: What happened? (회사의 영업 이익이 얼마나 되는지 답하는 수준)

2단계: Where exactly is the problem? (사용자 관점에서 지난주 어떤 영업점의 매출이 높았고 어떤 제품이 잘 팔렸는지 답을 주는 단계)

3단계: What is happening next? (다음달에 어떤 제품이 가장 잘 팔릴지 예측하고 어떤 고객을 대상으로 판촉해야 하는지 예측하는 단계)

4단계: What's the best that can happen? (핵심 의사 결정까지 컴퓨터에 의해 제안되어 더욱 신속하고 정확한 판단과 행도이 가능해지는 단계)

여기에서도 3단계에 예측이 나오는데요. 

구글의 수석 경제학자 할 배리언은 예측은 남들이 예상치 못하는 점을 잡아낼 수 있어야 한다며 다음과 같이 이야기 했다고 합니다. 

돈을 벌기 위해서는 '어떤 일이 벌어질 것인가'와 '사람들이 생각하는 일이 일어날 것인가' 이 두 가지를 예측할 수 있어야 한다. 

돈을 버는 경우는 두 예상치의 차이를 알 수 있을 때이다. 

즉, 다들 예상치 못하는 바를 예측하는 것이 더 정확히 예측하는 것보다 훨씬 값어치가 있다는 것이죠. 

네번째로 새로운 고객 가치와 비즈니스의 창출에 대해서 이야기 합니다. 

빅데이터를 활용한 새로운 비즈니스 중 다양한 혁신으로 신산업을 개척하고 있는 '맥락/상황 인식 비즈니스'와 이를 스마트폰 내에서 구현하는 '스마트 모빌리티 비즈니스', 그리고 '자원 이용 최적화 비즈니스'에 대해서 다루고 있습니다 

참고로 IBM의 2011년 스마트 커머스 보고서에 따르면, 네가지 분야에서 스마트 비즈니스가 진전되고 있다고 합니다. 

물건을 구매하거나(Buy) 거래하는(Market) 부분, 물건을 판매하거나(Sell) 서비스하는(Service) 부분에서 컴퓨터가 사람의 수고를 덜어주면서 스스로 판단해 좀 더 효율적이고 효과적으로 작업을 수행한다는 것이죠. 

3부 빅데이터 시대를 위한 제언

여기에서는 한국 현실에 맞추어 빅데이터 시대를 위한 문제 점검과 해결 방향에 대해서 이야기 합니다. 

특히 관심이 갔던 부분은 빅데이터가 얼마나 지속될 것인가? 하는 것이었습니다. 

실제로 IT 업계의 각종 기술들이 유행과 실망이 반복되는 패턴을 보여왔고 가트너에서도 Hype Curve라는 과장광고 곡선이라는 것도 있다고 하네요. 

1단계(기술 도입기): 기술이 주목받는 계기 (Technology Trigger)

2단계(기대 절정기): 부풀려진 기대의 절정 (Peak of Inflated Expectations)

3단계(실망/침체기): 환멸의 바닥 (Trough of Disillusionment)

4단계(재조명/부상기): 이해의 상승 (Slope of Enlightenment)

5단계(생산성 안정기): 생산성의 안정 (Plateau of Productivity)

과연 빅데이터는 3단계에서 사라질까요? 아니면 5단계까지 성장할 수 있을까요?