빅데이터 분석의 성공 열쇠~

"본 글은 2013년 9월 5일 씨넷코리아에 기고한 칼럼입니다."

빅데이터에 대한 관심이 높아지면서 대기업 뿐만 아니라, 미래창조과학부, 서울시 등 정부기관도 

빅데이터 분석 기술과 관련된 분야에 적극적인 투자를 하고 있는 듯 합니다. 

매일일보의 김창성 기자님이 정리한 "빅데이터 시대 도래, 성공 열쇠는"이란 기사를 보면  

빅데이터에 대한 필요성은 인식하고 있지만, 성과에 대한 불확실성 등으로 인한 문제점들을 잘 지적한 것 같습니다. 

이런 문제점을 해결하기 위해 빅데이터 분석의 성공에 대한 핵심이 무엇인지 제 나름대로 생각을 정리해 봤습니다. 

빅데이터 분석은 One-Time Project가 아니다.

빅데이터 분석은 한번 구축하면 되는 SI 프로젝트가 아닙니다. 

빅데이터 분석은 장기간에 걸친 시간, 돈, 전문지식의 투자로 생각해야 합니다. 

다시말하면, 오랜 기간동안 데이터를 자산으로 만들고, 분석을 위한 인프라를 구축해야 하는 것입니다. 

그렇다면 왜 이렇게 거대한 투자를 해야 하는가? 

빅데이터 분석은 매우 빠르게 변화하는 환경에 대처하기 위한 가장 효과적인 관리방법이기 때문입니다. 

즉, Change Management(변경관리)의 활동으로서 빅데이터 분석을 바라봐야 합니다.

 

또한 제가 빅데이터에서의 Analytics의 정의 에서 이야기한 것처럼, 

넓은 의미의 빅데이터 분석을 통해 최종 목표인 비즈니스를 보다 활성화시킬 수 있습니다.

그러기 위해서 데이터에서 인사이트를 찾는 것에서 그치지 않고, 실행에 옮겨서 실제로 가시적인 효과를 만들어 내야 합니다. 

이제는 빅데이터의 필요성에 대해서는 모두 공감하는 분위기 입니다. 

그렇다면 실제로 빅데이터를 통해 비즈니스에서 성과를 낼 수 있는 방법이 필요하다고 봅니다. 

그럴때 빅데이터가 순간순간 유행하는 Buzzword가 아닌 진정한 기술로 거듭나지 않을까 합니다. 

빅데이터의 성공 요소 

그렇다면 이런 빅데이터 분석의 성공 요소는 어떤 것이 있을까요? 

개인적으로 빅데이터 분석과 관련된 기술은 별로 중요하지 않다고 봅니다. 

왜냐하면 분석 툴이나 빅데이터 관련 기술들은 학습해서 적용하는데는 그리 오랜 시간이 걸리지 않기 때문입니다. 

인재 양성

현재 빅데이터 분석과 관련하여 가장 많이 이야기하는 부분이 바로 빅데이터 인재 양성입니다. 

제가 생각해도 빅데이터 분석을 할 수 있는 인력이 가장 먼저 필요하다고 봅니다. 

여기서 인재는 빅데이터 분석 툴을 다룰 줄 아는 사람이 아닙니다. 

솔직히 기술적 스킬이 높은 사람보다는 IT를 이해하면서 수학, 통계학에 대한 지식과 분석 능력을 갖춘 사람이 더 중요하기 때문입니다. 

또한 비즈니스와 관련된 용어로 대화를 할 수 있어야 합니다. 

대부분의 해당 비즈니스 전문가들은 IT를 잘 모르기 때문에, 기술적인 멘트보다는 각 비즈니스를 이해할 수 있는 열린 마음이 있어야 합니다. 

당연히 IT 기술에 대한 이해도 높아야 하고, 특정 기술이나 방법론에 치우지지 않아야 하는 것도 중요하겠죠. 

사고방식의 변화

다음으로 중요한 것이 바로 사고 방식을 바꿔야 합니다. 

제가 빅데이터 관련 강의를 할때마다 항상 하는 이야기가 있습니다. 

우리는 주어진 문제를 해결하는데 탁월한 능력이 있습니다. 

왜냐하면 어릴 때부터 문제를 푸는 교육을 계속 받아왔기 때문이죠. 

그래서인지 스스로 문제를 만들고 나서 해결하는 능력이 부족합니다. 

이 부분이 바로 빅데이터 분석에 있어서 가장 아쉬운 부분입니다.

빅데이터 분석은 수많은 데이터에서 놓칠 수 있는 숨겨진 의미를 찾아내는 것입니다. 

이를 위해서는 상상력을 동원한 수많은 가정들을 미리 만들고, 

빅데이터를 통해 테스트하고 검증하는 것이 필요하므로 먼저 사고 방식을 변경할 필요가 있습니다. 

이런 사고방식의 변화를 쉽게 접근하기 위해서는 우선 해답을 찾으려 하지 않고, 먼저 적절한 질문을 만들어 보는 방법이 좋다고 합니다. 

사고방식의 변화와 관련해서 한가지 중요한 점이 더 있습니다. 

의사결정에 숨어있는 함정들에서 정리한 것과 같이 데이터에 의한 의사결정보다 직관적인 결정을 내리는 경우가 더 많습니다. 

특히 중요한 의사결정일수록 이러한 경향이 더욱 높다고 합니다. 

빅데이터 시대에는 데이터 분석으로 얻어낸 결과를 실제 비즈니스에 적용하는 것이 매우 중요하다고 앞서 이야기했습니다. 

그러므로 의사결정에 있어서 감각적이고 직관적인 결정보다는 데이터에 기반한 결정을 할 수 있는 문화가 중요하다고 할 수 있습니다. 

빅데이터를 위한 조직과 프로세스

빅데이터 성공을 위한 요소로 조직과 프로세스도 이야기할 수 있습니다. 

앞서 빅데이터 분석을 위한 인재의 중요성을 이야기 했지만, 한두명의 분석 전문가로 할 수 있는 것은 별로 없을지도 모릅니다. 

오히려 빅데이터 분석을 위한 센터를 구성하고, 

각 비즈니스 팀에도 분석 전문가를 배치해서 전략을 수립하고 개발, 마케팅, 판매를 진행하는 것이 바람직합니다. 

또한 빅데이터 분석을 한다는 것은 빠르게 변화 환경에 대처할 수 있다는 것이므로

개발 환경도 애자일 방법론과 같이 프로토타이핑을 통해 빨리 확인하고 수정할 수 있는 프로세스를 가지고 있어야 할 것입니다. 

전통적인 폭포수 모델과 같은 프로세스는 빅데이터 분석의 결과를 실행에 옮기는데 제약이 있기 때문이죠. 

마치면서

위에서 이야기한 인재 양성, 사고방식 변화, 조직과 프로세가 갖춰지고 나서 데이터와 관련 기술, 아키텍처들을 이야기 하는 것이 바람직하지 않을까 생각합니다. 

해외 사례를 보더라도 배치 처리를 위해서는 Hadoop을 사용하고, 

스트림데이터를 실시간으로 처리하기 위해 CEP(Complex Event Processing)을 사용하는 등 기술은 필요에 따라 골라서 활용하면 되기 때문입니다. 

전문가들은 빅데이터 분석은 IT를 넘어서 헬스케어, CRM, 제품 생산 등 각 분야로 확대되어 갈 것으로 예상하고 있습니다.  

이러한 빅데이터 분석의 성공을 위해서 어떤 것을 먼저 준비해야 할지 정리해 봤습니다.