단기간에 빅데이터 인력 양성은 허구다

"본 글은 2014년 3월 12일 지디넷코리아에 기고한 칼럼입니다."

빅데이터에 관심이 있다면 데이터 과학자(Data Scientist)에 대해 들어 봤을 것이다.  

성공적인 빅데이터 분석을 위해서 데이터 과학자들이 많이 필요하다고 한다.

 

데이터 과학자는 과연 어떤 역할을 할까? 

2012년 하바드 비즈니스 스쿨에서 발표한 '데이터 과학자: 21세기 가장 멋진 직업'(Data Scientist: The Sexiest Job of the 21st Century)이란 자료를 보면 살펴보면 이에 대한 해답이 나와 있다.

 

데이터 과학자는 복잡하고 수많은 데이터를 구조화해서 분석이 가능하게 만든다. 

필요한 데이터를 찾고 서로 연결하기도 하면서 데이터에서 인사이트를 찾아내는 것이다. 

 

그리고 새롭게 찾아낸 인사이트를 비즈니스에 적용해 회사가 나아갈 방향을 제시하기도 한다. 

의사결정권자의 이해를 돕기 위해 시각화 기술을 활용하고 패턴을 제공하기도 한다. 

 

이런 데이터 과학자가 되기 위해 필요한 역량은 무엇일까? 

 

기본적으로 프로그래밍 기술, 통계, 그리고 데이터 분석에 대한 전문적 지식을 가지고 있어야 한다. 

과학자로서 호기심을 가지고 새로운 가설을 만들고 검증할 수 있어야 한다. 

이를 위해 스토리텔링 능력과 패턴 및 알고리즘 구성, 시각화 기술도 필요하다. 

분석 대상이 되는 비즈니스에 대한 전문적 지식도 당연히 필요할 것이다. 

 

이렇게 보면 데이터 과학자는 빅데이터 분석에 있어 슈퍼맨과 같은 존재로 다가온다. 

이런 슈퍼맨을 정부 등 여기저기에서 대거 양성하겠다고 한다.

 

하지만 짧은 기간 내에 데이터 과학자를 키우는건 쉽지 않다. 

최소한의 프로그래밍, 수학, 통계학, 비즈니스에 대해 가르쳐야 하기 때문이다. 

수학과 통계학만 제대로 공부하는데 10년이 걸린다고 하는 이들도 있다.

 

프로그래밍 기술과 비즈니스 교육, 거기에 스토리텔링, 시각화, 분석 기술까지 가르쳐야 한다는걸 감안하면 쓸만한 데이터과학자 양성에는 정말이지 오랜 시간이 필요할 것이다.

 

하지만 빅데이터 분석이 십여년 후에 어떻게 변화할지는 아무도 모른다. 

기술 발달로 데이터 과학자 없이 누구나 쉽게 분석을 할 수 있는 상황이 될 수도 있을 것이다. 

다시 말해 데이터 과학자가 양성될 때까지 시장은 기다려 주지 않는다는 것이다. 

 

그런만큼, 다음과 같이 역할별로 세분화해서 빅데이터 인력 양성을 하는 것이 바람직하다는게 필자의 생각이다.

 

첫째, 빅데이터 개발을 수행할 수 있는 데이터 개발자 인력을 양성하는 것이다. 

실제로 국내에도 빅데이터와 관련된 개발을 할 수 있는 엔지니어는 많이 있다. 

기존 데이터를 처리하던 데이터웨어하우스(DW)나 비즈니스 인텔리전스(BI) 개발자들이 자연스럽게 데이터 개발자 영역으로 이동할 수 있다.  

데이터 마이닝이나 텍스트 데이터를 처리했던 개발자들도 있다. 

 

빅데이터 분석과 관련하여 등장한 새로운 기술 분야별로 개발자를 양성할 수도 있다. 

하둡(Hadoop), NoSQL, R, CEP(Complex Event Processing) 등 각 개발 언어나 플랫폼에 따라 개발자들을 늘려 나가면 될 것이다. 

 

프로젝트는 팀 단위로 이뤄질 것이므로 굳이 한 명의 개발자가 모든 툴을 다 다룰 필요는 없다. 

기존 자바(Java) 개발자들이 모바일이 대세가 되면서 안드로이드 개발자로 빠르게 이동한 것처럼 

빅데이터 분석이 더욱 활성화되면 자연스럽게 기존 개발자들이 데이터 개발자로 넘어 올 것이다. 

 

둘째, 데이터 개발자가 확보 되면 이제 빅데이터 분석이 가능한 분석 전문가 양성이 필요하다. 

데이터 개발자가 데이터를 가지고 프로그램을 직접 만드는 인력이라고 한다면, 

분석 전문가는 여러 가지 데이터들을 활용해서 각종 비즈니스 질문에 해답을 제시할 수 있는 이들이다.

 

데이터 개발자는 사용하는 툴이나 언어, 플랫폼에 따라 다양한 분야로 나눌 수 있지만, 

분석 전문가는 다음과 같이 네가지 분야별로 구분해서 양성하면 좋을 것 같다. 

 

1. 비즈니스 분석 전문가 

빅데이터 분석을 하기 위해서는 비즈니스에 대한 이해가 반드시 필요하다.  

비즈니스를 이해하는 인력은 별도로 양성하기보다 기존의 인력을 충분히 활용할 수 있을 것이다.

 

새로운 사업 계획을 세우고 목표 도달 여부를 평가하기 위해서 엑셀과 같은 툴을 활용하는 인력들이 일반적으로 회사 내부에 있을 것이다. 

임원이나 의사결정권자의 비즈니스 관련 질문에 적절한 해답을 제공하던 인력도 있을 것이다. 

 

이런 역할을 수행하던 영업, 마케팅, 회계 담당 인력들이 바로 비즈니스 분석 전문가 후보가 될 수 있다. 

실제 비즈니스 분석 전문가는 외부에서 찾기 보다 내부에 있는 호기심 많은 인재를 찾아 양성하는 것이 바람직하다. 

 

2. 데이터 분석 전문가 

데이터 분석 전문가는 비즈니스와 IT의 중간 영역이라 할 수 있다. 

데이터 개발자에게 프로그래밍에 대한 방향을 제시하고, 비즈니스 분석 전문가와 함께 분석으로 도출된 인사이트에 대해 협의하기도 한다. 

 

데이터 분석 전문가가 하는 주요 작업은 데이터에 접근해서 이를 문서화하고 정리하는 것이다. 

이를 통해 현업 담당자들이 필요한 정보를 빨리 찾고 활용할 수 있도록 한다. 

데이터 분석 전문가는 데이터 포맷, 저장, 삭제, 보안 등을 담당한다고 보면 된다. 

최근 이슈가 되고 있는 개인정보보호 관련 정책도 데이터 분석 전문가를 통해서 구성할 수 있다. 

 

3. 통계 전문가 

통계 전문가는 수학과 통계학을 이해하고 데이터 마이닝 활용 방법을 알고 있는 인력이다. 

프로그래밍 정도는 아니지만 SQL이나 R을 사용해 데이터를 다룰 수 있어야 한다. 

 

통계 전문가에게 가장 중요한 작업은 바로 모델링이다. 

데이터 모델링을 통해서 비즈니스 인사이트를 도출하고, 데이터의 연관 관계와 같은 분석을 위한 알고리즘을 제시해야 한다. 

 

빅데이터 분석에서 언급하는 수많은 데이터에서 놓칠 수 있는 정보를 찾아주는 것이 바로 통계 전문가라 할 수 있다. 

이들에겐 데이터 분석 전문가가 모아둔 데이터에 대한 모델링을 할 수 있는 수학적, 통계학적 능력이 필요하다.

 

4. 데이터 과학자 

데이터 과학자는 오케스트라의 지휘자라고도 한다. 

앞서 설명한 데이터 개발자, 비즈니스 분석 전문가, 통계 전문가 역할을 모두 할 수 있는 것이 바로 데이터 과학자이다. 

 

실제 빅데이터 분석 프로젝트 팀을 이런 데이터 과학자들로만 구성할 필요는 없다. 

한 명의 데이터 과학자 지휘 아래 개발자들, 비즈니스 분석 전문가, 데이터 분석 전문가, 통계 전문가가 한 팀을 이루면 된다. 

데이터 과학자가 한 명도 없다면 다른 개발자나 분석 전문가들 중에서 가장 창의력이 뛰어난 인재를 중심으로 팀을 구성하면 된다. 

 

빅데이터 분석의 중요성이 높아질수록 데이터 과학자들이 많이 필요할 것이다. 

또 데이터 과학자를 얼마나 보유하고 있는지가 향후 빅데이터 분석의 경쟁력이 될 것은 분명하다. 

 

그러나 데이터 과학자를 바로 양성하려는 욕심을 부리지는 말자. 

데이터 개발자, 비즈니스 분석 전문가, 데이터 분석 전문가, 통계 전문가를 단계적으로 양성해 나가는 것이 더욱 필요하다.  

 

이렇게 빅데이터 분석 인력을 세분화해 양성하고 프로젝트 팀을 구성하면 빅데이터 분석을 좀 더 빨리 수행할 수 있을 것이다. 

그리고 각 담당자들이 상호 보완적으로 협력한다면, 시간이 가면서 진정한 데이터 과학자로 성장해 나가지 않을까 싶다.