빅데이터 주가 예측 본격화 될 것인가?

지난 11월 21일 삼성동 EMC 이펙트 데이 행사장에서 

코스콤이 "빅데이터로 주가를 예측하다"라는 주제로 연초부터 진행해 온 주가예측분석 플랫폼과 활용 경험을 제시했다. 

빅데이터 분석의 다양한 활용 분야 중 하나로 주식을 주목하고 있는 것이다. 

기사에 따르면, 소셜 데이터를 통한 분석도 진행중이라고 한다. 

기존 주식 데이터의 분석에 외부 환경을 고려한 소셜 데이터 분석은 좋은 아이디어라고 본다. 

그리고 코스콤의 주가분석지수 'K-SMD12'는 국내외 증시 동향과 감성분석을 바탕으로 5일 미만의 단기예측을, 

'K-SMD26'는 통계청 지표를 활용해 1개월, 6개월 이후 등 중기예측에 쓰인다고 한다. 

하지만 위 제품을 검색해봐도 기사 내용 이외에는 나타나지 않아 실제 활용을 해볼 수 없다는 점과 더불어, 

이러한 배경에 하둡(Hadoop)이나 R과 같은 오픈 소스를 사용했다고 하면서 기존 솔루션 공급 업체에 의존했다는 것이 아쉬워 보인다. 

실제 주가와 관련된 데이터는 국내에서 코스콤이 가장 빠르게 수집할 수 있으며, 가장 많이 보관하고 있을 것이다. 

필자가 기계학습 관련 글에서 자주 언급한 것처럼, 어떤 알고리즘도 데이터 양을 이길 수 없다고 한다.   

구글이 빅데이터 분석의 선두주자가 된 것도, 페이스북이 빠르게 분석 시장의 전면에 나타난 이유도 바로 확보한 데이터 양 때문이라고 본다. 

코스콤은 주가 데이터와 관련된 선점 우위 요소를 가지고 있으면서도

이것을 분석하는 것을 외부의 솔루션에 의존했다는 것이 아이러니하다는 것이다. 

필자가 다니는 회사에서도 주가 예측 서비스인 핑거스탁(Finger Stock)을 올해 3월 부터 모바일 환경에서 제공하고 있다. 

내부적으로 서포트벡터머신(SVM), 다변수 적응 회귀 스플라인(MARS), 신경망(NN) 알고리즘에 따라 예측을 하고 있다. 

사용하고 있는 지표들의 수도 50여가지가 넘는다. 

주가 데이터가 자주 변경되므로 매주 훈련을 통햬 업데이트를 하고 있는데, 

국내 전 종목을 훈련하는데 약 60여시간이 소요되고 있다. 

이러한 분석은 위에서 이야기한 하둡(Hadoop), R, HBase, 에스퍼(Esper) 등을 이용해서 수행하고 있다. 

당연히 외부 솔루션이 아닌 오픈 소스를 직접 설정해서 구현하고 있다. 

해당 프로젝트를 총괄하는 개발 책임자는 "국내 개미 투자자들이 이러한 포괄적인 분석에 의존하지 않고,

일부 차트 지표와 감에 따라 투자하는 경향이 있어 핑거스탁과 같은 서비스를 무료로 제공하고자 했다"라고 이야기 한다. 

하지만 약 1년여동안의 서비스를 해본 결과, 좀 더 이해하기 쉽게 서비스를 제공해야 한다는 점을 파악했다. 

또한 실제로 이러한 예측이 얼마나 정확했는지를 내부적으로도 정량화 할 필요가 있어 

최근에는 블로그를 통해 사전에 예측된 몇몇 정보를 제공하고, 댓글로 5일 후 결과를 추적하고 있다. 

사용자들의 반응이 좋다면 알고리즘을 더욱 추가하고, 더불어 주가 시뮬레이션 등 새로운 방향을 모색해 볼 계획이다. 

코스콤에서도 이러한 데이터 분석을 좀 더 공개해 일반 투자자들이 활용할 수 있도록 제공해 주고

알고리즘이나 분석 방법 등을 교류하면서 상호 발전해 나갈 수 있었으면 한다.