빅데이터의 확장 배경과 실제 사례들

올해부터 빅데이터에 관심이 부쩍 높아진 것 같습니다. 

클라우드 환경이 대중화되고 하둡 등 분산 처리 기술이 일반화 되면서 자연스럽게 빅데이터에 대한 관심도 늘어나는 것 같습니다. 

하지만 아직도 빅데이터를 단순히 대용량 데이터로만 생각하는 경향이 있어서 

빅데이터의 의미와 실제 사례를 간략하게 정리해 보려고 합니다. 

빅데이터 확장 배경

왜 빅데이터에 관심을 가지게 되었을까요?

먼저 하드웨어가 발달하고 ERP, CRM과 같은 것을 통해 데이터가 충분히 축적되었다는 것입니다. 

이렇게 축적된 데이터를 통해 비즈니스에 기여할 수 있는 인사이트를 만들 수 있을까? 하는 고민이 빅데이터의 시작이라고 생각합니다. 

모든 IT 관련 이슈들이 그러하듯 빅데이터란 것도 하루아침에 나타난 것이 아닙니다. 

예전에 데이터베이스에서도 OLAP 기반의 대용량 데이터 처리에 대한 관심들이 있었죠. 

하지만 데이터의 양이 그때와 비교해 너무 크다는 이슈도 있습니다. 

• 뉴욕 증권 거래소: 1일 1TB 거래 데이터 생성
• Facebook: 100억장 사진, 수 PB 스토리지
• 통신사: 시간당 10GB이상의 통화 데이터, 1일 240GB 생성, 월 생성 데이터의 크기 200TB 이상
• 메신저: 1일 메시지 41억건

혹자들은 향후 이렇게 축적된 데이터들이 각 비즈니스 사업자간 거래까지 이루어 질 수 있다고도 이야기 합니다. 

즉, 사내에 축적된 데이터를 사고 파는 비즈니스가 만들어 질 수 있다는 것이죠. 

물론 개인정보보호와 같은 이슈들은 있지만 충분히 가능한 이야기라고 생각됩니다. 

빅데이터의 3가지 요소는 다음과 같이 규모, 속도, 다양성으로 주로 다루고 있습니다. 

아래 그림을 참고하세요. 

빅데이터 활용 사례

이런 빅데이터가 실제 어떻게 활용될 수 있는지 사례를 통해 살펴보도록 하겠습니다. 

제품 개발과 관련된 사례

가전 제품을 새롭게 만들때 소비자가 잘 사용하지 않는 기능들을 추가해서 제품 가격이나 생산 비용이 상승하는 경우가 있습니다. 

소비자가 각 기능을 사용하는 빈도를 자동으로 수집해서 분석하면 새로운 제품을 출시할 때 자주 사용하지 않는 기능을 제거할 수 있을 것입니다. 

또한, 예상하지 못한 사용으로 인한 고장등을 파악해서 제품의 성능을 확장할 수도 있겠죠. 

실제 구글에서는 GOOG-411이란 서비스를 2007년부터 2010년까지 무료로 서비스를 했었습니다. 

GOOG-411은 우리나라 114와 같은 전화번호 안내 서비스인데요. 

음성통화이기는 하지만 전화번호 안내를 모두 사람이 아닌 기계가 처리하는 방식으로 되어 있었습니다. 

구글은 왜 이 서비스를 무료로 진행했던 것일까요? 

이유는 바로 구글의 음성인식 알고리즘의 성능 향상을 위해 음성 데이터를 수집하기 위해 진행한 것입니다. 

즉, 이 기간동안 수집된 음성들을 통해서 현재 구글의 음성인식 서비스가 완성되었다고 할 수 있겠죠.. 

마케팅 관련 사례

기존의 POS 시스템을 사용해서 판매량 분석과 같은 작업은 오래전부터 이루어지고 있습니다. 

그러나 POS는 판매시점의 데이터를 분석하게 되는데요. 

빅데이터를 활용하면 고객의 활동이나 동선등을 분석해서 새로운 인사이트를 도출할 수 있다는 것입니다. 

대표적으로 상품 추천 서비스나 최적화된 광고 전송과 같은 것들이 있을 수 있습니다. 

상품 추천을 가장 처음 시작한 아마존은 킨들이라는 전자책에 밑줄 긋기 기능을 제공하고 있습니다. 

사용자가 체크한 부분을 서버에 올리고 다른 사용자와 공유할 수도 있게 구성되어 있다고 합니다. 

이것을 통해 Amazon Popular Highlights 기능을 제공하고 있는데요. 

향후, 소비자에게 책을 추천할 때 가까운 고객이 밑줄 그은 부분을 소개하면서 추천해 줄 수도 있겠죠.. 

우리나라 통신사도 망 혼잡 시간에는 3G 데이터의 과다 트래픽 사용자의 속도를 실시간으로 떨어뜨리는 방식을 취하고 있는데요. 

이런 경우에도 시시각각 생성되는 시간대별, 지역별 트래픽 이용 상황에 대한 데이터를 실시간으로 수집해서 분석하는 것으로 볼 수 있을 듯 합니다. 

기타 사례

건물이나 자동차 등에 센서를 부착해서 데이터를 지속적으로 수집한다면 

매년 또는 분기별로 시행하는 정기 검사가 아니더라도 문제가 발생하기 전에 사전에 파악할 수 있을 것입니다. 

이러한 경우, 대형 사고로 이어지는 문제를 빅데이터를 통해서 사전에 차단할 수 있겠죠. 

요즘 보안과 관련된 이슈도 많은데요. 

신용카드의 부정 사용 방지를 위해서는 결제가 일어나는 짧은 시간이내에 부정 여부를 판단해야 합니다. 

이러한 경우에 수많은 거래 데이터를 분석하기 위한 빅데이터 처리가 필요하겠죠. 

그외에도 광고에서의 부정클릭 방지도 비슷한 로직으로 처리될 것 같습니다. 

또한 GPS나 차량 운행 기록을 수집해서 경제적인 운전 여부를 판단하거나 

수집된 데이터를 통해 장치의 실제 가동 현황등을 파악할 수도 있을 것 같습니다. 

스마트폰의 활용을 분석해서 성별, 연령별 인구분포 및 지역간 인구 이동 현황도 파악이 가능하다고 하네요. 

그리고 스마트 그리드 등과 같은 전력 사용 효율화도 현재 진행중인 것으로 알고 있습니다. 

마치면서 

향후 빅데이터가 활성화되면 온오프라인이 결합된 형태로 서비스가 가능해 질 것이라고 합니다. 

현재 인터넷을 통해 옷과 같은 상품을 살펴보면 다른 사이트를 들어갈 때마다 그 옷이 계속 따라다니는 것을 경험해 보셨을 것입니다. 

바로 리타게팅 광고의 결과인데요. 

나중에는 인터넷을 통해 옷을 살펴보고 난 후, 거리를 지나가다가 그 옷이 진열된 매장의 전광판에 

"들어오셔서 한번 입어보고 가세요" 하는 광고가 나올 수도 있을 것 같다는 생각도 드네요.. ^^

여기에 이야기한 부분 이외에도 실제 빅데이터의 사례는 무궁무진할 것이라고 생각됩니다. 

원래 빅데이터가 의미 없어 보이는 데이터들을 통해서 유의미한 정보를 추출하는 것이기 때문에 

주변의 데이터들에 대해서도 한번쯤 관심을 가져보시기 바랍니다. 

그리고 앞으로 빅데이터와 관련된 인사이트가 중시되면서 빅데이터를 처리할 수 있는 기획자, 기술자, 통계학자 등이 많이 필요할 것으로 보입니다. 

지금부터 준비를 한다면 빅데이터 시대에 핵심 인재가 될 수 있지 않을까 생각합니다.