'빅데이터 분석'에 해당되는 글 3건

  1. 2015.08.12 빅데이터 분석, SI사고방식 버려라
  2. 2015.06.15 빅데이터 분석 무료 교육 안내~
  3. 2013.09.03 빅데이터 분석의 성공 열쇠~

빅데이터 분석, SI사고방식 버려라

|



"본 글은 2015년 8월 11일 지디넷코리아에 기고한 칼럼입니다."


최근 데이터 분석에 대한 관심이 높아지면서, 공공뿐만 아니라 민간에서도 다양한 프로젝트가 많아지고 있는 추세다.

빅데이터 프로젝트의 핵심은 데이터 규모와 관련된 것뿐만 아니라, 

데이터를 분석해서 가치를 창출하고, 이를 기반으로 의사결정을 해 실제로 비즈니스에 활용하는데 있다. 

데이터의 가치를 찾아내기 위해서는 끊임없이 가설을 세우고 지속적으로 검증하는 절차가 필요하다.

즉, 데이터 분석은 이러한 작업을 반복적으로 수행하면서 결과를 만들어가는 과정에 초점을 맞춰야 한다. 

그러나 실제 빅데이터 프로젝트를 수행하는 형태를 살펴보면, 기존의 SI 프로젝트처럼 진행하는 경우가 많다. 

대규모 SI 프로젝트를 수행하듯 전체 아키텍처를 설계하고, 주어진 일정에 맞춰서 WBS(Work Breakdown Structure)를 구성한다. 

그리고 미리 정해진 일정에 따라 구현 및 테스트를 통해서 프로젝트의 결과물을 만들어내기를 원한다.

이 과정에서 데이터 분석을 위한 가설 수립과 수많은 테스트를 통한 검증은 외면당하기도 한다. 

실제 프로젝트 수행시 데이터 분석에서 "왜 이런 반복적인 프로세스가 필요한가?"를 설득하고 이해하는데 어려움이 있다. 

심지어 데이터 분석 결과 원하지 않는 결과가 나올 수도 있다고 하면 고객은 당황하기도 한다.


다양한 측면에서 데이터를 분석해 보면 처음 설정한 가설이 틀릴 수도 있다. 

이런 결과를 확인한 것도 분명히 성과임에도 고객은 실패로 받아들이는 것이다.

성공적으로 분석 결과가 나와서 새로운 서비스에 적용하면 끝이라는 생각도 위험하다. 

베이즈 정리에서 축적된 데이터를 기반으로 확률을 높여가면서 보다 정확한 예측을 하는 것처럼, 

분석 결과로 제공하는 서비스의 데이터를 다시 입력으로 보고 한번 더 분석, 검증하는 과정을 거치면서 지속적으로 정확도를 높여나가야 한다.

결론적으로 올바른 빅데이터 프로젝트를 수행하기 위해서는 가설 수립, 분석 모델 설정, 설계, 검증을 반복적이면서 체계적으로 관리할 수 있어야 한다. 

그래서 애자일 방법론이 폭포수 모델 기반의 기존 방법론보다 빅데이터 프로젝트에 더 적합하다고 볼 수 있다. 

전체 프로젝트의 일정을 짧게 나누고 계획, 분석, 검증 작업을 반복적으로 수행하면서 최선의 결과를 찾아나가는 방식이 빅데이터 분석에 어울리는 것이다.

또 빅데이터 프로젝트는 기존의 SI를 담당하는 IT 부서나 개발자 위주로 진행하면 안 된다.

첫째, 실제 빅데이터 프로젝트에는 다양한 이해 관계자들이 존재한다. 

비즈니스 전문가, 데이터 분석가, 통계 전문가, 시각화 전문가, 개발자 등이 모두 참여하는 복합적인 프로젝트이다.

각각의 이해 관계자들이 끊임없이 의사 소통하면서 기존의 발견하지 못한 무언가를 찾아내는 것이 필요하다. 

보다 효과적인 의사 소통을 위해서 난해한 개발자들의 용어가 아니라 공통의 언어로 소통할 필요가 있다. 

그러므로 개발자가 아닌 비즈니스 전문가나 데이터 분석가 중심으로 프로젝트를 수행하는 것이 바람직하다고 본다.

둘째, 일반적으로 개발자는 결과물을 만들어 내기 위한 기술이나 도구에 집중하는 경향이 높다. 

물론 빅데이터 프로젝트를 수행하는데 있어 어떤 도구를 활용하고, 어떤 기술을 사용하는지는 잘 결정해야 할 필요가 있다. 

그러나 앞서 언급한 대로 실제 빅데이터 프로젝트는 결과물을 기반으로 새로운 서비스를 창출하거나 보다 효과적인 의사결정에 활용하는 것이 더욱 중요하다. 

그러므로 기술이나 도구보다 어떻게 결과물을 검증하고 분석 모델을 보완해 나갈 것인지에 대해 보다 관심을 가져야 한다.

성공적인 빅데이터 프로젝트를 위해 관리자는 개발이 아닌 데이터 분석에 초점을 맞출 필요가 있다. 

실제 현장에선 개발에 초점이 맞춰진 경우도 종종 있는데, 지켜보는 입장에서 아쉬울 따름이다.




Trackback 0 And Comment 0

빅데이터 분석 무료 교육 안내~

|



2015년 국가인적자원개발컨소시엄 지원사업으로 빅데이터 분석 관련 무료 교육이 진행될 예정입니다. 

7월 8일(수) ~ 7월 10일(금) 까지 DMC 첨단산업센터에서 진행합니다. 


1일차에는 빅데이터 분석의 필요성과 개념, 비즈니스에 적용 사례 등을 중심으로 살펴볼 계획이고

2일차에는 빅데이터 분석을 위한 관련 기술들을 다뤄볼 생각입니다. 

그리고 마지막 3일차에는 실제 빅데이터 분석을 어떻게 진행하는지, 어떤 방법이 더 나은 것인지 몇가지 주제를 정해서 함께 논의하면서 진행해 보려고 합니다. 


정식 과정명은 "오픈소스를 활용한 빅데이터 분석 (Data Science & Analytics)"이고, 제가 강의를 진행합니다. 

단순히 Hadoop이나 R 사용법만 교육하는 기존의 빅데이터 강의에서 벗어나 

수강하시는 분들이 실질적인 빅데이터 분석을 할 수 있도록 하는데 초점을 맞추고 진행하려고 생각하고 있습니다. 


재직자 대상 무료 교육으로 다음 신청 양식을 작성 후, 이메일(june@kossa.kr)로 송부하면 된다고 합니다. 

1. 국가인적자원개발 컨소시엄 협약서 직인포함_2015031

2. 훈련과정_수강신청서_교육생_2015.docx


수강 신청과 관련하여 문의사항은 한국공개소프트웨어협회 김학준 팀장(070-7730-7820, june@kossa.kr)로 하시기 바랍니다. 


관심 있는 분들의 참여 바랍니다. 





Trackback 0 And Comment 0

빅데이터 분석의 성공 열쇠~

|



"본 글은 2013년 9월 5일 씨넷코리아에 기고한 칼럼입니다."


빅데이터에 대한 관심이 높아지면서 대기업 뿐만 아니라, 미래창조과학부, 서울시 등 정부기관도 

빅데이터 분석 기술과 관련된 분야에 적극적인 투자를 하고 있는 듯 합니다. 


매일일보의 김창성 기자님이 정리한 "빅데이터 시대 도래, 성공 열쇠는"이란 기사를 보면  

빅데이터에 대한 필요성은 인식하고 있지만, 성과에 대한 불확실성 등으로 인한 문제점들을 잘 지적한 것 같습니다. 

이런 문제점을 해결하기 위해 빅데이터 분석의 성공에 대한 핵심이 무엇인지 제 나름대로 생각을 정리해 봤습니다. 



빅데이터 분석은 One-Time Project가 아니다.


빅데이터 분석은 한번 구축하면 되는 SI 프로젝트가 아닙니다. 

빅데이터 분석은 장기간에 걸친 시간, 돈, 전문지식의 투자로 생각해야 합니다. 

다시말하면, 오랜 기간동안 데이터를 자산으로 만들고, 분석을 위한 인프라를 구축해야 하는 것입니다. 


그렇다면 왜 이렇게 거대한 투자를 해야 하는가? 

빅데이터 분석은 매우 빠르게 변화하는 환경에 대처하기 위한 가장 효과적인 관리방법이기 때문입니다. 

즉, Change Management(변경관리)의 활동으로서 빅데이터 분석을 바라봐야 합니다.

 

또한 제가 빅데이터에서의 Analytics의 정의 에서 이야기한 것처럼, 

넓은 의미의 빅데이터 분석을 통해 최종 목표인 비즈니스를 보다 활성화시킬 수 있습니다.

그러기 위해서 데이터에서 인사이트를 찾는 것에서 그치지 않고, 실행에 옮겨서 실제로 가시적인 효과를 만들어 내야 합니다. 


이제는 빅데이터의 필요성에 대해서는 모두 공감하는 분위기 입니다. 

그렇다면 실제로 빅데이터를 통해 비즈니스에서 성과를 낼 수 있는 방법이 필요하다고 봅니다. 

그럴때 빅데이터가 순간순간 유행하는 Buzzword가 아닌 진정한 기술로 거듭나지 않을까 합니다. 


빅데이터의 성공 요소 


그렇다면 이런 빅데이터 분석의 성공 요소는 어떤 것이 있을까요? 

개인적으로 빅데이터 분석과 관련된 기술은 별로 중요하지 않다고 봅니다. 

왜냐하면 분석 툴이나 빅데이터 관련 기술들은 학습해서 적용하는데는 그리 오랜 시간이 걸리지 않기 때문입니다. 


인재 양성


현재 빅데이터 분석과 관련하여 가장 많이 이야기하는 부분이 바로 빅데이터 인재 양성입니다. 

제가 생각해도 빅데이터 분석을 할 수 있는 인력이 가장 먼저 필요하다고 봅니다. 

여기서 인재는 빅데이터 분석 툴을 다룰 줄 아는 사람이 아닙니다. 

솔직히 기술적 스킬이 높은 사람보다는 IT를 이해하면서 수학, 통계학에 대한 지식과 분석 능력을 갖춘 사람이 더 중요하기 때문입니다. 


또한 비즈니스와 관련된 용어로 대화를 할 수 있어야 합니다. 

대부분의 해당 비즈니스 전문가들은 IT를 잘 모르기 때문에, 기술적인 멘트보다는 각 비즈니스를 이해할 수 있는 열린 마음이 있어야 합니다. 

당연히 IT 기술에 대한 이해도 높아야 하고, 특정 기술이나 방법론에 치우지지 않아야 하는 것도 중요하겠죠. 


사고방식의 변화


다음으로 중요한 것이 바로 사고 방식을 바꿔야 합니다. 

제가 빅데이터 관련 강의를 할때마다 항상 하는 이야기가 있습니다. 


우리는 주어진 문제를 해결하는데 탁월한 능력이 있습니다. 

왜냐하면 어릴 때부터 문제를 푸는 교육을 계속 받아왔기 때문이죠. 

그래서인지 스스로 문제를 만들고 나서 해결하는 능력이 부족합니다. 


이 부분이 바로 빅데이터 분석에 있어서 가장 아쉬운 부분입니다.

빅데이터 분석은 수많은 데이터에서 놓칠 수 있는 숨겨진 의미를 찾아내는 것입니다. 

이를 위해서는 상상력을 동원한 수많은 가정들을 미리 만들고, 

빅데이터를 통해 테스트하고 검증하는 것이 필요하므로 먼저 사고 방식을 변경할 필요가 있습니다. 


이런 사고방식의 변화를 쉽게 접근하기 위해서는 우선 해답을 찾으려 하지 않고, 먼저 적절한 질문을 만들어 보는 방법이 좋다고 합니다. 


사고방식의 변화와 관련해서 한가지 중요한 점이 더 있습니다. 

의사결정에 숨어있는 함정들에서 정리한 것과 같이 데이터에 의한 의사결정보다 직관적인 결정을 내리는 경우가 더 많습니다. 

특히 중요한 의사결정일수록 이러한 경향이 더욱 높다고 합니다. 


빅데이터 시대에는 데이터 분석으로 얻어낸 결과를 실제 비즈니스에 적용하는 것이 매우 중요하다고 앞서 이야기했습니다. 

그러므로 의사결정에 있어서 감각적이고 직관적인 결정보다는 데이터에 기반한 결정을 할 수 있는 문화가 중요하다고 할 수 있습니다. 


빅데이터를 위한 조직과 프로세스


빅데이터 성공을 위한 요소로 조직과 프로세스도 이야기할 수 있습니다. 

앞서 빅데이터 분석을 위한 인재의 중요성을 이야기 했지만, 한두명의 분석 전문가로 할 수 있는 것은 별로 없을지도 모릅니다. 


오히려 빅데이터 분석을 위한 센터를 구성하고, 

각 비즈니스 팀에도 분석 전문가를 배치해서 전략을 수립하고 개발, 마케팅, 판매를 진행하는 것이 바람직합니다. 


또한 빅데이터 분석을 한다는 것은 빠르게 변화 환경에 대처할 수 있다는 것이므로

개발 환경도 애자일 방법론과 같이 프로토타이핑을 통해 빨리 확인하고 수정할 수 있는 프로세스를 가지고 있어야 할 것입니다. 

전통적인 폭포수 모델과 같은 프로세스는 빅데이터 분석의 결과를 실행에 옮기는데 제약이 있기 때문이죠. 


마치면서


위에서 이야기한 인재 양성, 사고방식 변화, 조직과 프로세가 갖춰지고 나서 데이터와 관련 기술, 아키텍처들을 이야기 하는 것이 바람직하지 않을까 생각합니다. 

해외 사례를 보더라도 배치 처리를 위해서는 Hadoop을 사용하고, 

스트림데이터를 실시간으로 처리하기 위해 CEP(Complex Event Processing)을 사용하는 등 기술은 필요에 따라 골라서 활용하면 되기 때문입니다. 

전문가들은 빅데이터 분석은 IT를 넘어서 헬스케어, CRM, 제품 생산 등 각 분야로 확대되어 갈 것으로 예상하고 있습니다.  

이러한 빅데이터 분석의 성공을 위해서 어떤 것을 먼저 준비해야 할지 정리해 봤습니다. 





Trackback 0 And Comment 0
prev | 1 | next