루키의 보석함

다음과 같은 날씨가 있다고 가정해봅시다. 비가 조금이라도 온 날을 1로 보구요.. 맑은 날을 0이라고 해보죠.. 그리고 나서 일정 기간의 데이터를 보고 앞으로 비가 올지 안올지를 예측해 보는 겁니다. 먼저 위의 날씨를 R의 벡터로 표시하면 다음과 같이 할 수 있을 것입니다. 앞으로의 날씨를 예측하는 부분의 알고리즘은 여기에서는 쉽게 다수결로 한다고 생각해 보겠습니다. k라는 수를 정하고, k값이 3이면 이전 3일 데이터를 가지고 1과 0중 더 많이 나온 것을 보고, 그날의 날씨를 예측해 보는 것이죠. 위 예에서는 1일에서 3일까지의 (0, 1, 1) 세개를 보고 1이 많으므로, 4일째도 1이 나온다고 예측한다는 것이죠. (즉, 비가 온다는 것입니다.) 한번 더 생각해볼까요? k값이 5이고, 위 그림의 9..

R을 어떻게 하면 쉽게 이해할 수 있을까? 생각해봤습니다. 모든 프로그래밍 언어가 마찬가지겠지만 실제 적용하는 사례로 보는 것이 가장 좋은 방법이 아닐까 합니다. 그래서 지금부터 R에 대해서 "빅데이터 분석 도구 R 프로그래밍(노만 매트로프 지음)"의 예제로 정리해 보려고 합니다. 첫번째는 매우 쉬운 예제이기는 하지만 기본적인 R을 이해하는데 도움이 될 것 같아서 진행해 봅니다. 0과 1로만 이루어진 벡터가 있을 때, 1이 연속으로 나오는 부분을 찾는 함수입니다. 즉, (1,0,0,1,1,1,0,1,1)과 같은 벡터가 있을 때, 1이 연속으로 세번 나오는 곳을 찾으면 4가 되겠죠.. 중요한 부분이 R에서의 벡터는 1부터 시작한다는 점입니다. C/C++에 익숙했던 분들은 0부터 시작한다고 생각할 수도 있지..

지금까지 살펴본 확률분포는 모두 평균이나 분산과 같은 매개변수들을 기반으로 확률분포를 정하게 됩니다. 예를 들어, 정규분포(Normal Distribution)에서는 평균과 분산을 알고서 확률분포를 구하게 되죠.. 그런데 만약 평균과 분산과 같은 매개변수를 모를 경우, 확률 분포를 어떻게 알 수 있을까요? 특히 정규분포와 달리 여러개의 봉으로 이루어진 데이터라면, 기존의 방식으로 확률 분포를 알수는 없을 겁니다. 이렇게 매개변수가 없을 때, 확률 분포를 구하는 방법을 Nonparamtric Method라고 합니다. (보통 비모수적 방법이라고 이야기 하는 것 같습니다.) Nonparametric Method는 보통 Histogram, Kernel Density, Nearest Neighbour 세가지가 있..

R을 활용하기 위한 데이터 구조를 정리해 보도록 하겠습니다. 일반적인 프로그래밍 언어와 달리 R에서는 벡터가 중요한 역할을 합니다. 실제로 R에서는 다음과 같은 숫자나 문자열 모두 벡터로 저장됩니다. 그래서 R에서는 스칼라 혹은 단일한 수치 값은 존재하지 않습니다. 단일 숫자처럼 보이지만 실제로는 한 개의 원소를 갖는 벡터로 이해하면 됩니다. 행렬 수학에서는 행과 열로 이루어진 행렬을 많이 사용합니다. R에서도 행렬을 데이터 구조로 취급할 수 있는데요.. 행의 개수와 열의 개수를 속성으로 가지고 있는 벡터라고 생각하면 됩니다. 행렬을 만들기 위해서는 rbind()와 cbind()의 두 가지 함수를 제공합니다. 이름에 나타난 것처럼 열(row) 기준인지 행(column) 기준인지를 나타냅니다. 다음 예를 ..

미니 서평 빅데이터의 높은 관심 최근 TV 프로그램을 보니 20회 특집에서 빅데이터 분석을 통한 해당 프로그램의 현재 상태를 진단하는 것을 봤는데요. 빅데이터가 이제는 전문가들만이 사용하는 것이 아니라, 누구나 이용할 수 있는 단계로 점차 나아가고 있다는 생각이 들었습니다. 실제로 빅데이터 관련 서적들이 봇물처럼 쏟아져 나오고 있으니 그만큼 관심이 높다는 것이겠죠. 제가 이미 읽었던 기술 부분이 아닌 빅데이터 개념과 관련된 책들도 다음과 같네요. 2013/02/22 - [리뷰/도서] - 빅데이터가 만드는 비즈니스 미래지도 - 미래 경제를 움직이는 거대한 데이터 혁명 2012/12/24 - [리뷰/도서] - 빅데이터 경영을 바꾸다 - 빅데이터 시대의 새로운 기회를 찾아서 2012/11/26 - [리뷰/도서..

R에 대한 기본 실행 방법부터 간단한 사용법까지 정리해보려고 합니다. R 실행 R을 실행하는 방법은 인터렉티브 모드와 배치 모드의 두 가지가 있습니다. 앞으로의 예제들은 모두 인터렉티브 모드에서 실행하겠지만, 실제 환경에서는 경우에 따라 배치 모드를 활용할 필요도 있으므로 두 가지 실행 방법을 먼저 정리해 보려고 합니다. 인터렉티브 모드 R 설치와 관련해서 "데이터 통계 분석을 위한 R 설치"에서 정리해놨으니 참고하기 바랍니다. R이 설치되어 있는 경우, 리눅스/윈도우/맥 어디에서든 터미널에서 R을 입력하면 인터렉티브 모드를 시작할 수 있습니다. 또는 윈도우나 맥의 경우에는 R 아이콘을 더블클릭해서 실행할 수도 있습니다. 그럼 인터렉티브 모드에서 간단한 예제를 테스트해보도록 하죠. rnorm()은 랜덤하..

더 나은 의사결정의 효과를 어떻게 측정할 수 있을까요? 데이터 통합에 따른 가치 창출 효과는 어떨까요? 고객의 행동패턴 분석을 통한 인사이트 발굴의 가치는 어떻게 계산할까요? 이와같이 대부분의 분석의 가치는 유형이 아닌 무형 자산이기 때문에 측정하는 것 자체가 쉽지 않습니다. 하지만 분석 전문가들에 따르면, 분석은 비즈니스를 수행하는데 있어, 경쟁 우위를 선점하기 위한 필수 사항이라고 이야기 하고 있습니다. 실제로 제품을 개선하고, 프로세스를 최적화하고, 성과를 측정하고, 파트너를 관리하고, 변화에 빠르게 대응하기 위해서 Analytics를 사용하고 있다고 합니다. 분석을 처음 도입할 때의 주 목적은 비용 절감과 생산성 향상이었다고 합니다. 국내에서도 여러 개의 모바일 게임을 개발하는 업체들과 이야기를 ..

미니서평저자인 스티븐 레비는 10년여동안 구글에 대한 글을 써왔다고 합니다. 그래서인지 이제까지 봤던 구글과 관련된 다른 책보다는 구글 내부의 이야기를 자세히 서술하고 있습니다. 인터넷이라는 거인의 어깨 위에 올라 앉아 세상을 더 좋게, 좀더 평등하고 더 힘을 주는 곳으로 만들기 위해 고민한다. 인터넷 거인 구글 구글은 페이지랭크로 유명해진 검색엔진부터 시작해서, 현재는 모바일 OS인 안드로이드와 동영상 서비스인 유투브까지 확장하면서 진정 인터넷이라는 거인의 어깨 위에 올라온 느낌입니다. 지메일, 구글 클라우드, 구글 앱 엔진, 구글 플러스, 구글 글래스, 구글 도서, 구글 TV, 구글 자동차.... 이와 같이 이미 성공한 서비스도 있고, 앞으로의 서비스들을 계속해서 연구/개발하고 발전시켜 나가고 있지요..

분석(Analytics)이 실제로 얼마나 활용가치가 있을지, 세계적인 온라인 게임 업체인 징가(Zynga)의 사례를 살펴보도록 하죠.. Analytics의 정의, Analytics의 필요성, Analytics의 성숙도 모델에 대해서는 이전 글을 참고하기 바랍니다. Analytics 접근방식 게임은 모바일 뿐만 아니라 인터넷 산업에서 가장 성공한 비즈니스 중의 하나입니다. 하지만 분석 측면에서 보면, 게임 산업은 아직도 "fly blind" 즉 실제 통계 정보들에 의존하지 않고 새로운 게임을 감각적으로 만드는 경향이 있다고 합니다. 영화를 예로 들면, 좋은 시나리오 작가와 유명한 배우들, 그리고 훌륭한 감독을 선정해서 영화를 만든 다음, 충분한 시장조사와 사전 분석 없이 그저 대박을 기대하면서 전세계로 상..

Analytics에 대해서 좁은 의미와 넓은 의미로 정리를 했었는데요. 이번에는 Analytics IQ를 측정할 수 있는 성숙도 모델(Maturity Model)에 대해서 정리해 보도록 하겠습니다. 소프트웨어공학에서는 업무능력과 성숙도를 평가하기 위해, CMMI(Capability Maturity Model Integration) 인증을 하기도 하는데요. 빅데이터 시대에는 분석 능력을 평가하기 위한 인증도 나오지 않을까 하는 생각도 드네요. ^^ 분석에 대한 성숙도 모델은 2010년 Harvard Business Press에서 Thomas Davenport, Jeanne Harris, Robert Morison이 쓴 "Analytics at Work: Smarter Decisions, Better Res..