컴퓨터, 독서, 학습, 그리고 사람

선형 회귀 분석에서 분석 데이터의 적합성 여부를 항상 고려해야 한다. 적합성 여부를 확인하는 방법 중 먼저 "결정계수(Coefficient of Determination, R-Square, R-제곱값, R2, R^2)"를 알아보자~ 결정계수는 "수식이 얼마나 X와 Y의 관계를 잘 표현하고 있는지" 나타내는 기준이다. 결정계수 (r-square) 일반적으로 결정계수는 0과 1사이의 값을 갖는데, 관계가 높을 수록 1에 가까운 값을 갖는다. 즉, 0에 가까워질수록, 수식에 데이터 분포를 제대로 표현하지 못하는 것이며, 1에 가까워지면 모든 데이터가 해당 수식에 접근한다는 것을 나타낸다. 결정계수를 나타내는 수식을 보면 다음과 같다. SSR, SST, SSE?? 처음 접할 경우, 용어를 모르기 때문에 어렵게 ..

엑셀을 활용하여 선형 회귀 분석을 만드는 방법을 살펴봤다. 분산형 차트를 통해 선형 그래프를 그릴 수 있었다. 아래 그림을 보면, y= 0.002x - 0.6 이라는 수식이 보인다. 이것이 선형 회귀 분석에서 가장 필요로 하는 기본 수식이다. 선형 회귀 분석은 새로운 X 값이 주어졌을 때, Y 값을 예측하는 용도로 주로 사용한다. 위 예제는 "노출에 따른 클릭 수"로서 "만약 노출이 1500번 일어났다면, 클릭은 몇번 일어날까?" 같은 질문에 답을 줄 수 있다. 위 수식에서 x 대신 1500을 대입하면 된다. y = 0.002 x 1500 - 0.6 = 2.4 즉, 1500번 노출이 발생하면 2.4의 클릭이 일어날 것이라고 할 수 있다. 이런 수식을 선형 회귀 분석에서는 어떻게 구할까? "최소 자승법"이..

엑셀은 장부 정리와 같은 기본적인 스타일시트 툴로 잘 알려져 있지만, 분석(Analysis) 측면에서도 정말 괜찮은 프로그램이다. 오늘은 엑셀을 이용해서 선형 회귀 분석을 수행하는 방법을 정리해 보려고 한다. 선형 회귀 분석(Linear Regression)… 말이 어려워 보일 뿐, 중고등학교 시절 수학 시간에 배운 X축, Y축의 선형 그래프를 생각해 보면 된다. 엑셀로 선형 회귀 분석을 하기 위해서 간단한 데이터를 만들어 보자. 광고 노출과 클릭간의 관계를 살펴볼 수 있는 데이터를 가상으로 구성한다. (다음 글에서 실제 광고 노출/클릭 데이터를 가지고 회귀분석을 해 볼 계획이다.) 다음과 같은 결과를 만드는 것이 최종 목표이다. 분산형 차트 활용 먼저 엑셀에서 출력할 위 데이터를 모두 선택한 후, "삽..

카프카(Kafka)는 대용량 실시간 처리를 위해 사용하는 메시징 시스템으로 Pub-Sub 구조로 되어 있다. LinkedIn, Twitter, Netflix, Tumblr, Foursquare 등 대용량을 다루는 업체들이 주로 카프카를 사용하고 있다. 물론 카프라 단독으로 실시간 처리를 구성하지 않고, 스톰(Storm) / 하둡(Hadoop) / HBase 등과 연동해서 활용하는 것이다. 아직까지 국내에서 카프카를 실제 서비스에 많이 활용하고 있지는 않고 오히려 레디스(Redis)와 같은 메모리(In-Memory) 기반의 메시지 큐나 멤캐쉬(memcached)를 더 많이 사용하는 것 같다. 하지만 전세계 40여개가 넘는 대용량을 다루는 업체들이 어떻게 카프카(Kafka)를 사용하고 있는지 한번 정리해 보..

현재 빅데이터 관련 기술로 Hadoop이 주로 활용되고 있습니다. 그러나 최근 실시간 처리에 대한 요구가 늘어나면서 점차 In-Memory 기술에 대한 관심도 증가하고 있습니다. 과거 실시간 처리를 위한 OLTP로서 데이터베이스를 주로 사용했지만, 빅데이터 환경에서는 빠르게 생성되는 데이터 스트림을 처리하기 위해서 새로운 접근법이 필요한 것이죠. 빅데이터 분석 기술에 대한 정리 에서도 Hadoop이외의 다른 기술들을 살펴보면서, 구글에서는 Dremel을 통해 짧은 시간내에 수많은 데이터를 처리하기도 한다고 이야기했었습니다. 처리하는 영역은 조금씩 다르지만 실시간이라는 이슈를 위해 주로 사용되는 기술들에 대해서 정리해 보도록 하겠습니다. Redis Redis는 "Remote dictionary System..

더 나은 의사결정의 효과를 어떻게 측정할 수 있을까요? 데이터 통합에 따른 가치 창출 효과는 어떨까요? 고객의 행동패턴 분석을 통한 인사이트 발굴의 가치는 어떻게 계산할까요? 이와같이 대부분의 분석의 가치는 유형이 아닌 무형 자산이기 때문에 측정하는 것 자체가 쉽지 않습니다. 하지만 분석 전문가들에 따르면, 분석은 비즈니스를 수행하는데 있어, 경쟁 우위를 선점하기 위한 필수 사항이라고 이야기 하고 있습니다. 실제로 제품을 개선하고, 프로세스를 최적화하고, 성과를 측정하고, 파트너를 관리하고, 변화에 빠르게 대응하기 위해서 Analytics를 사용하고 있다고 합니다. 분석을 처음 도입할 때의 주 목적은 비용 절감과 생산성 향상이었다고 합니다. 국내에서도 여러 개의 모바일 게임을 개발하는 업체들과 이야기를 ..

분석(Analytics)이 실제로 얼마나 활용가치가 있을지, 세계적인 온라인 게임 업체인 징가(Zynga)의 사례를 살펴보도록 하죠.. Analytics의 정의, Analytics의 필요성, Analytics의 성숙도 모델에 대해서는 이전 글을 참고하기 바랍니다. Analytics 접근방식 게임은 모바일 뿐만 아니라 인터넷 산업에서 가장 성공한 비즈니스 중의 하나입니다. 하지만 분석 측면에서 보면, 게임 산업은 아직도 "fly blind" 즉 실제 통계 정보들에 의존하지 않고 새로운 게임을 감각적으로 만드는 경향이 있다고 합니다. 영화를 예로 들면, 좋은 시나리오 작가와 유명한 배우들, 그리고 훌륭한 감독을 선정해서 영화를 만든 다음, 충분한 시장조사와 사전 분석 없이 그저 대박을 기대하면서 전세계로 상..

Analytics에 대해서 좁은 의미와 넓은 의미로 정리를 했었는데요. 이번에는 Analytics IQ를 측정할 수 있는 성숙도 모델(Maturity Model)에 대해서 정리해 보도록 하겠습니다. 소프트웨어공학에서는 업무능력과 성숙도를 평가하기 위해, CMMI(Capability Maturity Model Integration) 인증을 하기도 하는데요. 빅데이터 시대에는 분석 능력을 평가하기 위한 인증도 나오지 않을까 하는 생각도 드네요. ^^ 분석에 대한 성숙도 모델은 2010년 Harvard Business Press에서 Thomas Davenport, Jeanne Harris, Robert Morison이 쓴 "Analytics at Work: Smarter Decisions, Better Res..

모바일 분야의 신규 비즈니스를 위해 모바일 앱을 만들 때 어떤 점들을 고려해야 할까요? 먼저 훌륭한 기획이나 전략이 필요할 것입니다. 당연히 직관적인 디자인과 안정적인 개발은 필수 항목이겠죠. 그런데 사용자의 실행 형태를 측정하고, 모바일 앱을 통해 얻고자 하는 가치를 확인하는 것 또한 매우 중요합니다. 실제로 스마트폰이 우리 생활 깊숙이 들어오면서, 마케터나 개발자들이 사용자의 행태를 분석하기 위해 지속적인 노력을 기울이고 있는 상황입니다. 모바일 비즈니스는 시작된지 얼마 안되었지만 서로 좋은 앱으로 경쟁하려는 플랫폼이나 서비스들이 많기 때문에, 모바일 앱 분석을 통한 사용자 행태를 파악해서 경쟁력을 갖는 것이 무엇보다 중요하게 된 것입니다. 이제 모바일 비즈니스에서 Mobile App Analytic..

빅데이터의 등장과 함께 Analytics에 대한 관심도 높아지고 있습니다. 넓은 의미의 Analytics는 의사 결정권자에게 실행할 수 있는 인사이트를 제공해주는 것이라 할 수 있습니다. 좁은 의미로는 사용자에게 데이터로부터 패턴을 파악해서 제공할 수 있는 기술이나 프로세스를 말합니다. 일반적으로 IT와 관련된 용어들은 여러가지 측면에서 의미를 부여할 수 있습니다. 보통 비즈니스 측면과 기술적 측면으로 나눠 볼 수 있는데요. Analytics도 넓은 의미는 비즈니스 측면이고 좁은 의미는 기술적인 측면이라고 말 할 수 있겠죠. 넓은 의미의 Analytics 일반적으로 데이터를 분석하는 목표는 비즈니스를 성공적으로 이끌어내기 위함입니다. 즉, 넓은 의미의 Analytics는 비즈니스 자체에 목적을 두고 있다..