루키의 보석함

Christoper M. Bishop이 쓴 "Pattern Recognition and Machine Learning" 이란 책을 스터디하고 있습니다. 기계학습(Machine Learning)을 배워보기 위해서 살펴보고 있는데요. 책이 재미있으면서도 조금은 난이도가 있네요. 기계학습이란? 기계학습은 컴퓨터가 학습할 수 있도록 알고리즘과 기술을 개발하는 분야를 의미합니다. 이를 통해 다양한 패턴 인식이나 예측등을 수행할 수 있겠죠. 기계학습을 하기위해서는 수학적 배경 지식들이 중요한데요. 이 책에서도 1장에서 베이즈확률(Bayesian probabilities)와 함께 정규분포를 다룬 Gaussian Distribution 등 여러가지 이야기들이 나오고 있습니다. 앞으로 계속 하나씩 정리해 보도록 하죠. ..

기본적인 배열을 나타내는 순열과 조합에 대해서 간단히 살펴보도록 하죠. 배열 n개의 사물을 배열하는 가능한 방법의 수를 찾으려고 하면 Factorial을 이용하면 됩니다. Factorial은 1808년 수학자 Christian Kramp가 처음 썼다고 하는데요.. n부터 1까지의 수를 모두 곱하는 것이죠. 다른 형식으로는 다음과 같이 사용할 수 있습니다. 파이는 곱을 의미하니 한번 기억해 두면 좋을 듯 합니다. 프로그래밍을 처음 배울 때 재귀함수 호출하면서 Factorial에 대해서 한번씩 구현해 본 기억이 있을 겁니다. 만약 n개의 사물이 원형으로 배열되어 있다면, (n-1)!의 배열이 존재하겠죠.. 추가로 n개의 사물을 배열하려고 할 때, 그 안에 j개의 사물이 하나의 종류이고, k개의 사물이 또 다..

빅데이터에서의 스토리텔링 빅데이터와 관련된 책들을 읽어보면서 현재까지 가장 아쉬움이 많이 남는 책이었습니다. 빅데이터로 세상의 변화를 읽어내기 위해서는 정보에서 데이터의 흐름을 찾아내는 즉, "스토리텔링"이 중요하다고 이야기 하고 있습니다. 데이터 그 자체에는 아무런 의미가 없지만 거기서 패턴과 스토리를 읽어낼 수 있다면, 그 데이터는 엘빈 토플러가 말한 무용지식에서 유용한 지식으로 바뀐다는 것이지요. 또한 수많은 데이터들이 만들어내는 무질서한 흐름 속에서 숨겨진 패턴을 발견하는 것이 빅데이터를 정말로 의미있고 가치 있게 만드는 작업이라고 하고 있습니다. 마지막으로 빅데이터 분석의 목적이 미래를 단순히 예측하는 데만 만족하지 말고 미래에 대응하고 미래 경쟁력을 확보하며 미래 자체를 창조하는 목적이 되어야..

지난번에 이산확률분포에 대한 개념과 기대치, 분산을 구하는 방법에 대해서 정리해 봤습니다. 이어서 이산확률분포에서 사용할 수 있는 선형변환과 독립관측에 대해 살펴보기로 하겠습니다. 선형변환기대치를 구할 때 슬롯머신을 예로 들었는데요. 만약 슬롯머신이 게임당 1불에서 2불로 오르고. 당첨금도 5배가 올랐다고 생각해 보죠.. 이 경우, 기대치를 구하기 위해서는 각 수익에 대한 확률분포를 만들고 다음 공식을 사용하면 됩니다. 혹시 처음본다고 느끼시는 분은 이산확률분포#1 - 기대 수준을 관리 글을 다시 읽어 보시기 바랍니다. ^^ X를 Y로만 바꾼 겁니다. ㅠㅠ 그런데 우리는 이미 기존의 수익 X와 기대치 E(X), 그리고 분산 Var(X)까지 값을 알고 있습니다. 처음부터 하나씩 계산하지 않고 이런 정보를 ..

빅데이터의 사례로 가장 많이 이야기하는 것이 바로 "Google 독감 트렌드"입니다. 구글에 집계된 검색어를 기반으로 세계 여러 국가의 독감 유행 수준에 대한 예상 수치를 제공하는 것인데요. 이를 기반으로 빅데이터에 대한 전략이 어떻게 만들어졌는지 한번 생각해 보기로 했습니다. 데이터 수집구글 검색어가 자동으로 구글의 서버에 쌓이게 되므로 데이터의 축적은 기본적으로 이루어졌을 것입니다. 또한 검색어는 시간에 따른 분포를 나타낸다는 점과 IP를 통한 위치를 파악할 수 있다는 것을 활용한 것이라 볼 수 있습니다. 즉, 검색어, 시간대, 그리고 위치 정보를 활용해서 독감 트렌드를 분석해 낸 것이죠. 먼저 독감(ILI - influenza likeness illness)과 관련된 키워드(ILI-related q..

확률분포위키피디아에 따르면 확률분포를 다음과 같이 정의하고 있습니다.확률분포(probability distribution)는 확률변수가 특정한 값을 가질 확률을 나타내는 함수를 의미한다. 주사위를 던질거나 슬롯머신을 할 때 나올 수 있는 모든 가능성의 확률을 모아놓은 집합이 확률분포라고 할 수 있습니다. 다음 그림을 보면 주사위 두개를 던졌을 때 나올 수 있는 두 주사위의 합을 확률분포로 나타내고 있네요. 그러면 이를 수식으로는 어떻게 표현할까요? 정의를 다시 보면 "확률변수가 특정한 값을 가질 확률..." 이라고 되어 있습니다. 확률변수는 일반적으로 X나 Y와 같이 대문자로 표기합니다. 그리고 변수가 가질 수 있는 특정한 값은 x나 y처럼 소문자로 나타내죠.. 변수 X가 특정한 값 x를 가질 확률을 위..

처음 누군가 미생을 아느냐고 물었을 때, 선덕여왕에 나오는 미실궁주의 동생 미생을 이야기하는 줄 알았습니다. ㅠㅠ 다음 웹툰에 보니 미생이라는 바둑과 회사원의 생활을 연결시킨 만화가 있더군요. 영화로도 만들어진 "이끼"라는 작품을 쓴 윤태호 작가님이 썼다고 하는데요. 미생이란 말은 바둑 용어라고 하네요.. http://cartoon.media.daum.net/webtoon/view/miseng 지난 주말에 처음부터 읽어보면서 왜 이렇게 인기가 있는지 실감했습니다. 수많은 댓글처럼 사건 하나하나가 모두 경험해봤거나 느껴본 것들이었으니까요. 계약직 신입사원 "장그래"의 회사 적응을 다루면서도 오과장, 김대리 등 다양한 캐릭터를 통해 각 세대들의 입장도 잘 이야기 해주고 있었습니다. 특히 중간중간 나오는 촌철..

최근 "소크라테스의 변명"이라는 책을 읽어봤습니다. 소크라테스가 어떻게 법을 지키면서 삶을 마감했는지 명확하게 알 수 있는 책이었는데요. 아직 제가 이해하기에는 부족해서 글을 남기지는 않았었지요. 하지만 그 책에서 어렴풋이 소크라테스의 질문이라는 것에 관심을 가졌습니다. 그리고 본 책이 바로 이 "질문의 힘"입니다. 흔히 대화를 이어가기 위해서는 자기 속내를 많이 이야기 해야 한다고 하지만 지나친 자기만의 이야기는 오히려 대화의 흐름을 방해하기도 하는 것이 사실입니다. (아무도 지극히 개인적인 이야기는 궁금해 하지 않기 때문이죠.) 이 책에서는 효율적인 질문이 얼마나 중요한지를 잘 이야기 하고 있습니다. 우리가 소크라테스와 같이 스스로 결론을 내리고 그 결론에 상대방이 이끌려 오듯이 질문할 수 없다면 이..

확률(Probability)확률을 왜 배워야 할까요? 확률은 어떤 일이 발생할 가능성을 측정함으로써 미래를 예측할 수 있도록 합니다. 이렇게 어떤 일이 일어날 가능성을 미리 파악함으로써 실제 정보를 바탕으로 의사 결정을 내릴 수 있도록 도와줄 수 있습니다. 그렇다면 확률은 어떻게 구하게 될까요? 확률은 0과 1사이의 값을 갖게 되는데요. A라는 사건이 일어날 확률을 구하는 방식은 다음과 같습니다. 여기에서 n(S)는 전체 경우의 수이고 n(A)는 사건 A가 일어날 수 있는 경우의 수를 나타냅니다. 그렇다면 만약 사건 A가 일어나지 않을 확률은 어떻게 구할까요? 이것을 A'라고 표시하고 사건 A에 대한 여사건(complementary event)라고 합니다. 사건 A가 일어날 확률과 사건 A가 일어나지 않..

CES 2013도 끝나고 며칠 지나기는 했습니다. 이번에 삼성이 발표한 Flexible Display가 주목을 많이 받았던 것 같습니다. 휘어지면서 깨지지 않는 디스플레이와 곡면 LED를 활용한 기기에 대한 시연을 보여줬는데요. 향후 이런 기술을 활용하는 측면에서도 한번 살펴볼 필요가 있을 듯 합니다. 특히 광고 영상으로 나오는 플립형 모바일 기기나 접히면 스마트폰/펴면 태블릿이 되는 모바일 기기는 실제 판매된다면 한번 써보고 싶네요.. ^^