루키의 보석함

이전에 살펴본 베이즈 확률(Bayesian Probabilities)과 가우스 분포(Gaussian Distribution) 에서 Frequentest와 Bayesian에 대해서 정리를 했었습니다. 실제 Curve Fitting에서 이 두가지 방식이 어떻게 적용되는지 살펴보도록 하죠. Curve Fitting에 대해서는 기계학습 첫 강좌에서 설명했었습니다. 주어진 입력값 x에 대한 타겟을 t라고 했을 때, x에 대응하는 값 y(x, w)에 대해 다음과 같은 관계가 성립한다고 합니다. 다음 그림을 옆으로 보면 y(x,w)에 대해 정규 분포의 형식을 가지고 있는 것을 알 수 있습니다. 정규분포를 따르므로 y(x,w)는 평균, β−1은 분산이 된다는 것을 알 수 있습니다. 앞서 정리한 가우스 분포(정규 분포)..

확률에서 많이 사용하는 베이즈 정리는 "확률 - 일어날 가능성을 측정하는 방법"의 끝부분에도 간략하게 정리했었습니다. 이번에는 베이즈 정리를 좀 더 깊이있게 알아보도록 하죠. 베이즈 확률 (Bayesian Probabilities) 실생활에서 베이즈 정리는 스펨 메일 필터링이나 유전자 검사 등에서 활용한다고 했습니다. 기계학습에서도 이런 베이즈 정리를 많이 사용하는데요. 이전의 기계학습 예제를 설명할 때, Training Set에서 주어진 X에 대해 적절한 곡선을 만들어 주는 것을 Curve fitting이라고 했었습니다. 이러한 Curve fitting을 하는 방법이 보통 두가지가 있는데요. 하나는 Frequentist treatment이고 나머지 하나가 Bayesian treatment입니다. 여기에..

통독: 2013.01.01 ~ 2013.04.06 올해부터 인문고전이나 철학책을 틈틈이 읽어보려고 합니다. 그 첫번째로 선택한 책이 바로 "소크라테스 이전 철학자들의 단편 선집"입니다. 그리스 철학이라고 하면 소크라테스-플라톤-아리스토텔레스를 이야기 하는데 그 이전의 철학자들의 관심과 생각들이 궁금해서 선택하게 되었습니다. 그런데 역시 어렵네요.. ^^ 통독을 하는데 무려 3개월여가 걸렸습니다. 이 책만 들고 있으면 졸기도 하고 이해도 안되는 부분도 상당히 많았습니다. 하지만 그 시대에 모두들 신이 세상을 만들었다는 신화적 사고에서 벗어나지 못하고 있을 때, 자연과 인간에 대한 탐구를 통해 새로운 생각들을 만들어 낸 초기 철학자들의 모습을 과거의 단편적인 인용 속에서 살펴볼 수 있었던 점은 좋았습니다. ..

MS 윈도우즈 모바일의 Metro UI를 가진 아이폰용 앱이 있네요. 바로 주소록 관리 앱인 Fliple인데요. 예전에 iOS용 앱을 만들면서 둥근 사각형으로 구성된 리스트를 넣었다가 거절당했던 기억이 있는데 아예 Metro UI로 사각형으로 만들면 문제 없나 봅니다. ^^ 환경설정 메뉴를 보면 폰트나 구성이 마치 Windows Mobile을 사용하는 느낌을 주네요. 특히 주소록 자체에 대한 커스터마이징이나 구성이 잘 되어 있어서 앱 자체도 매력적입니다. 다만, 구글 주소록을 연동했을 경우 못 가져오고 iPhone 내부에 저장된 주소록만 가져오는 것이 조금 아쉽네요. Fliple의 iOS 버전은 https://itunes.apple.com/us/app/fliple./id579996534?mt=8 에서 받..

확률과 관련한 Sum Rule과 Product Rule에 대해서 살펴봤는데요. 주로 이산 변수에 대한 확률이라면 이번에는 연속 변수에 대한 확률을 정리해 보도록 하죠. Probability Density 연속 함수는 다음과 같은 그림으로 나타낼 수 있습니다. 연속 함수의 확률을 구하기 위해서는 각 구간을 조그맣게 자르고 그 간격을 δx라고 표시합니다. 그리고 연속함수의 임의의 변수 x가 (x, x+δx)에 있다고 할 때, 변수 x가 나올 확률은 p(x)δx로 표시할 수 있습니다. 최종적으로 (a, b) 구간 사이에 변수 x가 있을 확률은 위에서 구한 p(x)δx를 모두 합하면 됩니다. 연속함수이므로 이러한 합을 구하는 것은 바로 적분을 사용하면 됩니다. 확률이므로 p(x)는 0보다 크고 모든 확률의 합은..

기계학습에서 많이 사용하는 확률 이론에 대해서 살펴보도록 하겠습니다. 확률과 관련해서 처음 볼 경우에는 확률 - 일어날 가능성을 측정하는 방법 을 읽어보면 기본 개념을 이해할 수 있습니다. 여기에서는 비슷한 내용이기는 하지만 다른 방향에서 살펴보도록 하죠.. 다음 그림에서 전체 갯수가 N이라고 할 때, 임의의 값 x와 y가 동시에 나올 확률은 어떻게 될까요? x와 y가 동시에 나오는 경우를 전체 갯수로 나누면 되겠죠. 보통 동시에 나올 확률을 교집합으로 표기하기도 하는데, "Pattern Recognition and Machine Learning"에서는 다음과 같이 표시하네요. 이어서 임의의 x가 나올 확률은 다음과 같이 표시할 수 있습니다. 위 그림을 잘 살펴보면 직관적으로 확인할 수 있을 것입니다. ..

Christoper M. Bishop이 쓴 "Pattern Recognition and Machine Learning" 이란 책을 스터디하고 있습니다. 기계학습(Machine Learning)을 배워보기 위해서 살펴보고 있는데요. 책이 재미있으면서도 조금은 난이도가 있네요. 기계학습이란? 기계학습은 컴퓨터가 학습할 수 있도록 알고리즘과 기술을 개발하는 분야를 의미합니다. 이를 통해 다양한 패턴 인식이나 예측등을 수행할 수 있겠죠. 기계학습을 하기위해서는 수학적 배경 지식들이 중요한데요. 이 책에서도 1장에서 베이즈확률(Bayesian probabilities)와 함께 정규분포를 다룬 Gaussian Distribution 등 여러가지 이야기들이 나오고 있습니다. 앞으로 계속 하나씩 정리해 보도록 하죠. ..

기본적인 배열을 나타내는 순열과 조합에 대해서 간단히 살펴보도록 하죠. 배열 n개의 사물을 배열하는 가능한 방법의 수를 찾으려고 하면 Factorial을 이용하면 됩니다. Factorial은 1808년 수학자 Christian Kramp가 처음 썼다고 하는데요.. n부터 1까지의 수를 모두 곱하는 것이죠. 다른 형식으로는 다음과 같이 사용할 수 있습니다. 파이는 곱을 의미하니 한번 기억해 두면 좋을 듯 합니다. 프로그래밍을 처음 배울 때 재귀함수 호출하면서 Factorial에 대해서 한번씩 구현해 본 기억이 있을 겁니다. 만약 n개의 사물이 원형으로 배열되어 있다면, (n-1)!의 배열이 존재하겠죠.. 추가로 n개의 사물을 배열하려고 할 때, 그 안에 j개의 사물이 하나의 종류이고, k개의 사물이 또 다..

빅데이터에서의 스토리텔링 빅데이터와 관련된 책들을 읽어보면서 현재까지 가장 아쉬움이 많이 남는 책이었습니다. 빅데이터로 세상의 변화를 읽어내기 위해서는 정보에서 데이터의 흐름을 찾아내는 즉, "스토리텔링"이 중요하다고 이야기 하고 있습니다. 데이터 그 자체에는 아무런 의미가 없지만 거기서 패턴과 스토리를 읽어낼 수 있다면, 그 데이터는 엘빈 토플러가 말한 무용지식에서 유용한 지식으로 바뀐다는 것이지요. 또한 수많은 데이터들이 만들어내는 무질서한 흐름 속에서 숨겨진 패턴을 발견하는 것이 빅데이터를 정말로 의미있고 가치 있게 만드는 작업이라고 하고 있습니다. 마지막으로 빅데이터 분석의 목적이 미래를 단순히 예측하는 데만 만족하지 말고 미래에 대응하고 미래 경쟁력을 확보하며 미래 자체를 창조하는 목적이 되어야..

지난번에 이산확률분포에 대한 개념과 기대치, 분산을 구하는 방법에 대해서 정리해 봤습니다. 이어서 이산확률분포에서 사용할 수 있는 선형변환과 독립관측에 대해 살펴보기로 하겠습니다. 선형변환기대치를 구할 때 슬롯머신을 예로 들었는데요. 만약 슬롯머신이 게임당 1불에서 2불로 오르고. 당첨금도 5배가 올랐다고 생각해 보죠.. 이 경우, 기대치를 구하기 위해서는 각 수익에 대한 확률분포를 만들고 다음 공식을 사용하면 됩니다. 혹시 처음본다고 느끼시는 분은 이산확률분포#1 - 기대 수준을 관리 글을 다시 읽어 보시기 바랍니다. ^^ X를 Y로만 바꾼 겁니다. ㅠㅠ 그런데 우리는 이미 기존의 수익 X와 기대치 E(X), 그리고 분산 Var(X)까지 값을 알고 있습니다. 처음부터 하나씩 계산하지 않고 이런 정보를 ..