루키의 보석함

Binary Value에 대한 확률 분포는 동전을 던지는 경우를 생각하면 됩니다. 동전의 앞면이나 뒷면이 나오는 것과 같이, 나올 수 있는 경우의 수가 0과 1인 경우를 Binary라고 하죠. Bernoulli Distribution (베르누이 분포) 이러한 확률 분포는 Bernoulli 정리로 나타낼 수 있습니다. 0

베이시안(Bayesian) 정리를 살펴보면 다음과 같은 식을 이야기 했었습니다. 여기서 Posterior 확률을 구하는 것이 문제인데요. 예를 들어, 만약 p(w)를 남편이 바람 필 확률이라고 해보죠. 그리고 p(D)가 셔츠에서 입술자국이 나올 확률이라고 가정해 보겠습니다. (예제가 좀 그런가요? ㅠㅠ) 이때 Posterior인 p(w|D)는 셔츠에서 입술자국이 나왔을 때 바람필 확률이라고 보면 됩니다. 즉, 만약 남편 셔츠를 봤는데 입술자국이 있으면 실제로 바람을 폈을 확률이 어떻게 될지를 예측할 수 있다는 것이죠. 만약 Bayesian으로 Posterior를 계산한다고 할 때, 각 항목이 일반적인 분포를 따르지 않는다고 하면 도출하는 방식이 매우 복잡해질 수 있다는 것입니다. 반대로 likelihoo..

불확실성에 대한 일어날 가능성을 모델링하는 것이 Probability Theory라고 하고, 이런 불확실한 상황에서 추론에 근거해 결정을 내리는 것을 Decision Theory라 합니다. 그렇다면 Information Theory는 이러한 불확실성을 평가하는 것이라고 정의할 수 있습니다. 먼저 Information Theory에 대한 기본 개념을 쉽게 이해하기 위해서 aistudy.co.kr에 있는 예제를 기반으로 설명해 보도록 하죠.. 다음과 같이 가로, 세로 4장씩의 카드가 놓였다고 할 때, 여러분이 한 장의 카드를 선택했다고 해 보죠. 다음과 같은 질문 과정을 거쳐서 선택한 카드를 맞출 수 있습니다. 상단에 있습니까? 예 그럼 상단의 오른쪽 반에 있습니까? 아닙니다. 그럼 왼쪽 반의 상단에 있습니..

앞에서 확률이론과 Bayesian & Frequentist에 대해서 살펴봤습니다. 기계학습의 목표는 이러한 이론들을 활용해서 주어진 입력값 x에 대한 타겟인 t를 예측하는 것이었습니다. 불확실성에 직면해서 결정을 내려지 않으면 안될 경우, 어떤 결정을 해야 하고, 어떤 정보를 이용해야 하는지에 대해서 다루는 것이 바로 의사결정이론 (Decision Theory)입니다. Decision Theory 병원에서 암을 진단하기 위해 X-ray 사진이 주어졌다고 생각해 봅시다. X-ray 사진을 보고 암에 걸렸는지 아닌지 결정해야 할때, Decision Theory를 활용할 수 있습니다. 암일 경우를 클래스 1(C1)이라고 하고, 암이 아닌 경우를 클래스 2(C2)라고 할 때, 주어진 X-ray 사진(x)이 특정..

기계학습(Machine Learning)에 대해서 관심이 높아지는 것 같습니다. 하지만 관련된 자료가 많지 않은 듯 해서 올려봅니다. 먼저 최근 Facebook 친구가 되신 분의 타임라인에 올라와서 확인한 자료인데요. 빅데이터에서의 기계학습(Machine Learning on Big Data)로서 잘 구성된 것 같습니다. 이 자료에 대한 설명과 함께 들으면 좋겠다는 생각이 들기도 하네요.. Machine Learning on Big Data from Max Lin 그리고 스탠포드 대학의 Andrew Ng 교수의 Machine Learning 강의도 훌륭합니다. iTunes University에서 "Machine Learning"으로 검색해도 나오구요. Coursera에서도 무료로 볼 수 있습니다. (ht..

이전에 살펴본 베이즈 확률(Bayesian Probabilities)과 가우스 분포(Gaussian Distribution) 에서 Frequentest와 Bayesian에 대해서 정리를 했었습니다. 실제 Curve Fitting에서 이 두가지 방식이 어떻게 적용되는지 살펴보도록 하죠. Curve Fitting에 대해서는 기계학습 첫 강좌에서 설명했었습니다. 주어진 입력값 x에 대한 타겟을 t라고 했을 때, x에 대응하는 값 y(x, w)에 대해 다음과 같은 관계가 성립한다고 합니다. 다음 그림을 옆으로 보면 y(x,w)에 대해 정규 분포의 형식을 가지고 있는 것을 알 수 있습니다. 정규분포를 따르므로 y(x,w)는 평균, β−1은 분산이 된다는 것을 알 수 있습니다. 앞서 정리한 가우스 분포(정규 분포)..

확률에서 많이 사용하는 베이즈 정리는 "확률 - 일어날 가능성을 측정하는 방법"의 끝부분에도 간략하게 정리했었습니다. 이번에는 베이즈 정리를 좀 더 깊이있게 알아보도록 하죠. 베이즈 확률 (Bayesian Probabilities) 실생활에서 베이즈 정리는 스펨 메일 필터링이나 유전자 검사 등에서 활용한다고 했습니다. 기계학습에서도 이런 베이즈 정리를 많이 사용하는데요. 이전의 기계학습 예제를 설명할 때, Training Set에서 주어진 X에 대해 적절한 곡선을 만들어 주는 것을 Curve fitting이라고 했었습니다. 이러한 Curve fitting을 하는 방법이 보통 두가지가 있는데요. 하나는 Frequentist treatment이고 나머지 하나가 Bayesian treatment입니다. 여기에..

확률과 관련한 Sum Rule과 Product Rule에 대해서 살펴봤는데요. 주로 이산 변수에 대한 확률이라면 이번에는 연속 변수에 대한 확률을 정리해 보도록 하죠. Probability Density 연속 함수는 다음과 같은 그림으로 나타낼 수 있습니다. 연속 함수의 확률을 구하기 위해서는 각 구간을 조그맣게 자르고 그 간격을 δx라고 표시합니다. 그리고 연속함수의 임의의 변수 x가 (x, x+δx)에 있다고 할 때, 변수 x가 나올 확률은 p(x)δx로 표시할 수 있습니다. 최종적으로 (a, b) 구간 사이에 변수 x가 있을 확률은 위에서 구한 p(x)δx를 모두 합하면 됩니다. 연속함수이므로 이러한 합을 구하는 것은 바로 적분을 사용하면 됩니다. 확률이므로 p(x)는 0보다 크고 모든 확률의 합은..

기계학습에서 많이 사용하는 확률 이론에 대해서 살펴보도록 하겠습니다. 확률과 관련해서 처음 볼 경우에는 확률 - 일어날 가능성을 측정하는 방법 을 읽어보면 기본 개념을 이해할 수 있습니다. 여기에서는 비슷한 내용이기는 하지만 다른 방향에서 살펴보도록 하죠.. 다음 그림에서 전체 갯수가 N이라고 할 때, 임의의 값 x와 y가 동시에 나올 확률은 어떻게 될까요? x와 y가 동시에 나오는 경우를 전체 갯수로 나누면 되겠죠. 보통 동시에 나올 확률을 교집합으로 표기하기도 하는데, "Pattern Recognition and Machine Learning"에서는 다음과 같이 표시하네요. 이어서 임의의 x가 나올 확률은 다음과 같이 표시할 수 있습니다. 위 그림을 잘 살펴보면 직관적으로 확인할 수 있을 것입니다. ..

Christoper M. Bishop이 쓴 "Pattern Recognition and Machine Learning" 이란 책을 스터디하고 있습니다. 기계학습(Machine Learning)을 배워보기 위해서 살펴보고 있는데요. 책이 재미있으면서도 조금은 난이도가 있네요. 기계학습이란? 기계학습은 컴퓨터가 학습할 수 있도록 알고리즘과 기술을 개발하는 분야를 의미합니다. 이를 통해 다양한 패턴 인식이나 예측등을 수행할 수 있겠죠. 기계학습을 하기위해서는 수학적 배경 지식들이 중요한데요. 이 책에서도 1장에서 베이즈확률(Bayesian probabilities)와 함께 정규분포를 다룬 Gaussian Distribution 등 여러가지 이야기들이 나오고 있습니다. 앞으로 계속 하나씩 정리해 보도록 하죠. ..