machine learning은 supervised , unsupervised, reinforcement learning 등으로 나뉜다.

MLE(Maximum likelihood estimation)

$$ \hat\theta_{MLE}=argmax_\theta(P(D|\theta)) $$

$P(D| \theta )$를 최대화 시키는 $\theta$ 를 찾고 그 값을 $\hat\theta$ 이라고 말하자.

다시 말하자면 theta는 이미 존재하는 값이고 그것을 찾아나서는 과정이다. 그 과정에서 이미 theta가 fix일 때 주어진 데이터 D들에 의해 정해지는 값을 찾아가는 것

MAP(Maximum A Posteriori Estimation)

$$ \hat\theta_{MAP}=argmax_\theta(P(\theta|D)) $$

D 데이터들이 주어져 있고 내가 예상하는 posterior를 추가할 수 있는 baysean model의 관점이다.

확률을 데이터가 나올 수 있는 가능성으로 바라보는 관점이다.

Rule based learning

Decision Tree

Entropy

$$ Entropy \hspace{1cm} H(Y)=\sum_Y p(Y=y)log(p(Y=y)) $$

Information Gain

$$ IG(Y,A_i)= H(Y)-H(Y|A_i) $$