최대우도 추정1 (Maximum Likelihood Estimation)

해당 내용은 개인 공부를 위해 작성되었습니다. 아래 이상호 선생님의 영상을 참고한 내용입니다.

https://www.youtube.com/watch?v=sOtkPm_1GYw 

 

나에게 VAEs를 이해하는데 가장 큰 어려움은 현재 최대우도추정법에 대한 이해가 너무나 헷갈린다는 것이다. 되는대로 모든 영상을 참고하여 공부할 예정이고 공부하면서 이해 안가는 것들을 하나하나 정리해가다보면 언젠가 이해가 되겠지.. 일단 공부해보자.

 

이런 문제를 마주했다고 생각하자, 일단 항아리에 검은 구슬이 40개정도 들어있을 것으로 유추할 수 있을 것이다.

그러나 도대체 그 근거가 무엇인가? 어떤 이유로 우리는 항아리속에 40개의 검은 구슬이 있었을 것으로 예상하고 답변할 수 있는 것일까? 

1. 먼저 우리가 목격한 사건을 확률적인 개념으로 생각해야 한다.

예를들어 우리가 구슬을 10번 꺼냈을 때, 4개의 검은 구슬과 6개의 흰 구슬이 나올 확률은 얼마인가?

어떤 분포를 갖는 항아리를 선택했을 때라는 조건이 먼저 제시되어야 하므로

P(검은구슬|항아리) = p 라고 했을때, P(흰구슬|항아리) = 1-p일 것이고

해당 사건은 이항분포이므로 아래와 같다. $$_{10}C_4p^4(1-p)^{6}$$

 

2. 가장 자주 목격되는 = 빈도가 가장 높은 사건을 이루는 확률 분포가 최적의 파라미터 p*가 된다.

즉, $$_{10}C_4p^4(1-p)^{6}$$ 식의 값이 가장 크게 되는 경우의 p값이 가장 현재 분포를 잘 설명하는 파라미터 p가 된다.

 

3. 그럼 p*를 찾기위해서 어떻게 하는가?

$$p^* = argmax_p\ _nC_kp^k(1-p)^{n-k}$$ 양 변에 log함수를 취하자.

$$log(p^*) = log(argmax_p\ _nC_kp^k(1-p)^{n-k})$$

$$log(argmax_p\ _nC_kp^k(1-p)^{n-k}) = log_nC_k + klog(p) + (n-k)log(1-p)$$

이때 $$log_nC_k + klog(p) + (n-k)log(1-p) = f(p)$$ 라고하면

$$f'(p) = 0$$이 되는 지점의 p값이 함수 f(p)의 max값이다. 

이때 $$(log_a(x))' = \frac{1}{xln(a)}$$이므로

$$f'(p) = \frac{4}{p} - \frac{6}{1-p} = 0$$ 이되는 p값을 찾으면 된다.

이때 p = 0.4가 나온다.