조건부 확률 (Conditional probability)

해당 내용은 김성범교수님의 유튜브 강의 내용을 정리한 것입니다. 개인 공부를 위함이고 잘못된 내용이 있을 수 있으니 참고만 하시길 바랍니다.

https://www.youtube.com/watch?v=Cj25K_leYZw&list=PLpIPLT0Pf7IqS4as3nefPyGv94r2aY6IT&index=21 

 

 

 

1. 조건부 확률 (Conditional probability)

조건부 확률은 두 사건 A와 B가 존재할 때, 어떤 하나의 사건이 조건으로 주어졌을 때 나머지 다른 사건이 발생할 확률을 의미한다. 조건부 확률의 식은 아래와 같이 나타낸다.

$$ P(A\mid B) = \frac{P(A\cap B)}{P(B)} = \frac{P(B\cap A)}{P(B)} $$

조건부 확률에는 다음과 같은 명제가 성립한다.

1. 두 사건 A와 B가 배반사건(mutually exclusive)이면 $$ P(A\mid B) = \frac{P(A\cap B)}{P(B)} = \frac{0}{P(B)} = 0 $$
∵ 두 사건 A, B의 교집합이 공집합일 경우 두 사건 A, B를 서로 배반사건이라 하므로
2. 만약 사건 A가 B의 부분집합이라면 (A ⊂ B) $$P(B|A) = \frac{P(A \cap B)}{P(A)} = \frac{P(A)}{P(A)} = 1$$

 

간단한 예제를 가지고 이해해보자.

다음과 같은 표본이 주어졌을 때 우리가 구할 수 있는 조건부 확률들은 조건에 따라 다음 그림처럼 나눌 수 있다.

조건부 확률로 성별(M/F)을 준 경우와 조건부 확률로 학습률(E/U)를 준 경우

 

 이때 P(M|U)를 구해보자. U가 조건부 확률로 주어졌기 때문에 우리는 오른쪽 그림에서의 P(M|U)확률을 구해야 한다.

$$P(M|U) = \frac{P(M \cap U)}{P(U)}, \ P(M \cap U) = \frac{40}{900},\ P(U) = \frac{300}{900} $$

이므로 계산해보면 값은 아래와 같다. $$ \frac{2}{15} $$

 

조건부확률은 베이즈정리의 기초가 되는 개념이니 아래 공식들은 반드시 기억해놓자

1. $$P(A|B) = \frac{P(A \cap B)}{P(B)} = \frac{P(B \cap A)}{P(B)} $$
2. $$P(A \cap B) = P(A |B)P(B) = P(B|A)P(A)=P(B \cap A)$$
3. $$P(A | B \cap C) = \frac{P(A \cap B \cap C)}{P(B \cap C)}$$

 

 

1-1. 조건부확률과 교집합 : 조건부 확률과 교집합의 개념이 헷갈린다면 확인해보자.

조건부확률과 교집합의 개념이 굉장히 헷갈릴 수 있는데 두 개념의 가장 큰 차이는 모집단이 축소되는지를 생각하면 좋다. 예를들어보자 빨간색 1,2,3 카드와 검정색 1,2가 적힌 카드 5장이 들어있는 주머니가 있다.

이 때 빨간색이면서 1 카드를 뽑을 확률은 교집합으로써 아래와 같다. 모집단의 크기인 5는 영향을 받지 않았다.

$$P(Red \cap 1) = P(1 \cap Red) = \frac{1}{5}$$

반면 빨간색 카드를 뽑았을 때(조건부), 그 카드가 1일 확률은 조건부 확률로써 아래와 같다.

$$P(1\mid Red) = \frac{P(1 \cap Red)}{P(Red)} = \frac{P(Red \cap 1)}{P(Red)}$$

$$P(Red) = \frac{3}{5}, \ P(1 \cap Red) = \frac{1}{5} $$

$$\frac{\frac{1}{5}}{\frac{3}{5}} = \frac{1}{3}$$

조건부 확률에서는 모집단의 크기가 5에서 3으로 줄어든 것을 확인할 수 있다. 교집합의 경우에는 모집단의 크기 5는 어떠한 경우라도 영향을 받지 않는 반면 조건부 확률에서는 빨간색 카드를 뽑았을 때라는 명확한 조건이 주어지므로 검정색 카드 두장은 뽑힐 확률이 0가 되어 더이상 모집단에 포함시키지 않게 된다. 따라서 모집단이 5에서 3으로 축소가 된다.

다시말해, 교집합인지 조건부확률인지 헷갈린다면 문제를 잘 읽어보고 모집단의 축소가 있는지를 잘 생각해보길 바란다.

 

2. Multiplicative Rules in probability

조건부 확률에서 $$P(A \cap B) = P(A |B)P(B) = P(B|A)P(A)$$라고 하였다.

단순 치환을 통해 아래와같이 사건 3개에 대한 조건부 확률도 생각해 볼 수 있다.지금부터는 위에서 주어진 조건부확률식을 이용하여 단순 전개만 하는것이니 모든 전개식을 다 이야기하지는 않겠다. 그리고 교집합은 그냥 ABC와 같은 형태로 나타내겠다.

$$P(ABC) = P(AB|C)P(C) = P(C|AB)P(AB)$$

$$again, P(AB) = P(A)P(B|A)$$

$$P(ABC) = P(A)P(B|A)P(C|AB)$$

이 식을 A1 A2 A3로 치환해서 일반화시켜보면 이런식을 얻을 수 있다.

그리고 이 공식을 간단하게 한 줄로 나타내면 아래와같다.

$$\prod_{i=1}^k P(A_i|A_1A_2...A_k)$$

해당 식은 추후에 각 사건이 서로 독립이라는 조건이 존재하면 상당히 유용하게 사용할 수 있으므로 기억해두자.

 

3. 베이지안 룰 (Bayes' Rule)

1. priror probability와 , data probability를 이용해서 posterior probability를 계산하는 것

2. Posterior probability는 어떠한 정보에 의해 update된 prior probability라고 생각할 수 있다.

사실 조건부 확률은 베이지안 룰을 이해하기 위한 초석에 그치지 않는다. 조건부확률을 공부함으로써 더 나아가 베이지안 룰을 이해하는 것이야말로 확률론의 가장 아름다운 것들 중 하나라고 생각한다.

다음과 같은 표본공간을 갖는 사건들 A와 B를 생각해보자 이때 사건 A_1 ~ A_3는 서로 배반사건이고 사건 A에 대하여 전반적으로 일어난 관심을 가지는 사건 B가 있다고 하자.

이때 P(B)는 어떻게 구할 것인가? 여기서 P(B)는 다음과 같다.

$$P(B) = P(A_1\cap B) + P(A_2\cap B) + P(A_3\cap B)$$

$$= P(A_1)P(B|A_1) + P(A_2)P(B|A_2) + P(A_3)P(B|A_3)$$

$$=  \sum_{i=1}^3 P(A_i)P(B|A_i) $$

이것을 Law of Total Probability 전확률 법칙이라고 하며 우리는 사건 B를 조건부 확률들의 합으로써 표현할 수 있다는 것을 반드시 기억해야 한다.

 

우리가 알고 있는 정보는 아래와 같고

$$P(A_1),\ P(A_2),\  P(A_3),\ P(B|A_1),\ P(B|A_2) ,\ P(B|A_3)$$

베이즈 룰을 통해 알고자 하는 정보는 아래와 같다. 

$$P(A_1|B), \ P(A_2|B), \ P(A_3|B)$$

위 식을 조건부 확률 명제와 전확률 법칙을 이용해 다시 전개하면 아래와 같이 나타낼 수 있다.

$$P(A_1|B) = \frac{P(A_1B)}{P(B)} = \frac{P(A_1)P(B|A_1)}{P(A_1)P(B|A_1) +P(A_2)P(B|A_2)+P(A_3)P(B|A_3)}$$

눈에 잘 안들어올 것이다. 뒤에서 예제를 이용해서 다시 생각해보면 이해가 쉬울것인데 일단 그전에 베이지안 룰에서 사용되는 용어들에 대해서 정리를 하고 넘어가자 상당히 헷갈리기 쉽지만 이걸 모르고서는 베이즈룰을 이해하는게 불가능하니까 까먹을때마다 다시 봐서 기억하도록 하자.

 

3-1. 베이즈룰에서 사용되는 용어들

$$p(A|B) = \frac{p(B|A)P(A)}{P(B)}$$

1. Posterior probability (사후확률) : P(A|B)
2. Prior probability (사전확률) : P(A)
3. Likelihood (가능도) : P(B|A)
4. Evidence = marginal likelihood (증거, 주변 가능도): P(B)

 

4. Odds (아즈)

사건 A의 발생 확률에 관심이 있다고 하자. 이때 우리가 관심있는 사건의 발생 확률 대비 우리가 관심 없어하는 사건의 발생 확률을 오즈비라고 이야기한다.

$$odds = \frac{P(A)}{1-P(A)} = \frac{P(A)}{P(A^C)}$$

따라서 사건 A의 발생 확률이 1에 가까워질 수록 odds ratio는 무한대로 가까워지며 사건 A의 발생 확률이 0에 가까워질수록 odds ratio는 0에 가까워진다.

아즈비는 어디에 쓰이는가?

예를들어 아즈비를 이용해서 도박의 배당금을 몇배율로 설정할지 등에 사용할 수 있다.