godingMath

베이즈 정리란 사후 확률 (posterior probability) 을 사전 확률 (prior probability) 를 이용하여 표현하는 방법으로 수학적으로 다음과 같이 표현합니다.

사건 B가 먼저 일어난 후 사건 A가 일어날 때, $$P(B|A)=\frac{P(A|B)\cdot P(B)}{P(A)}$$$$\begin{aligned}P(B|A)&\text{ : 사후 확률, 나중에 일어나는 사건 A를 전제로 하는 조건부 확률}\\
P(B)&\text{ : 사전 확률,  사건 A가 일어나기전 사건 B가 일어날 확률}\\
P(A|B)&\text{ : 사건 B가 일어난 후에 사건 A가 일어날 확률}\end{aligned}$$

이 글에서는 베이즈 정리를 직접 유도해보면서 사후 확률과 베이즈 정리의 의미와 목적에 대해 설명하고, 이 정리를 어떻게 활용할 수 있는지에 대해 이야기 해보겠습니다.

베이즈 정리의 의미

베이즈 정리란 조건부 확률을 이용하여 또 다른 형태의 조건부 확률을 계산하는 방법을 설명하고 있는 정리입니다. 베이즈 정리의 좌변과 우변을 살펴보면, 좌변과 우변 모두 조건부 확률을 사용하고 있다는 것을 알 수 있습니다. 여기에서 가장 주목해야 할 사실은 베이즈 정리의 좌변과 우변에서 사용하는 조건부 확률의 전제 조건이 서로 바뀌어져 있다는 것입니다. 베이즈 정리의 좌변을 보면 나중에 일어나는 사건 A를 전제로 사용하는 조건부 확률 $$P(B|A)$$ 이 쓰이고 있지만, 우변에서는 먼저 일어나는 사건 B를 전제로 사용하는 조건부 확률 $$P(A|B)$$ 이 쓰이고 있습니다.

베이즈 정리에서 좌변과 우변의 전제가 다른 이유

베이즈 정리에서 좌변과 우변에서 전제가 되는 사건이 서로 뒤바뀐 이유는 무엇일까요?  그 이유는 바로 베이즈 정리의 좌변이 가리키는 확률인 $$P(B|A)$$가 사후 확률을 나타내기 때문입니다. 사후 확률이란 시간적으로 나중에 일어나는 사건을 그보다 앞서 일어나는 사건의 전제로 사용하는 조건부 확률입니다.

조건부 확률에서 전제≠원인

시간적 간격을 두고 일어나는 두 사건을 각각 원인과 결과로 분류해야 한다면, 앞서 일어난 사건을 원인으로, 나중에 일어난 사건을 결과로 보는 것이 바른 해석일 것입니다. 나중에 일어난 사건을 그보다 앞서 일어난 사건의 원인으로 볼 수 없기 때문이죠.

보통의 경우, 전제 조건이란 어떤 일이 일어나기 전 선행되어야 하는 일종의 원인과 같은 것으로 생각하는 경우가 많습니다. 이와 같은 이유로 조건부 확률을 계산할 때에도 나중에 일어나는 사건을 전제로 사용할 때 보다 앞서 일어나는 사건을 전제로 할 때가 훨씬 편하고 자연스럽게 느껴집니다. 원인은 언제나 결과보다 시간적으로 먼저 발생하니까요.

하지만 항상 전제=원인인 것은 아닙니다. 사실 전제라는 것은 원인이라기 보다는 어떤 결론을 내리기전에 그 결론의 근거가 되는 것을 미리 정해 두는 것입니다. 따라서 나중에 일어나는 사건도 그 사건을 근거로 하는 합리적인 결론을 내릴 수 있다면 나중에 일어나는 사건도 앞서 일어나는 사건의 전제로 사용할 수 있습니다. 하지만 이렇게 나중에 일어나는 사건을 전제로 하는 조건부 확률(사후 확률)의 해석과 계산 방법은 앞서 일어나는 사건을 전제로 하는 조건부 확률과 달라야 할 것입니다.

베이즈 정리는 이러한 사후 확률의 의미를 설명하기 위해 만들어진 정리입니다. 그렇다면 나중에 일어나는 사건을 전제한다는 것은 어떠한 결론을 내리기 위한 것일까요? 그리고 그 결론의 목적은 무엇일까요?

베이즈 정리가 구하려고 하는 것

베이즈 정리 우변에 있는 분수의 분자를 살펴보면 먼저 일어나는 사건 B를 전제로 한 확률인 \(P(A|B)\) 와 사전 확률 \(P(B)\) 의 곱으로 되어 있다는 것을 알 수 있습니다. 즉 결과를 전제로 한 확률을 원인을 전제로 한 확률로 바꾸어 표현하고 있는 것이죠. 이렇게 베이즈 정리는 앞서 일어나는 사건을 전제로 하는 조건부 확률과 사전 확률을 이용해 사후 확률을 구하는 법을 설명하고 있는 정리입니다.

그렇다면 베이즈 정리의 우변은 어떻게 세 확률$$P(A|B),\ P(B),\ P(A)$$의 곱과 몫으로 표현되어 있을까요? 베이즈 정리의 우변을 직접 유도해보면서 베이즈 정리의 우변이 왜 그러한 모양으로 만들어졌는지 그 이유와 의미를 살펴보겠습니다.

사후 확률의 의미와 목적

베이즈 정리의 우변을 유도하려면 먼저 사후 확률의 의미와 목적에 대해서 알아보아야 합니다. 이를 위해 전제가 되는 사건이 일어나는 시간적 순서에 따라 확률의 의미와 목적이 어떻게 바뀌는지 살펴보겠습니다.

먼저 일어나는 사건을 전제로 하는 조건부 확률의 의미

먼저 일어나는 사건을 전제로 하는 조건부 확률의 의미와 목적은 직관적으로 쉽게 이해할 수 있습니다. 이 확률은 어떤 사건이 만들어 놓은 상황에서, 그 사건이 일어난 후 앞으로 일어나게 될 다른 사건의 가능성을 구하는 것입니다. 예를 들어 검은색 공 3개와 흰색 공 3개가 들어있는 상자에서 검은색 공 1개를 뽑은 다음, 뽑은 공을 다시 집어 넣지 않은 상태에서 다시 공 1개를 뽑는 시행을 생각해보겠습니다. 이때, 2번째 뽑은 공의 색이 검은색일 가능성은 어떻게 계산할 수 있을까요? (남은 5개의 공은 각각 뽑힐 가능성이 모두 같다고 가정하겠습니다.) 처음 공을 뽑을 때 이미 검은색 공을 뽑아 놓았기 때문에 상자 안에는 검은색 공 2개와 흰색 공 3개가 남아있습니다. 따라서 2번째 뽑은 공의 색이 검은색이 될 확률은 \(\frac{2}{5}\) 입니다.

사후 확률이란 원인들의 영향을 비교하는 것

하지만 나중에 일어나는 사건을 전제로 하는 조건부 확률인 사후 확률은 먼저 일어나는 사건을 전제로 하는 조건부 확률의 의미와 목적이 서로 다릅니다. 나중에 일어나는 사건이 만들어 놓은 결과를 바탕으로 그 후에 그보다 앞서 일어나는 사건이 일어난다는 것은 시간적으로 불가능한 순서이기 때문입니다. 예를 들어 오후 3시에 일어나는 사건을 바탕으로 같은 날 오후 1시에 다른 사건이 발생하였다라고 말할 수는 없기 때문입니다. 사후 확률의 의미를 이해하기 위해서 다음과 같은 상황을 생각해보겠습니다.

사건 B 또는 사건 C가 원인이 되어 일어나는 사건 A가 있습니다. 그리고 사건 A가 100번 일어날 때까지 매번 사건 B나 C 중 어떤 사건이 원인이 되어 사건 A가 일어났는지 그 원인을 조사해보니 사건 B가 원인이 되어 사건 A가 일어난 것이 40번, 사건 C가 원인이 되어 사건 A가 일어난 것이 60번이었습니다. 그렇다면 이 상황에서,

[1]사건 A가 일어났을 때, 사건 B가 원인일 확률은?

사건 A가 100번 일어나는 동안, 사건 B가 원인이 된 것은 모두 40번이므로 사건 A가 일어났을 때, 사건 B가 원인이 되었을 가능성은 $$\frac{40}{100}=\frac{2}{5}$$입니다.

[2] 사건 A가 일어났을 때, 사건 C가 원인일 확률은?

사건 A가 100번 일어나는 동안, 사건 C가 원인이 된 것은 모두 60번이므로 사건 A가 일어났을 때, 사건 C가 원인이 되었을 가능성은 $$\frac{60}{100}=\frac{3}{5}$$

이라고 생각할 수 있습니다. [1]과 [2]의 확률을 표현하는 두 문장 모두 “사건 A가 일어났을 때” 라고 시작하는 것으로 사건 A가 일어났다는 것을 전제하고 있다는 것에 주목해 주세요. 그리고 분모의 숫자 100 은 모든 원인들의 수를 합한 것이라는 것도 주목해 주세요. 이 두 확률이 바로 각각 사후 확률 \(P(B|A)\) 와 \(P(C|A)\) 가 됩니다.

따라서 사후 확률 \(P(B|A)\) 는 사건 A가 일어났을 때, 다른 여러가지 원인들과 비교하여 사건 B가 얼마나 사건 A가 발생하는데 영향을 주었는지를 평가하는 것이라 할 수 있습니다. 즉 사후 확률에서 나중에 일어나는 사건 A를 전제한다는 것은 사건 A가 일어나도록 한 원인들을 모두 찾고 그 원인들이 사건 A가 일어나는데 얼마나 영향을 주었는지를 비교하는 것을 뜻합니다.

그렇다면 \(P(B|A)\) 에서 사건 B가 사건 A가 일어나는데 얼만큼 영향을 주었는지는 어떻게 계산할 수 있을까요? 이것이 바로 베이즈 정리의 핵심으로, 베이즈 정리의 우변이 표현하고 있는 내용입니다.

베이즈 정리의 우변

앞서의 예와 마찬가지로 사건 A가 일어나는 원인은 사건 B와 C가 있다고 가정하겠습니다. 사건 B로 인해 사건 A가 일어날 가능성을 평가하려면 다음과 같은 2가지 확률을 생각해주어야 합니다.

1.  \(P(A|B)\) : 가장 먼저 생각해주어야 하는 확률입니다. 사건 B가 일어난 이후, 사건 A가 일어날 가능성이 크면 클 수록 사건 B로 인해 사건 A가 일어날 가능성이 커집니다.
2. \(P(B)\) : 아무리 \(P(A|B)\) 가 크다고 하더라도 사건 B가 아예 일어날 수 없다면 사건 B로 인해 사건 A는 일어날 수 없습니다. 또 반대로 사건 B가 항상 일어나는 사건이라면, 사건 A의 모든 원인은 사건 B일 것입니다. 따라서 사건 B로 인해 사건 A가 일어날 가능성을 평가하려면 이 확률도 고려해 주어야 합니다. 이 값이 크면 클수록 사건 B로 인해 사건 A가 일어날 가능성은 커집니다.

따라서 사건 B로 인해 사건 A가 일어날 가능성을 평가하기 위해 이 두 확률을 곱해주면 $$P(A|B)\cdot P(B)\tag{1}$$ 를 얻을 수 있습니다. 이 식은 베이즈 정리 우변에 있는 분수의 분자에 해당합니다.

그런데 아직 이것만으로는 \(P(B|A)\) 를 구하기엔 충분하지 않습니다. \(P(B|A)\) 를 구하기 위해서는 다른 모든 원인들이 사건 A에 얼만큼 영향을 주었는지를 찾아 사건 B와 비교해야 합니다. 사건 A가 일어나는 원인은 사건 B와 사건 C이고, 사건 C로 인해 사건 A가 일어날 가능성은 식(1)과 같은 방법으로 $$P(A|C)\cdot P(C)$$ 입니다. 따라서 사건 A를 일어나게 한 모든 원인(사건 B, C)중에서 사건 B가 차지하는 비중은
$$\frac{P(A|B)\cdot P(B)}{P(A|B)\cdot P(B)+P(A|C)\cdot P(C)}=\frac{P(A|B)\cdot P(B)}{P(A)}\tag{2}$$ 가 되고 , 이 식이 베이즈 정리의 우변이 됩니다!

베이즈 정리를 활용하는 예 : 두 상자와 공

베이즈 정리를 활용하여 사후 확률을 구하는 전형적인 문제를 소개합니다. 모든 사후 확률의 계산은 이 문제와 동일한 풀이과정을 갖기 때문에 이 문제의 요점을 정리해 두면 3인의 죄수와 몬티홀 문제같은 어려운 문제들도 함정에 빠지지 않고 잘 해결할 수 있습니다.

서로 다른 2개의 상자 A와 B가 있다. 상자 A에는 파란색 공 1개와 빨간색 공2개, 상자 B에는 파란색 공 2개와 빨간색 공 1개가 들어있다. 상자 A와 B중 한 상자를 뽑아 공 1개를 뽑는 시행을 생각하자. 꺼낸 색 공이 빨간색 일 때, 그 공이 상자 A에서 나왔을 확률은 얼마인가? (단, 2상자 중, 1상자를 선택할 확률은 0.5로 모두 같다고 가정한다.)

이 문제에서는 먼저 상자를 선택하고, 그 후 공을 뽑는 시행을 합니다. 꺼낸 공의 색이 빨간색이라는 것은 나중에 일어나는 사건이므로 문제에서 요구하는 확률은 나중에 일어나는 사건을 전제로 한 조건부 확률(사후 확률)이 됩니다. 따라서 이 확률을 구하기 위해서 가장 먼저 해야 할 일은 빨간색 공을 뽑게 된 원인을 분석하는 것입니다.

꺼낸 공이 빨간색 공이 된 원인은 2가지 입니다. 첫번째 원인은 상자 A에서 빨간색 공을 꺼냈기 때문이고, 두번째 원인은 상자 B에서 빨간색 공을 꺼냈기 떄문입니다.

원인1: 상자 A에서 빨간색 공을 꺼냈기 때문에

상자 A를 선택할 확률은 \(\frac{1}{2}\) 이고, 상자 A에서 1개의 공을 꺼낼 때 그 공의 색이 빨간색이 될 확률은 \(\frac{2}{3}\) 이므로, 상자 A를 선택한 것이 빨간색 공을 뽑는데 주는 영향은$$\frac{1}{2}\cdot\frac{2}{3}=\frac{1}{3}\tag{3}$$ 입니다.

원인2: 상자 B에서 빨간색 공을 꺼냈기 때문에

마찬가지로 상자B를 선택할 확률은 \(\frac{1}{2}\) 이고, 상자 B에서 1개의 공을 꺼낼 때 그 공의 색이 빨간색이 될 확률은 \(\frac{1}{3}\) 이므로, 상자 B를 선택한 것이 빨간색 공을 뽑는데 주는 영향은$$\frac{1}{2}\cdot\frac{1}{3}=\frac{1}{6}\tag{4}$$ 입니다.

빨간색 공을 뽑는데 상자 A를 선택한 것이 차지하는 비중을 구하려면 두 확률을 모두 더하고 이 값을 식(3)의 결과와 비교하면 됩니다.$$\frac{(3)}{(3)+(4)}=\frac{\frac{1}{3}}{\frac{1}{3}+\frac{1}{6}}=\frac{2}{3}$$

만약 상자를 선택할 확률이 다르다면?

만약 상자 A를 선택할 확률을 0.8로, 상자 B를 선택할 확률을 0,2로 한다면 문제에서 요구하는 확률은 어떻게 변할까요? 더 나아가 상자 A를 선택할 확률을 p, 상자 B를 선택할 확률을 1-p로 한다면 문제에서 요구하는 확률은 어떻게 표현할 수 있을지 직접 구해 보시면 좋겠습니다.