전설의 수학 문제를 찾아서 - 3인의 죄수

전설의 수학 문제를 찾아서, 3번째 문제는 3인의 죄수 문제입니다. 이 문제 역시 전설의 수학 문제 #1과 #2와 같은 조건부 확률 문제입니다. 서벨로니 (Serbelloni) 문제라고도 알려진 이 문제는 1966년 여름 서벨로니 별장에서 열린 이론 생물학회에서 화제가 된 문제입니다.

A, B, C 3명의 죄수가 있습니다. 3명의 죄수 중에서 곧 2명이 처형이 될 예정이고, 3인의 죄수 모두가 이 사실을 알고 있습니다. 하지만 처형이 될 죄수 2명의 이름은 간수만 알고 있습니다. 어느 날 죄수A는 간수에게 죄수B와 C 2명 중에서 적어도 1명이 처형되는 것은 확실하니 B나 C중 누가 처형이 되는지 한 사람의 이름을 말해달라고 부탁했습니다. 이 때 간수는 B가 처형이 될 것이라고 대답해 주었습니다.

이 말을 들은 죄수 A는 자신이 처형될 확률이 낮아졌다고 무척 기뻐했습니다. 대답을 듣기 전 자신이 처형될 확률은 $\frac{2}{3}\approx 66.7\%$ 였지만 대답을 듣고 난 후 뒤에는 B와 같이 처형될 죄수는 자신이 아니면 C이므로 앞으로 자신이 처형될 확률이 $\frac{1}{2}=50\%$ 가 되어 자신이 처형될 확률이 간수의 대답을 듣기 전보다 낮아졌다고 생각했기 때문입니다. 간수가 거짓말을 하지 않는다면 과연 죄수의 판단은 옳은 것일까요?

전설이라고 부를 수 있는 수학 문제들은 어떤 것일까요? 문제 풀이의 난이도와 관계 없이, 수학 문제를 푸는 재미가 있는 문제, 학문적인 의미를 가지고 있는 문제, 문제 풀이의 원리가 여러 다른 문제에서도 두고 두고 사용되는 문제입니다. “전설의 수학 문제를 찾아서”는 전설이라고 부를 수 있는 수학 문제들을 찾아 풀어보고, 무엇을 배울 수 있는지 그 배경과 의미를 설명하는 연재글입니다.

이 문제의 결과는 직관과 꽤 다르기 때문에 처음에는 이상하게 생각이 될 수도 있습니다. 하지만 결국 몬티홀 문제(클릭)이나 상자속의 카드(클릭)과 같은 전설의 조건부 확률 문제와 결과적으로는 같은 문제입니다.

문제의 의미

이 문제는

간수가 처형당할 사람이 죄수B라고 말해 주었을 때, 죄수A가 처형될 확률

을 묻고 있는 조건부 확률문제입니다. 이 문제가 어려워진 가장 큰 이유는 몬티홀 문제처럼 전제 조건에 해당하는 사건이 발생하는 시점 때문입니다. $$\text{A,B, C중 처형될 2사람이 정해짐}\to\text{간수가 처형될 사람을 알려줌}$$이 문제에서 A, B, C 중 어떤 사람이 처형되는지 먼저 정해지고 나서야 간수는 죄수B가 처형될 것이라고 이야기 해 줄 수 있습니다. 그런데 이 문제는 나중에 일어나는 사건 (간수가 처형될 사람이 죄수B라고 말을 하는 사건) 을 그보다 앞서 일어나는 사건 (죄수A가 처형될 것이라고 정해짐) 을 전제 조건으로 사용하고 있습니다.

이처럼 나중에 일어나는 사건을 그보다 앞서 일어나는 사건의 전제로 사용하는 조건부 확률의 의미는 전제에 해당하는 사건이 일어나게 되는 원인 중 문제가 요구하는 원인의 영향을 평가 하는 것입니다.

간수의 대답이 죄수B가 된 이유

죄수A가 앞으로 처형 될 2명의 죄수 중 한 사람이 누구인지 간수에게 물어보았을 때, 간수의 대답이 죄수가 B가 된 이유는 3가지가 있습니다.

원인1: 처형될 죄수가 A, B이기 때문에

만약 처형될 죄수가 A, B라면, 간수는 죄수B가 처형될 것이라고 무조건 대답을 해주어야 합니다. 간수는 B, C 중 한 사람의 이름을 말을 해주어야 하기 때문입니다. A,B,C 중 두 사람이 처형되는 경우는 (A, B), (B, C), (C, A) 이렇게 세 가지 이고, 세 경우 모두 같은 가능성을 가지고 있기 때문에 처형될 죄수 2명이 (A, B) 일 확률은 $\frac{1}{3}$ 입니다. 따라서 처형될 죄수가 (A,B)이고 간수의 대답이 죄수B가 될 확률은$$\frac{1}{3}\times{1}=\frac{1}{3}\tag{1}$$입니다.

원인2: 처형될 죄수가 B, C이기 때문에

만약 처형될 죄수가 B, C라면, 간수는 죄수B와 죄수C 중 한 사람을 골라 대답할 수 있습니다. 간수에게 모든 죄수는 동등하므로, B와 C중 어느 한 사람을 고를 확률은 $\frac{1}{2}$ 입니다. 처형될 죄수 2명이 (B, C) 일 확률은 $\frac{1}{3}$ 이므로 처형될 죄수가 (A, B)이고 간수의 대답이 죄수B가 될 확률은
$$\frac{1}{3}\times\frac{1}{2}=\frac{1}{6}\tag{2}$$입니다.

원인3: 처형될 죄수가 C, A이기 때문에

만약 처형될 죄수가 C,A 라면 간수는 처형될 죄수가 B라고 대답을 해 줄 수 없습니다. 처형될 죄수 2명이 (C, A) 일 확률은 $\frac{1}{3}$ 이고, 간수의 대답이 죄수 B가 될 확률은 $0$ 이므로 처형될 죄수가 (C, A)이고 간수의 대답이 죄수 B일 확률은 $$\frac{1}{3}\times 0=0\tag{3}$$입니다.

따라서 간수의 대답이 죄수B 일 때, A가 처형될 확률은 세 가지 원인중에 첫번째 원인이 결과에 끼치는 영향을 계산해주면 됩니다. 따라서 $$\frac{(1)}{(1)+(2)+(3)}=\frac{\frac{1}{6}}{\frac{1}{6}+\frac{1}{3}+0}=\frac{2}{3}$$

간수의 대답을 듣기 전과 후에 죄수A가 처형될 확률은 $\frac{2}{3}$ 로 변화가 없습니다. 따라서 처형당할 확률이 줄어들었다고 좋아한 죄수A의 판단은 틀렸습니다.

몬티홀 문제와의 차이점

3인의 죄수 문제는 몬티홀 문제와 거의 같은 구조를 가지고 있습니다. 한 가지 다른 점은 ‘특정한’ 이라는 단어를 사용해 문제를 재정의할 필요가 없다는 점입니다. 몬티홀 문제에서는 진행자가 보여준 염소의 이름이 언급되어 있지 않지만 3인의 죄수 문제에서는 처음부터 간수의 대답이 죄수 B로 정해져 있습니다. 따라서 ‘특정한’ 죄수의 이름을 미리 정해 둘 필요가 없기 때문에 몬티홀 문제보다는 약간 쉽게 느껴질 수도 있습니다.