자연계열 2번

[가] 직관적으로 정보(information)가 무엇인지 우리는 잘 알고 있으며 문장, 언어 또는 영상을 통하여 끊임없이 정보를 받거나 주고 있다. 정보에 대한 사전적인 정의로는 정보를 수치화하기 힘들어 보인다. 따라서 정보의 계측을 위한 다른 방법의 필요성이 대두된다. 다음의 예를 생각해본다. 이번 학기에 우리는 장학금을 받지 못한다는 사실을 잘 알고 있는 상태에서 누군가 “우리는 이번 학기에 장학금을 받지 못하게 되었어.”라고 말을 하였다면 우리는 아무런 흥미를 느끼지 못한다. 왜냐하면, 이 말을 통하여 우리는 아무런 새로운 정보도 얻지 못하기 때문이다. 반면 이번 학기에 우리가 장학금 수혜 여부를 모르는 상태에서, 누군가 “우리는 이번 학기에 모두 장학금을 받을 수 있게 되었어.”라고 말을 하면 우리는 새로운 정보에 흥미를 느낄 것이다. 동일한 상황에서 누군가 “나만 이번학기에 장학금을 받게 되었고 나머지 학생들은 장학금을 받지 못하게 되었어.”라고 말을 한다면 우리는 더욱 이 정보에 주목하게 된다. 왜냐하면 더 의미 있는 정보를 알게 되었기 때문이다. 이렇듯이 생활 속의 많은 예들로부터 정보가 가지는 양은 서로 다를 수 있다는 것을 안다. 따라서 정보량이란 발생된 불확실성을 해소하는 어떤 수치적 양일 것이다. 다음의 예를 살펴보자.

[나] 각각 1, 2, 3 및 4가 적힌 4장으로 된 카드 한 벌이 있다. 한 장을 뽑아, 나만 그 카드의 숫자 $\displaystyle x$ 를 확인하였다면 나는 다른 사람들보다 얼마나 더 많은 정보를 가지고 있는 것일까? 나와는 달리 다른 사람들은 불확실성을 가진다. 이 경우에 불확실성을 해소하는 방법은 비교적 간단하다. 두 단계의 ‘예-아니오 물음’으로 불확실성을 제거할 수 있다. 예를 들어 “$\displaystyle x$ 가 3 이상입니까?”라는 질문을 하면 대답은 “예” 또는 “아니오” 중의 하나가 된다. 만약 대답이 “예”라면 $\displaystyle x$ 는 3 이상이므로 다음 질문 “$\displaystyle x$ 가 3입니까?”를 통하여 “예” 또는 “아니오” 대답을 얻어서 그 카드의 값 $\displaystyle x$ 를 알 수 있다. 따라서 총 두 번의 ‘예-아니오 형식의 물음’을 통하여 불확실성을 제거한다. 이 경우에서 $\displaystyle x$ 를 알기 위한 ‘예-아니오 물음’들의 최소 개수 2는 나의 정보량이다.

[다] 각각 1, 2 및 3이 적힌 3장의 카드 한 벌 속에서 한 장을 뽑아 나만 알고 있다면 나는 다른 사람들보다 얼마나 더 많은 정보량을 가질까? 이 경우에도 지문 [나]와 같은 방법을 이용하여, ‘예-아니오 물음’을 이용한 최소 질문 개수가 나의 정보량이라고 할 수 있는가?

[라] 앞면이 나올 확률이 $\displaystyle 1/4$이고 뒷면이 나올 확률이 $\displaystyle 3/4$인 찌그러진 동전 던지기를 생각하자. 동전을 던진 후에, 나온 동전의 면을 나만 알고 있다면, 내가 가진 정보량은 1일까? 물론 지문 [나]와 같이 한 번의 ‘예-아니오 형식의 물음’을 통하여 발생한 동전의 앞 또는 뒷면을 알 수 있다. 그러나 만약 던져진 동전이 앞면인 것을 알고 있다면, 뒷면의 경우보다 우리가 느끼는 놀라움은 상대적으로 클 것이고, 뒷면이 나왔다면 반대로 우리가 느끼는 놀라움은 적을 것이다. 이 경우 정보량은 $\displaystyle \frac14\log_24+\frac34\log_2\frac43\approx0.94$로 계산되며 1이 아니며, 특히 1보다 작은 값을 얻는다.Correction. 계산한 근삿값 $\displaystyle 0.94$는 약 $\displaystyle 0.8113$의 오기이다. 그러나 원칙에 따라 원문 표기를 그대로 실었다.