자연계열 2번

엔트로피는 무질서의 정량적인 척도를 나타낸다. 열역학적 과정 중 하나인 이상기체의 등온팽창 과정을 예로 들어 살펴보자. 팽창 후에는 분자들이 이전보다 더 넓은 공간에서 움직이므로 더 제각기 자유롭게 분포되어 있다고 말할 수 있다. 즉 더 무질서한 상태에 있게 되어 엔트로피는 증가하게 된다. 온도 $\displaystyle T$가 일정한 상태에서 팽창하는 과정 중 증가하는 엔트로피($\displaystyle \Delta S$)는 $\displaystyle \Delta S= \Delta Q / T$ 로서 공급된 열($\displaystyle \Delta Q$)에 비례한다. 이에 관련된 대표적 연구 결과가 ‘열역학적 과정에 참여하는 자연계(시스템)의 엔트로피 총합은 변화가 없거나 증가한다’는 열역학 제 2 법칙이다.

엔트로피는 다른 말로 표현하면 관찰의 대상이 되는 시스템을 완전히 이해하기 위해서 알아야 하지만 알려져 있지 않은 정보의 양이다. 앞의 이상기체의 등온팽창을 예로 살펴보면, 이상기체를 완전히 이해한다는 것은 이상기체의 모든 분자의 위치와 속도를 안다는 뜻인데, 팽창 전에도 위치를 알지 못했지만 팽창 후에는 각각의 분자가 존재할 수 있는 범위가 더 커지게 되어 위치에 대해 더 모르게 된다는 의미이다.

18세기에 제기된 맥스웰의 패러독스를 해결하기 위한 논의 과정 중에서 관찰의 대상인 시스템과 관찰자를 분리해서는 자연 현상을 이해할 수 없다는 주장이 제기되어 왔다. 시스템에 대한 정보를 얻거나 얻은 정보를 기록하는 과정, 정보를 지우는 과정 등 관찰자의 관찰 행위 자체가 에너지(열)를 필요로 하기 때문에 관찰자의 엔트로피가 증가할 수 있고, 따라서 열역학 제 2 법칙에서 ‘참여하는 자연계(시스템)들’에 관찰자도 포함시켜 자연 현상을 해석해야 한다는 주장이 받아들여지고 있다.

이제 시스템의 정보가 어떻게 정량화되고 그렇게 정량화된 정보량이 엔트로피와 연결될 수 있는지 정보이론의 설명을 살펴 보기로 하자. 모두 $\displaystyle W$ 가지의 사건이 일어날 수 있는 시스템에서 특정 사건 $\displaystyle r$이 일어날 확률을 이라 하면 ($\displaystyle r=1,2, ... , W$), 정보량 $\displaystyle I$는 $\displaystyle I = \sum _{ r=1} ^{W} p_{r} ~\log p_{r} + I_{0}$ 로 정의된다. (여기에서 $\displaystyle I_{0}$는 시스템이 갖는 최대 정보량의 로그 값이다. 많은 시스템에서 최대 정보량 $\displaystyle W$가 쉽게 다룰 수 없을 정도의 큰 수이기 때문에 $\displaystyle W$ 대신 $\displaystyle W$의 로그 값을 사용한다.) 동전 던지기를 생각하면, 앞, 뒤 2 가지 경우가 가능하고 두 경우의 확률이 각각 1/2로 주어지므로, 동전 던지기의 결과를 알기 전의 정보량 $\displaystyle I$는, $\displaystyle I_{0}$를 $\displaystyle \log 2$로 놓았을 때, $\displaystyle ( \frac{1}{2} \log \frac{1}{2} + \frac{1}{2} \log \frac{1}{2} ) + \log 2$로 최솟값인 0 이 된다. 반면에 동전을 던진 후에는, 예를 들어 앞면이 나왔음을 확인한 뒤에는, $\displaystyle I$가 $\displaystyle ( 1 \log 1 + 0 ) + \log 2$로 최댓값인 $\displaystyle \log 2$가 된다.

또 다른 예로 트럼프 카드를 생각해 보자. 스페이드, 다이아몬드, 클로버, 하트 무늬의 Ace 카드 각 한 장씩 4 장의 카드를 준비하여 숫자와 무늬가 인쇄된 앞면을 보이지 않게 한 상태에서 카드 한 장을 뽑되 아직 앞면을 펼쳐보지는 않았다고 하자. 뽑힌 카드의 무늬를 맞추려 한다면, 4 가지 무늬 중 어느 것이든지 가능하고 어떤 무늬일지 아무것도 알려져 있지 않으므로, $\displaystyle I_{0}$를 $\displaystyle \log 4$로 놓으면 정보량 $\displaystyle I$는 0 이 된다. 만일 뽑히지 않은 카드 중 한 장을 뒤집어 스페이드 카드임을 확인했다면 시스템에 대하여 아는 것이 늘어나게 되어 $\displaystyle I=( \sum _{1} ^{3} \frac{1}{3} \log \frac{1}{3} + 0 ) + \log 4 = \log \frac{4}{3}$이 된다.

엔트로피는 관찰 중인 시스템을 이해하는 데 정보가 얼마나 부족한지를 나타내는 지표이다. 따라서 엔트로피 $\displaystyle S$는 정보량 $\displaystyle I$와 반대 방향의 경향성을 나타내어 $\displaystyle S = -I + I_{0} = - \sum _{ r=1} ^{W} p_{r} ~\log p_{r}$ 로 정의된다. 정보가 전혀 없는 경우, 즉 일어날 가능성이 있는 모든 사건의 확률이 같은 경우, $\displaystyle p_{r} = 1/W$가 되어 $\displaystyle S= \log W$가 된다. 반면에 정보가 완전히 알려져 있다면 (예를 들어 $\displaystyle p_{1} = 1$이라면), 엔트로피는 최솟값 0 이 된다.