자연계열 2번

(1) 하나의 음절은 자음 10 개 중 하나, 모음 10 개 중 하나로 이루어지므로 100 개의 조합이 가능하다. 이러한 음절 3 개가 하나의 단어를 이룰 수 있는데 3 음절 조합은 100x100x100=1000000 개이다. 따라서 W=1000000 이다. 1000000 개의 가능한 조합 중 어떤 것이 사용되는 단어인지 뜻풀이에 대응하는 단어인지 컴퓨터A는 알 수 없으므로 각각의 조합은 모두 같은 확률 P=1/1000000 을 갖는다. 따라서 엔트로피 S는 $\displaystyle S=- \sum _{1} ^{1000000} \frac{1}{1000000} \log \frac{1}{1000000} =\log 1000000$으로 계산되어진다.

컴퓨터B는 사용되는 5만 개의 단어를 이미 알고 있다. 하지만 그 이상의 정보를 갖고 있지는 않으므로 W=50000, P=1/50000 이다. 따라서 엔트로피 S는

$\displaystyle S=-( \sum _{1} ^{50000} \frac{1}{50000} \log \frac{1}{50000} + \sum _{50001} ^{1000000} 0)=\log 50000$으로 계산되어진다.

컴퓨터C는 두 단어 중 하나임을 알고 있기 때문에 각각의 확률은 1/2이 되어, W=2, P=1/2 이다. 따라서 엔트로피는 $\displaystyle S=- \sum _{1} ^{2} \frac{1}{2} \log \frac{1}{2} =\log 2$ 로 계산되어진다.

(2) 컴퓨터A의 경우 컴퓨터는 단어가 될 수 있는 조합 1000000 개에 대한 정보를 알고 있지만 그 1000000 개 중에 어느 것이 답이 될 수 있을지에 대한 정보는 전혀 가지고 있지 않다. 따라서 엔트로피가 가장 크다. 컴퓨터B는 컴퓨터A가 알고 있는 조합 중 950000 개는 답일 수 없다는 정보를 더 가지고 있다. (따라서 시스템을 이해하기 위해 더 알아야 하는 정보가 상대적으로 적다.) 따라서 그 만큼 엔트로피가 더 적게 계산되어진다. 컴퓨터C는 시스템에 대한 정보를 거의 완전히 알고 있다. 둘 중 어느 것이냐에 대한 단 하나의 정보만 더 있다면 시스템을 완전히 이해하게 된다. 따라서 가지고 있는 정보는 가장 많고 엔트로피는 가장 적다.

이 세 경우를 다시 살펴보면, 컴퓨터C의 경우에는 각 단어의 뜻풀이를 그 단어와 연결할 수 있으려면 이러한 정보를 어디엔가 저장해 두어야 하고 저장할 때 외부로부터의 에너지를 필요로 했을 것이다. (배터리가 장착되어 있더라도 그 배터리는 외부 시스템으로 간주한다.) 그 에너지를 사용하여 정보를 증가시킬 때 (즉 자신의 엔트로피를 감소시킬 때), 열역학 제 2 법칙을 적용하면 에너지를 컴퓨터C에 공급한 외부를 포함하여 계산한 총 엔트로피는 감소되지 않는다. 컴퓨터B의 경우에도 단어 5만 개를 데이터베이스화 할 때 동일하게 외부를 포함한 전체 시스템의 총 엔트로피의 감소는 없다. 만약에 컴퓨터A, 컴퓨터B, 컴퓨터C가 아무런 정보없이 같은 조건에서 시작했다고 했을 때, 외부를 포함한 전체 시스템의 엔트로피를 감소시킬 수는 없지만 시스템 사이의 에너지 전달을 통하여 특정 컴퓨터 시스템이 정보를 많이 가질 수 있도록 (엔트로피가 상대적으로 적어지도록) 만들 수 있다. 어느 시스템이 공짜로 정보를 더 가질 수는 없지만 외부의 정보를 감소시키면서 자신의 정보를 증가시킬 수는 있다.

(3) 세 번째의 보기도 답일 가능성을 배제할 수 없다. 첫 번째, 두 번째, 세 번째 보기 모두 답이 될 수 있고 특별한 다른 정보가 더 주어지지 않는다면 답이 될 확률이 다를 이유가 없다. 따라서 엔트로피 S는 $\displaystyle S=- \sum _{1} ^{3} \frac{1}{3} \log \frac{1}{3} =\log 3$ 으로 계산되어진다.