機シ：統計熱力学 2019 （松本）：p. 129

12 発展的話題その3：情報理論入門

　統計力学の大きな成果の１つは，第 3章で学んだように，熱力学においては経験的

empirical に定義されるエントロピー

S熱力学 ≡ d−Q

T(12–342)

を，微視的状態の数（多重度, 縮退度）g(E)と結びつける表式（Boltzmannの関係式）を

得たことである：

繰り返しコメントするが，厳密にはg(E) は多重度密度であり，小さなエネルギー幅 dEに対してW (E) =g(E)dE である．多重度W (E) を使って

S(E) = kB logW (E)

と書いてある教科書も多い．W (E)と g(E)は定数倍 (dE)異なるので，その対数であるエントロピーには，定数 kB log dE だけのずれが生じるが，実用上はどちらで考えても差し支えない．

S統計力学(E) = kB log g(E) (12–343)

実は，エントロピーにはもう１つ，情報量の尺度 measure of information という重要な側

面があり，統計力学の大きな応用分野の１つになっている． 最後の応用例となる本章で

この章の内容は，標準的／初等的な統計力学の教科書（たとえばKittel）ではほとんど触れられていないが，コンピュータや通信などの分野をはじめとして 情報学におけるエントロピーの考え方 はますます重要になっているので，簡単に取り上げることにした．詳しく知りたい人は，情報理論などの適当な教科書を参照して欲しい．ブルーバックス (2012年刊)の本も副読本としてお勧めする．

は，情報（あるいは確率）という観点から眺めたエントロピーについて述べる．

12.1 確率とエントロピー

　まずは，簡単な例として，「サイコロのエントロピー」について考察しよう．６つの目が

等しい確率で出現するということを，「多重度が６」と解釈すると，そのエントロピーは

Sサイコロ = kB log 6 (12–344)

と定義できるだろう．

　さて，このサイコロを振った結果，「偶数の目が出た」とわかったとしよう．これは，「目

は 2, 4, 6のいずれか」ということを意味するから，このときのエントロピーは

S′サイコロ = kB log 3 (12–345)

に変化する．つまり，「偶数の目が出たという情報」を入手したことで

∆Sサイコロ = S′サイコロ − Sサイコロ

= kB log3

6

= −kB log 2 < 0 (12–346)

だけ，エントロピーが変化（減少）したことになる．このように，系についての情報を得

ることで，その系のエントロピーは減少する．あるいは，「情報」はマイナスのエントロ

ピーを持っている，と言ってもよい．

機シ：統計熱力学 2019 （松本）：p. 130

　別の例として，２０の扉という遊びを挙げよう．上手に質問すれば，220 ≃ 106 もの候「20 の質問に yes か no で答えてもらうことで，相手が考えているものを当てる」というゲームである．（私が小学生の頃はよくやった遊びですが，最近はどうでしょうか？）例えば，　　生物ですか？　　　　　　 yes　　動物ですか？　　　　　　 yes　　陸上にいますか？　　　　 no　　脊椎動物ですか？　　　　 yes

　　　　...

　　飼育できますか？　　　　 yes　　赤色のものはいますか？　 no　　　　↓　　それは メダカ ですね！

補の中から１つを当てることができる．これをエントロピーの視点で考えてみよう．ゲー

ム開始前のエントロピーは

S(0) = kB log 220 = 20kB log 2 (12–347)

である．１回質問して yes，no を答えてもらうと，可能性は半分になるから

S(1) = kB log 219 = 19kB log 2 (12–348)

以下，同様に質問を繰り返すと

S(18) = 2kB log 2 (12–349)

S(19) = kB log 2 (12–350)

S(20) = 0 (12–351)

と減少していき，確定したときにはエントロピーはゼロ（つまり多重度は１）となる．つ

まり，yes, no で答えられる質問をして得られる情報により，エントロピーは kB log 2 だ

け減少する と考えられる．

もちろん，この議論は「理想的にうまく質問をした場合」である．ゲームの初心者は，「それは時計ですか？」，「それは鉛筆ですか？」，…と具体的なものを挙げていくが，これでは20 個のものしか特定できない．

　こうした考え方を一般化しよう．N 個の可能性がある場合に，「そのうちのM 個のいず

れかである」という情報を入手するとエントロピーは kB log MN (< 0)だけ変化（減少）す

ると考えられる．情報理論 informatics の分野では，

この情報は −kB log MN

(> 0) の 情報量（information） をもつ

という言い方をする．あるいは，M/N がその事象の出現確率を表すので，

「確率 pの事象が起きた」という情報は −kB log p の情報量を持つ もちろん，確率は必ず p ≤ 1 であるから，こうして定義された情報量は常に非負の値をとる．

と言い換えることもできる．

（例）よく，「犬が人を噛んでもニュースにはならないが，人が犬を噛むとニュースになる」

と言われる．これを情報理論的に解釈すると，

人が犬を噛む確率　≪　犬が人を噛む確率

だから

「人が犬を噛んだ」というニュースのもつ情報量

≫

「犬が人を噛んだ」というニュースのもつ情報量

ということになる．

機シ：統計熱力学 2019 （松本）：p. 131

　情報学の分野では，対数の底を eではなく 2にとることが多い．これは，コンピュータ

をはじめとして情報の最小単位を on，off (あるいは yes，no) の２状態で扱うのが便利だ

からである．したがって，上述の情報量は 対数の公式

loga x =logb x

logb a

(a, b, x > 0) を思い出そう．−kB loge p = −kB

log2 p

log2 e= − kB

log2 elog2 p (12–352)

　さらに，この定係数kB

log2 eを１として扱うのが普通である．熱力学との対応で言えば，

温度の単位（目盛り付け）を変更することに相当するので，係数を１にすることは不自然

なことではない．これ以降，情報理論を紹介するこの章においては，特に断りのない限り

はこの単位系を使うことにして，次のように表現する：

「確率 pの事象が起きた」という情報の情報量は − log2 p である．

この情報量の単位を ビット bit という．

計算機数学などで学んだように「ビット (binary digit に由来すると言われている)」とは２進数の各々の桁を表す単位でもある．今，on，offが等確率 1

2で起きるとき，その情

報量は − log212= 1ビットである

から，両者は本質的に同じであると考えてよい．

（参考） 情報量の単位の呼称として長らく，ビット が用いられてきたが，1997年

の JIS規格 (JIS X0016-1997 情報処理用語）において，次の単位呼称が制定され

た．これは ISO (国際標準化機構 International Organization for Standardization)

の規格制定を受けたものである．ただし，シャノンという呼称はまだあまり普及し

ていないようである．

底 単位呼称 記号 　　注

2 シャノン Sh 従来の「ビット」．Claude Shannon (1916–2001) にちなむ．

e ナット nat 自然対数 (natural logarithm)．

10 ハートレー Hart 常用対数．Ralph Hartley (1888–1970) にちなむ．

　再びサイコロの例に戻り，今度は「不正確なサイコロ」，すなわち各々の目が出る確率

が必ずしも 16 ではない一般的な場合を考える：{

サイコロの目 : 1 2 · · · 6

確率 : p1 p2 . . . p6

}(12–353)

としよう．もちろん∑i

pi = 1とする．このとき，「サイコロを１回振る」ことによっても

たらされる情報量の平均値（期待値）は

S ≡ p1 × (− log2 p1) + p2 × (− log2 p2) + · · · (12–354)

となる．これを，「サイコロを１回振ることにより得られる情報エントロピーは S である」

と言うことにする．

機シ：統計熱力学 2019 （松本）：p. 132

確率論の用語を使って整理すると，一般に，

確率論では，値が確率的にしか定まらない変数（例：サイコロの目）を確率変数 random variable という．それぞれの値（例：サイコロの目の 1, 2, 3, . . .）は事象 event という．確率が {pi}で与えられる確率変数の (情報)エントロピーは

S = −∑i

pi log2 pi (12–355)

と定義される．これを，シャノンのエントロピーとよぶ．

次節では，情報エントロピーの性質について概観する．

Claude Elwood Shannon (1916-2001)情報理論の創始者．1948年にベル研究所の論文誌に発表した “AMathematical Theory of Communi-cation”が「情報理論」の誕生とされ，Wiener, von Neuman, Turingらと並ぶコンピュータ界の巨人である．

画像は Wikipedia 英語版 より．

演習

(1) 正しく作られたサイコロを１回振るときのエントロピーを求めよ．

(2) 製造ミスで，６の目がなく１の目が２つあるサイコロができてしまった．このサイコロを１回振るときのエントロピーを求め，正しいサイコロの場合と比較せよ．

(3) 正しく作られたサイコロを２回振り，その目の合計を考える．このときの事象は {2, 3, 4, . . . 12}である．そのエントロピーを計算し，１回振るときのエントロピーの２倍であることを確かめよ．

Reprinted with corrections from The Bell SystemTechnical Journal,Vol. 27, pp. 379–423, 623–656, July, October, 1948.

A Mathematical Theory of Communication

By C. E . SHANNON

INT RODUCT ION

HE recent development of various methods of modulation such as PCM and PPM which exchange

bandwidth for signal-to-noise ratio has intensified the interest in a general theory of communication. A

basis for such a theory is contained in the important papers of Nyquist1 and Hartley2 on this subject. In the

present paper we will extend the theory to include a number of new factors, in particular the effect of noise

in the channel, and the savings possible due to the statistical structure of the original message anddue to the

nature of the final destination of the information.

The fundamental problem of communication is that of reproducing at one point either exactly or ap-

proximately a message selected at another point. Frequently the messages havemeaning; that is they refer

to or are correlated according to some system with certain physical or conceptual entities. These semantic

aspects of communicationare irrelevant to the engineeringproblem. The significant aspect is that the actual

message is one selected froma set of possible messages. The system must be designed to operate for each

possible selection, not just the onewhichwill actually be chosen since this is unknownat the timeof design.

I f the number of messages in the set is finite then this number or any monotonic function of this number

can be regarded as a measure of the information produced when one message is chosen from the set, all

choices being equally likely. As was pointed out by Hartley the most natural choice is the logarithmic

function. A lthough this definition must be generalized considerably when we consider the influence of the

statistics of the message and when we have a continuous range of messages, we will in all cases use an

essentially logarithmic measure.

The logarithmic measure is more convenient for various reasons:

1. I t is practically more useful. Parameters of engineering importance such as time, bandwidth, number

of relays, etc., tend to vary linearly with the logarithm of the number of possibilities. For example,

addingone relay to a groupdoubles the number of possible states of the relays. I t adds 1 to the base 2

logarithm of this number. Doubling the time roughly squares the number of possible messages, or

doubles the logarithm, etc.

2. I t is nearer to our intuitive feeling as to the proper measure. This is closely related to (1) since we in-

tuitively measures entities by linear comparisonwith common standards. One feels, for example, that

two punched cards should have twice the capacity of one for information storage, and two identical

channels twice the capacity of one for transmitting information.

3. I t is mathematically more suitable. Many of the limiting operations are simple in terms of the loga-

rithmbut would require clumsy restatement in terms of the number of possibilities.

The choice of a logarithmic base corresponds to the choice of a unit for measuring information. I f the

base 2 is used the resulting units may be called binary digits, or more briefly bits, a word suggested by

J. W. Tukey. A device with two stable positions, such as a relay or a flip-flop circuit, can store one bit of

information. N suchdevices can storeN bits, since the total number of possible states is 2N and log22N N.

I f the base 10 is used the units may be called decimal digits. Since

log2M log10M log102

3 32log10M

1Nyquist, H., “Certain Factors Affecting Telegraph Speed,” Bell System Technical Journal, April 1924, p. 324; “Certain Topics in

Telegraph Transmission Theory,” A.I .E .E . Trans., v. 47, April 1928, p. 617.2Hartley, R . V. L ., “Transmission of Information,” Bell SystemTechnical Journal, July 1928, p. 535.

1

（参考）Shannonの記念すべき論文の第 1ページ．情報理論誕生の瞬間である．全論文は，ウェブ上で入手できる．http://cm.bell-labs.com/cm/ms/what/

shannonday/shannon1948.pdf

機シ：統計熱力学 2019 （松本）：p. 133

12.2 情報エントロピーの性質

12.2.1 確率統計学の復習

　まず，次のことを確認しておこう：

(0) 離散的 discrete な値をとる確率変数 stochastic variable X の確率 pX(x) は次の性質 確率変数が連続的 continuous な値をとる場合は，もちろん，確率密度 probability densityを定義し，和∑

xの代わりに積分

∫dx を考え

ることになる．

を持たなければならない：

すべての事象 xについて　 0 ≤ pX(x) ≤ 1 (12–356)

規格化条件　∑x

pX(x) = 1 (12–357)

次に，２つの確率変数X と Y を考える．各々の確率が，pX(x)，pY (y)と与えられている

とする．

(1) 「X = xであり，かつ Y = yである確率」を 結合確率 joint probability という．こ

こでは，p(x, y)と表すことにする．その定義から

∑y

p(x, y) = pX(x) (12–358)

が成り立つ．これは，「Y の値がどうであれ」X = xとなる確率，ということなので，

当然である．同様に ∑x

p(x, y) = pY (y) (12–359)

(2) 任意の x, yについて

p(x, y) = pX(x)pY (y) (12–360)

が成り立つとき，X と Y は独立 independent であるという．

(3) 「Y = yの条件下で，X = xである確率」を 条件付き確率 conditional probability と

いい，p(x|y)と表すことにする．同様に，「X = xの条件下で，Y = y である確率」

を p(y|x)で表す．定義により，

∑x

p(x|y) =∑y

p(y|x) = 1 (12–361)

が成り立つ．

機シ：統計熱力学 2019 （松本）：p. 134

(4) 一般には

p(x|y) ̸= p(y|x) (12–362)

(5) 条件付き確率の定義から，次のベイズの定理 Bayes’ rule が成り立つ． Thomas Bayes (1702–1761) イギリスの牧師・数学者．ベイズの定理の特殊な場合についての証明が死後発表されたことで知られる．p(x, y) = p(x|y)pY (y) = p(y|x)pX(x) (12–363)

この定理を用いると，結合確率だけから条件付き確率を求めることが可能となる：

p(y|x) =p(x, y)

pX(x)=

p(x, y)∑y

p(x, y)(12–364)

p(x|y) =p(x, y)

pY (y)=

p(x, y)∑x

p(x, y)(12–365)

(6) もしX と Y が独立ならば，「X = xである」ことは Y に影響を与えないから， これはベイズの定理，式 (12–363)，と 独立 の定義，式 (12–360)，からすぐに証明できますね．

p(y|x) = pY (y) (12–366)

p(x|y) = pX(x) (12–367)

である．

こんな興味深い本が出版されている：マグレイン著，「異端の統計学　ベイズ」(草思社, 2013. 最近文庫化された).

(Amazon サイトでの紹介文から)現在、IT やリスクマネジメント、経済学、意志決定理論の各分野で非常に重要な役割を果たしているベイズ統計。しかし、その 250 年あまりの歴史のほとんどにおいて、統計学界では異端視され、冷遇されてきた。本書は、虐げられてきたベイズ統計が突然注目を集めるようになるまでの、数奇な遍歴を初めて物語る一冊です。物語の中では、いまだに機密扱いを受けている戦時下・冷戦下でのベイズ統計のスリリングな活躍、およそ科学的とは言い難いほどにどろどろとしたベイズ派と主流派との闘いなどが繰り広げられます。

演習

ベイズの定理の応用：事後推定式 (12–363)を次のように変形すると，事象 y が起きた時の xの条件付き確率を，事象 xが起きた時の y の条件付き確率から求めることができる：

p(x|y) = p(x, y)

pY (y)=

p(y|x)pX(x)∑x

p(y|x)pX(x)(12–368)

これを利用すると，つぎのような問題を扱うことができる．

Wikipedia:ベイズ推定 の例よりクッキーのいっぱい詰まったボウルが２つある．ボウルＡには 10個のチョコクッキーと 30

個のプレーンクッキーが，ボウルＢにはそれぞれが 20 個ずつはいっている．どちらか 1 つのボウルをランダムに選び，さらにランダムにクッキーを取り出したところ，クッキーはプレーンだった．これがボウルＡから取り出されたという確率を求めよう．　事象 X はボウルの選択，事象 Y はクッキーの選択ということになる．推定に必要な確率は {

pX(ボウルＡ) = 1/2pX(ボウルＢ) = 1/2{

p(プレーン | ボウルＡ) = 3/4p(プレーン | ボウルＢ) = 1/2

以上より，求める確率は

p(ボウルＡ | プレーン)

=p(プレーン | ボウルＡ)pX(ボウルＡ)

p(プレーン | ボウルＡ)pX(ボウルＡ) + p(プレーン | ボウルＢ)pX(ボウルＢ)

=3/4× 1/2

3/4× 1/2 + 1/2× 1/2=

3

5

ボウルＡのほうがプレーンクッキーがたくさん入っているから，それがボウルＡから取り出された確率が大きいというのは，直感と合っている．

機シ：統計熱力学 2019 （松本）：p. 135

12.2.2 情報エントロピーの最小値と最大値

　エントロピーの定義

S(X) = −∑x

pX(x) log2 pX(x) (12–369)

において，条件 0 ≤ pX(x) ≤ 1 より log2 pX(x) ≤ 0 が成り立つので

0 ≤ S(X) (12–370)

である．等号が成り立つ（すなわち エントロピーの下限）のは，ある xにおいて limx→0

x log x = 0 を思いだそう．

pX(x) = 1でそれ以外は pX(x) = 0の場合のみであることは明らかであろう．これは，「確

定している事象についての情報エントロピーはゼロ」ということで，直感と合う．

　では，エントロピーの上限 はあるだろうか？　これを考えるためには，上に凸な関数に関数 f(x)が上に凸 とは，任意の r(0 ≤ r ≤ 1)に対して，定義域内の２点 aと bを 1− r : r に内分する点 x = r · a+ (1− r) · bにおいて，

f(x) ≥ r · f(a) + (1− r) · f(b)

が成り立つことである．

1-r : r

f(x)

f(a)

f(b)

ついての次の定理が有用である．

補題：イエンゼン Jensen の不等式　 f(x)を 0 ≤ x < ∞で定義された上に凸な関数とする．N 個の点 x1, x2, . . . , xN と0 ≤ pi ≤ 1，

∑i

pi = 1を満たす実数 p1, p2, . . . , pN に対して次式が成り立つ．

N∑i=1

pif(xi) ≤ f

(N∑i=1

pixi

)(12–371)

Johan LudwigWilliam ValdemarJensen (1859–1925) デンマークの数学者，技術者．

（証明）　 N についての数学的帰納法 mathematical induction で示す．

• N = 2のときは，凸関数の定義により成り立つ．• N = K のときに成り立ったと仮定する．すなわち

p′1f(x1) + p′2f(x2) + · · ·+ p′Kf(xK) ≤ f

(K∑i

p′ixi

)• N = K + 1の場合を考える．上の p′i を

p′i =pi

1− pK+1　　 i = 1, 2, . . . ,K

となるように選ぶと，明らかにK∑i

p′i = 1であり，

K+1∑i

pif(xi) =

K∑i

pif(xi) + pK+1f(xK+1)

= (1− pK+1) ·K∑i

p′if(xi) + pK+1f(xK+1)

≤ (1− pK+1) · f

(K∑i

p′ixi

)+ pK+1f(xK+1)

≤ f

((1− pK+1)

K∑i

p′ixi + pK+1xK+1

)

= f

(K+1∑

i

pixi

)となるから，N = K + 1の場合も成り立つ． （証明終わり）

機シ：統計熱力学 2019 （松本）：p. 136

　さて，対数関数は，上に凸な関数である．そこで，f(x)として log2 xを選び，また グラフを描いてみれば明らかである．あるいは 2 階微分が常に正であることを示しても良い．xi =

1piとすると，Jensenの不等式から

S(X) = −N∑i

pi log2 pi

=

N∑i

pi log21

pi

≤ log2

N∑i

pipi

= log2 N

= − log21

N(12–372)

すなわち，エントロピーは確率変数が一様分布である場合に最大となることが示された．

これにより，サイコロが正しく作られている（どの目も同じ確率 16 で出る）場合が最もエ

ントロピーが大きい（p. 132 の演習問題を参照）ことが証明されたことになる．一様分布

（＝どの事象が起きる確率も等しい）というのは，事象について事前に全く手がかりがな

いということを意味するから，そのエントロピーが最大となるのは物理的に考えれば当然

とも言える．

12.2.3 条件付きエントロピーと結合エントロピー

　前節の定義に従って，確率変数X, Y の（情報）エントロピーはそれぞれ

S(X) = −∑x

pX(x) log2 pX(x) (12–373)

S(Y ) = −∑y

pY (y) log2 pY (y) (12–374)

である．ここで，次のエントロピーを考えよう：

S(X|Y = y) ≡ −∑x

p(x|y) log2 p(x|y) (12–375)

これは，「Y = yであることを知ってもなお残っている曖昧さ（情報量）」を表している．

Y はいろいろな値をとり得るので，この情報量の期待値を考える：

∑y

pY (y)S(X|Y = y) = −∑y

pY (y)∑x

p(x|y) log2 p(x|y) (12–376)

これを条件付きエントロピー conditional entropy といい，S(X|Y )で表すことにする．ベ

イズの定理から

S(X|Y ) = −∑x,y

pY (y)p(x|y) log2 p(x|y) = −∑x,y

p(x, y) log2 p(x|y) (12–377)

機シ：統計熱力学 2019 （松本）：p. 137

である．同様にして，

S(Y |X) = −∑x,y

pX(x)p(y|x) log2 p(y|x) = −∑x,y

p(x, y) log2 p(y|x) (12–378)

も定義できる．

　一方，結合エントロピー joint entropy は

S(X,Y ) = −∑x,y

p(x, y) log2 p(x, y) (12–379)

と定義するのが自然である．再びベイズの定理を使うと

S(X,Y ) = −∑x,y

p(x, y) log2 p(x, y)

= −∑x,y

pX(x)p(y|x) log2 [pX(x)p(y|x)]

= −∑x,y

pX(x)p(y|x) log2 pX(x)−∑x,y

pX(x)p(y|x) log2 p(y|x)

= −∑x

pX(x) log2 pX(x)∑y

p(y|x)−∑x,y

pX(x)p(y|x) log2 p(y|x)

= −∑x

pX(x) log2 pX(x)−∑x,y

pX(x)p(y|x) log2 p(y|x)

= S(X) + S(Y |X) (12–380)

が得られる．これは，「X と Y についての結合エントロピー」は，「X のエントロピー」と

「X がわかったときの Y の条件付きエントロピー」の和になることを示しており，エント

ロピーの連鎖則 chain rule of entropy と呼ばれている．全く同様にして，

S(X,Y ) = S(Y ) + S(X|Y ) (12–381)

も得られる．

演習

X と Y が独立である場合を考えよう．次のことを示せ．

(1) p(x|y) = p(x),　　 p(y|x) = p(y)

(2) S(X|Y ) = S(X),　　 S(Y |X) = S(Y )

(3) S(X,Y ) = S(X) + S(Y )

これにより，サイコロを２回振るときのエントロピーは１回振るときのエントロピーの２倍である（p. 132の演習問題を参照）ことが，一般的な形で証明されたことになる．

機シ：統計熱力学 2019 （松本）：p. 138

12.3 情報エントロピーの応用例１：言語のエントロピー

　一般に，情報は言語（日本語や英語のような自然言語，および，モールス信号やプログ

ラミング言語のような人工言語の両方を含む）によって表現／伝達される．そこで，言語

のもつエントロピー を考えてみよう．

　ここでは簡単のため，n種類の記号（文字）によって表現される言語 を情報理論の立場

から扱う．各々の記号の出現頻度は一般には同じではないので，i番目の記号の出現確率

を pi とすると，前節の結果から，この言語の「１文字あたりのエントロピー」は

s1 = −∑i

pi log2 pi (12–382)

と定義するのが自然である．

　さて，一般には１つの文字だけで情報が表されることはない．そこで連続したM 個の

文字で伝達される情報について考えよう．M 個が互いに独立であれば，この情報のエント

ロピーは M · s1 （１文字のエントロピーのM 倍）となるはずであるが，英語のような自

然言語においては前の文字（あるいは文字列）に依存してその出現頻度は大きく異なる．

例えば，Q という文字の後には，ほとんどの場合に U が来ることはよく知られている．

あるいは，TH という文字列の後は E が来ることが非常に多いこともわかっている． こ

寺本 　えい

英　 (1925–1996) 生物物理学者．日本における数理生物学の実質的創始者．京都大学理学部教授．

(Wikipedia より)

のように，出現頻度が先行する文字に依存する場合は，条件付きエントロピーを考えるの

が自然であろう．

表 12–6: 英語中の文字の出現頻度．出典：寺本 英，「エネルギーとエントロピー」（化学同人, 1976）p. 205 より引用．この本は大変な名著だと思うのですが，残念ながら絶版になっているようです．

順位 文字 頻度 順位 文字 頻度 順位 文字 頻度1 スペース 0.1817 10 H .04305 19 P .016232 E 0.1073 11 D .03100 20 W .012603 T 0.0856 12 L .02775 21 B .011794 A 0.0668 13 F .02395 22 V .007525 O 0.0654 14 C .02260 23 K .003446 N 0.0581 15 M .02075 24 X .001367 R 0.0559 16 U .02010 25 J .001088 I 0.0519 17 G .01633 26 Q .000999 S 0.0499 18 Y .01623 27 Z .00063

（例）　英語の文字の出現頻度はよく調べられているものの１つであり，表 12–6はその一例である．これによると，英語１文字のエントロピーは

s1 = −∑i

pi log2 pi ≃ 4.03 　 bit

となる．もし，この 27 種類の文字が等確率で出現したとするとそのエントロピーは

s0 = −∑ 1

27log2

1

27= log2 27 = 4.76 　 bit

であるから，当然ながら 自然言語にはかなりの偏り＝無駄がある．なるべく記号の出現確率が均等になるように言語を設計することができれば，無駄なく情報を伝えることができるはずである．一方で，このような無駄があるために多少のノイズがあっても情報の伝達が可能となるのである．このような問題は，情報の符号化 coding の設計として情報理論の分野で研究が進んでいる．

機シ：統計熱力学 2019 （松本）：p. 139

　１文字目が iであったとき２文字目が j である条件付き確率を p(j|i) とすると，たとえ

ば２文字の情報について，その２文字目がもつエントロピーは

s2 = −∑i

pi∑j

p(j|i) log2 p(j|i)

同様にして，s3，s4，. . . も定義することができる．もし１文字目と２文字目が全く独立

ならば s1 = s2 となるが，表 12–6のような英語の例では，

s2 = 3.32 bit，　　 s3 = 3.1 bit，　 . . .

と減少していくことが知られている．

　長い文字列についての極限値 s∞ は 1 bit 程度と言われており，実際の英語の文章は

1− s∞s1

∼ 0.75

程度の無駄（冗長度 redundancy）が含まれていることになる．つまり，我々が英語の文章

（問）冗長度がゼロに近い「理想的言語」があったとするとどんなことが起きるか，想像してみよ．逆に，冗長度が 100% に近い「言語」ならどうか？を書くときには 75% 程度は文法や単語などの規則によって自動的に決まってしまい，残

りの 25% しか我々の自由にはならないということである．

(参考) 最近，こんな本 (マンロー，「ホワット・イフ？」, 早川書房, 2015) を見つけた．

機シ：統計熱力学 2019 （松本）：p. 140

機シ：統計熱力学 2019 （松本）：p. 141

12.4 情報エントロピーの応用例２：通信

　何らかの通信手段によって，情報を伝えることを考えよう．送信側の信号を確率変数X

で，受信側の信号を確率変数 Y で表すことにする．事象 xが完全に一対一で yに伝われ

ば問題はないが，一般には途中のノイズ等で完全な送信はできない．そこで，次の量を考

える：

I(X,Y ) ≡ S(X)− S(X|Y ) (12–383)

第 12.2.3節で述べたように，条件付きエントロピー S(X|Y ) は「Y についての情報を得

てもなおX について残っている情報（曖昧さ）」を意味するから，

0 ≤ I(X,Y ) ≤ S(X) (12–384)

であり，通信がうまくいくほど I(X,Y )は大きな値をとる．例えば

• 通信が完璧なら，S(X|Y ) = 0だから，I(X,Y ) = S(X)である．

• 通信が途絶えていると，S(X|Y ) = S(X)だから，I(X,Y ) = 0である．

従って，この I(X,Y )は通信によって伝達された情報量をあらわすと考えられる．この量

を 相互情報量 mutual information あるいは伝送速度 transmission rate とよび，通信路の

性能をあらわす指標として用いられる．なお，エントロピーの連鎖則 (12–381) から

S(X|Y ) = S(X,Y )− S(Y ) (12–385)

なので

I(X,Y ) = S(X)− [S(X,Y )− S(Y )] = S(X) + S(Y )− S(X,Y ) (12–386)

となり，I(X,Y )はX と Y について対称である．このために，「相互」情報量と名付けら

れた．

（例）　 X と Y がともに on, off の２値をとる確率変数であり，X から Y への通信に際し

て，一定の確率 αでランダムにエラーが生じると仮定しよう．X の確率を{pX(on) = rpX(off) = 1− r

とすると，結合確率は

p(X,Y ) Yon off

X on (1− α)r αroff α(1− r) (1− α)(1− r)

機シ：統計熱力学 2019 （松本）：p. 142

よって，Y の確率はpY (on) =

∑x

p(x, Y = on) = (1− 2α)r + α

pY (off) =∑x

p(x, Y = off) = 1− (1− 2α)r − α

これらから，それぞれのエントロピーを求めると

S(X) = −r log2 r − (1− r) log2(1− r)

S(Y ) = − [(1− 2α)r + α] log2 [(1− 2α)r + α]

− [1− (1− 2α)r − α] log2 [1− (1− 2α)r − α]

また，結合エントロピーは

S(X,Y ) = −(1− α)r log2(1− α)r − αr log2 αr

−α(1− r) log2 α(1− r)− (1− α)(1− r) log2(1− α)(1− r)

= −(1− α) log2(1− α)− α log2 α

−(1− r) log2(1− r)− r log2 r

よって相互情報量（伝送速度）は

00.25

0.50.75

1Probabiltiy r

00.25

0.50.75

1

Error rate α

0

0.2

0.4

0.6

0.8

1

1.2I(X,Y)

I(X,Y ) = S(X) + S(Y )− S(X,Y )

= (1− α) log2(1− α) + α log2 α

−(r + α− 2αr) log2(r + α− 2αr)

−(1− r − α− 2αr) log2(1− r − α− 2αr)

図に示すように，伝送速度は α = 0.5において最小値ゼロをとる．これは，全くランダムに

エラーを生じる場合は (当然ながら)通信ができないことを意味している．

演習

　この例で，r = 0.5の場合の伝送速度を αの関数として求め，図示してみよ．エラー率の増加によってどの程度通信が妨げられるか，はっきりわかるだろう．　ここで述べた「相互情報量」の考え方は，通信回線の品質を記述するなどのほかに，例えば細胞内での DNA複製時のエラーによる遺伝情報伝達率の低下などを定量的に調べることにも使われている．

DNA複製時の確率的な変化を調べて，人類がどのように世界中に広まっていったか，とかある生物種がその近縁種といつごろ分化したか，などの研究が盛んに行われていることはご存じだろう．

(参考) 分子時計 : molecular clock (Wikipedia より抜粋)

生物間の分子的な違いを比較し，進化過程で分岐した年代を推定したものの仮説．分子進化時計とも呼ばれることがある．

　 1955年頃から，アメリカのライナス ポーリングとエミール ズッカーカンドルは，ヘモグロビンのα鎖を構成するアミノ酸に注目した．ヘモグロビンα鎖は 141 個のアミノ酸からなることが知られていた．また，動物により配列が異なることから，ポーリングらはいろいろな動物間でこのアミノ酸の配列の異なる個数を調べたところ，生物の類縁度が高いほどアミノ酸の配列が異なる個数は少なくなることが分かった．さらに，化石上ですでに分岐時期が判明しているものとの相関関係を取ると，アミノ酸α鎖の配列の差と分岐時期に直線関係があることが分かった．これらのことからアミノ酸配列の突然変異が常に一定速度で発生すると仮定すると，生物間の分子構造の違いと分子構造の時間あたりの変化量から進化系譜が構築できるのではないかという考えが生まれた．1962年，ポーリングらはこれを分子時計と名付けた．

ヒトの進化の分子時計

　 1967年，ヴィンセント サリッチとアラン ウィルソンらは，分子時計の拡張を考える．彼らはヒト，ゴリラ，チンパンジー，オランウータン，テナガザルの抗原タンパク質などからその変異を調べた．彼らは，比較する二種類の生物の DNA 鎖を混ぜたハイブリッドDNAを作り，このハイブリッド DNAの熱的安定性を調べることで，DNAの塩基配列の差を調べるという手法を採った．彼らは，この実験により得られたデータから年代との相関関係を求め，分子時計を作った．これによると，類人猿系列からテナガザルが分岐したのが 1100 万年前から 1300 万年前，オランウータンが分岐したのが 900 万年前から 1100 万年前，ヒトがチンパンジーやゴリラと分岐したのが 400万年前から 500万年前ということになった．（中略）この後，遺伝子の研究が進み，また，遺伝子解析方法も高度化していくにつれ，分子時計も更新されていった．新しい分子時計が示す結果もサリッチらの研究を裏付けていくデータとなった．1981 年，イギリスのフレデリック サンガーらが初めてヒトのミトコンドリア DNA (mt-DNA) の全配列の解読を終え，これから求められたヒトとチンパンジーの分岐年代も 400 万年前程度であった．

（以下省略）

機シ：統計熱力学 2019 （松本）：p. 143

演習

情報のもつ冗長度の重要性について，別の例を見てみよう．受験番号（例えば大学入試センター試験）の末尾にアルファベットが使われているのをよく見るだろう．これは通常，上位の番号からある規則により一意的につけられているので，全く冗長な文字 である．簡単のため，A1A0C という形式の，２桁の数＋アルファベットからなる受験番号を考える：

A1 = {0, 1, 2, . . . , 9}A0 = {0, 1, 2, . . . , 9}C = { A, B, C, D, E, F, G, H, J, K, L}

アルファベットに Iを含まないのは，数字の 1と紛らわしいからである．アルファベットは，次の規則で割り当てることとする：

3A1 + 2A0 mod 11 0 1 2 3 4 5 6 7 8 9 10

C A B C D E F G H J K L

ここで，x mod 11 とは xを 11で割った余りのことである．例えば，47 なら

(3× 4 + 2× 7) mod 11 = 26 mod 11 = 4

だから，47E という受験番号が作られる．

(1) この規則によって作られる受験番号のエントロピーと冗長度を求めよ．(2) ある受験生が，２つの数字のうち片方を間違えて記入してしまった（例えば 57E）とする．この冗長性のおかげで，このような誤りを検出できることを示せ．

(3) 別の受験生は，２つの数字を入れ替えて記入してしまった（例えば 74E）．このような誤りも検出できることを示せ．

（略解)

(1) 数字の出現頻度は均等だと仮定すると

受験番号のエントロピー s = log2 10 + log2 10 = 2 log2 10 ≃ 6.64 bit

もし，末尾のアルファベットもランダムに選ばれたとするとそのエントロピーは

s0 = log2 10 + log2 10 + log2 11 ≃ 10.10 bit

従って冗長性は

1−6.64

10.10≃ 0.34

(2) Ai が A′i になった (i = 0または 1)とすると 3A1+2A0 の値は (2+ i)× (A′

i−Ai)だけ変化するが，これは 11 とは互いに素だから 11 で割り切れることはない．つまり，有効な受験番号とはなり得ないから誤りであるとわかる．

(3) A1 と A0 が入れ替わると 3A1+2A0 の値は 3(A0−A1)+2(A1−A0) = A0−A1

だけ変化するが，やはり 11 で割り切れることはないので誤りであるとわかる．

この方法は，誤りを「検出」する機能しか持たないが，冗長部分をさらにうまく設計すると，誤りを自動的に「訂正」するような機能を持たせることもできる．情報理論の分野で詳しく研究され，ハードディスクやデジタル通信の信頼性向上に役立っている．

12.5 この章のまとめ

(1) 多重度に基づく統計力学のエントロピー（Boltzmannの関係式）の考え方を拡張す

ることで，確率変数に対するエントロピー（シャノンのエントロピー）を定義するこ

とができる．

(2) 確率変数のエントロピーを使って，情報についての定量的な考察が可能になる．

機シ：統計熱力学 2019 （松本）：p. 144

定期試験について

すでに公表されているとおり，

統計熱力学（松本）の定期試験は

7月29日（月）8:45–10:15　１１２講義室

＊授業と同じ曜日・時間帯・場所です．

(1) 関数電卓（exp，logなどが計算できるもの）を必ず持参すること．忘れると，数値計算を含む一部の

問題を解くのに苦しむことになります．

(2) 参考書・配布プリント・ノート等は自由に持ち込んで結構です．

(3) 講義中に取り扱った範囲から出題します．例えば

・確率統計学の基礎

・各種の統計集団の特徴

・ボース統計，フェルミ統計，古典極限

・応用例：半導体電子論の基礎，フォトン，フォノン，情報エントロピー

別途配布する「過去問」なども参考にして，復習しておいてください．

(4) 持ち込み自由ですから，公式を丸暗記してもほとんど無意味です．いかに「統計学・統計力学的な考

え方」を自由に扱えるか，がポイントです．また，数値計算で得られた結果が物理的に妥当なものか

どうかについても，「常識」を働かせてください．出発点の式は正しいのに計算結果が何桁も狂ってい

る，などというのは将来のエンジニアとして困りますから．

本年度の講義資料を，私のweb pageに置きました．もし，手元にない章があれば，自由にダウンロード

してもらって結構です．公開は期間限定で，９月頃には消去する予定です．

http://www.mitsuhiromatsumoto.mech.kyoto-u.ac.jp/

ご存じのように，すべての授業について，オンライン (KULIQS) で「授業アンケート」を実施中です．実施期間は

７月１日（月）～８月５日（月）

です．忘れずに回答してください．

確 定 版 目 次

目 次

0 はじめに 3

0.1 統計力学とは何か . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

0.2 統計力学ではどんな問題を扱うか？ . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1 統計学の応用 5

1.1 自然は真空を嫌う（？） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.2 問題設定：理想気体の密度揺らぎ . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

1.3 二項分布，正規分布，Stirlingの公式 . . . . . . . . . . . . . . . . . . . . . . . . 9

1.4 この章のまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2 巨視的状態と微視的状態 12

2.1 問題設定：自由電子気体 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.2 量子力学の復習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.3 自由電子気体の微視的状態と多重度 . . . . . . . . . . . . . . . . . . . . . . . . . . 14

2.4 もう一つの例：磁場中の孤立スピンの集団 . . . . . . . . . . . . . . . . . . . . . . 16

2.5 この章のまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

3 エントロピーと温度 19

3.1 問題設定：接触している２つの系 . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

3.2 観測される巨視的状態 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

3.3 熱平衡の条件：温度とエントロピー . . . . . . . . . . . . . . . . . . . . . . . . . . 22

3.4 古典理想気体の例：温度単位を定めるために . . . . . . . . . . . . . . . . . . . . . 23

3.5 「エントロピー」についてのコメント . . . . . . . . . . . . . . . . . . . . . . . . 25

3.5.1 エントロピー増大則 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

3.5.2 エントロピーの示量性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

3.5.3 非平衡状態におけるエネルギーの移動 . . . . . . . . . . . . . . . . . . . . 26

3.6 この章のまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

4 熱浴と接した系 28

4.1 問題設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

4.2 Boltzmann分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

4.3 確率の規格化：分配関数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

4.4 (参考) 分配関数のネーミングの由来 . . . . . . . . . . . . . . . . . . . . . . . . . 31

4.5 分配関数の性質 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

4.6 例：自由電子気体 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

4.7 例：磁場中の孤立スピンの集団 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

4.8 この章のまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

4.9 (付録) 角運動量の量子化についてのまとめ . . . . . . . . . . . . . . . . . . . . . . 38

5 自由エネルギー 40

5.1 問題設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

5.2 熱力学の復習：Legendre変換と自由エネルギー . . . . . . . . . . . . . . . . . . 40

5.3 Helmholtz自由エネルギーと分配関数の関係 . . . . . . . . . . . . . . . . . . . . 42

5.4 体積 V から圧力 P への変数変換 . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

5.5 Gibbs自由エネルギーと T -P 分配関数 . . . . . . . . . . . . . . . . . . . . . . . 45

5.6 (発展的話題)　一般的な積分変換 . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

5.7 この章のまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

6 化学ポテンシャル，さまざまな統計集団 49

6.1 問題設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

6.2 熱力学の復習：自由エネルギーの粒子数依存性 . . . . . . . . . . . . . . . . . . . . 49

6.3 粒子溜と接している系の確率分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

6.4 大分配関数と自由エネルギー . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

6.5 まとめ：統計集団，確率分布，分配関数，熱力学関数 . . . . . . . . . . . . . . . . 54

6.6 大正準集団の例：固体表面への吸着モデル . . . . . . . . . . . . . . . . . . . . . . 55

6.6.1 表面吸着のモデル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

6.6.2 (発展) 多層吸着のモデル . . . . . . . . . . . . . . . . . . . . . . . . . . 57

6.7 この章のまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

7 理想気体その１―フェルミ気体 60

7.1 多粒子系の量子力学的性質 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

7.2 相互作用のない粒子系の波動関数 . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

7.2.1 ボース粒子の場合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

7.2.2 フェルミ粒子の場合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

7.3 フェルミ粒子系の性質：フェルミ–ディラック分布 . . . . . . . . . . . . . . . . . . 67

7.4 Fermi–Dirac分布の特徴 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

7.5 フェルミ粒子系の例：自由電子ガス . . . . . . . . . . . . . . . . . . . . . . . . . . 70

7.6 この章のまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

8 理想気体その２―ボース気体，古典極限 74

8.1 ボース–アインシュタイン分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

8.2 Bose–Einstein分布の特徴 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

8.3 （発展）ボース粒子系の例：自由粒子系での凝縮現象 . . . . . . . . . . . . . . . . 77

8.4 古典極限 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

8.4.1 古典極限での理想気体の熱力学量 . . . . . . . . . . . . . . . . . . . . . . 80

8.4.2 分配関数の古典的取り扱い . . . . . . . . . . . . . . . . . . . . . . . . . . 83

8.5 （発展的話題）粒子間に弱い相互作用が存在する場合 . . . . . . . . . . . . . . . . 85

8.6 この章のまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

9 発展的話題その 1：半導体電子論入門 (1) 88

9.1 固体のバンド理論概説 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

9.2 半導体中の電子励起 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92

9.2.1 熱エネルギーによる励起 . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

9.2.2 光による励起 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

9.2.3 電場による励起 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

9.2.4 不純物の添加 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

9.3 この章のまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100

10 発展的話題その 1：半導体電子論入門 (2) 101

10.1 p–n 接合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

10.1.1 p–n接合の整流作用：ダイオード . . . . . . . . . . . . . . . . . . . . . . 102

10.1.2 p–n接合の増幅作用：トランジスタ . . . . . . . . . . . . . . . . . . . . . 103

10.2 半導体による光電変換 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

10.2.1 光→電力 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

10.2.2 電力→光 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

10.3 半導体による熱電変換 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

10.3.1 熱→電力 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

10.3.2 電力→熱 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

10.4 この章のまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

11 発展的話題その 2：フォトンとフォノン 114

11.1 フォトン：光子 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114

11.1.1 ある角振動数をもつフォトンの平均個数 . . . . . . . . . . . . . . . . . . 114

11.1.2 振動数分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

11.1.3 平衡状態における熱ふく射の強度 . . . . . . . . . . . . . . . . . . . . . . 117

11.2 フォノン：音子 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

11.2.1 アインシュタイン モデル . . . . . . . . . . . . . . . . . . . . . . . . . . 125

11.2.2 デバイ モデル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

11.3 この章のまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128

12 発展的話題その 3：情報理論入門 129

12.1 確率とエントロピー . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129

12.2 情報エントロピーの性質 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133

12.2.1 確率統計学の復習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133

12.2.2 情報エントロピーの最小値と最大値 . . . . . . . . . . . . . . . . . . . . . 135

12.2.3 条件付きエントロピーと結合エントロピー . . . . . . . . . . . . . . . . . 136

12.3 情報エントロピーの応用例１：言語のエントロピー . . . . . . . . . . . . . . . . . 138

12.4 情報エントロピーの応用例２：通信 . . . . . . . . . . . . . . . . . . . . . . . . . . 141

12.5 この章のまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143