エントロピーレート(確率過程におけるエントロピーの増加の割合)

情報理論でエントロピーといえば確率変数が持つ情報量の期待値のこと。例えば

P(x1) = 1/2,  P(x2) = 1/4,  P(x3) = 1/4

という分布があったらエントロピーは

1/2 * lg2 + 1/4 * lg4 + 1/4 * lg4
= 1/2 * 1 + 1/4 * 2 + 1/4 * 2
= 3/2
= 1.5

なので平均1.5ビットでこの分布から生成されたデータを表現できる。
では確率変数の列を表現するには平均何ビット必要だろうか。言い換えると確率変数の列にデータを追加するには平均何ビット必要だろうか。これはエントロピーレートという概念で説明できる。
実はエントロピーレートをよくわかっていなかったのだけど、最近になって理解したのでメモしておく。