投稿者: 
情報理論における情報量
エントロピーに興味を持ち, 最近は情報理論に関する文献を読んでいる. そこで, 情報理論における情報量が, 私が普段考えていた純粋な情報の量とは異なる概念であることを学んだ. ここでは, その内容をまとめる.
情報理論における情報量とは, 事象の発生に伴う「意外性」や「不確実性」を定量的に表すものである. 一般に, 予測可能性が高い事象は情報量が小さく, 逆に予測が困難な事象は情報量が大きくなる. 具体的には, 情報量 (i(x)) は事象の確率 (P(x)) に基づいて定義され, 対数関数によって計算される. 例えば, 情報量 (i(x)) は次のように表される:
[i(x) = -log_2 P(x)]この定義により, 確率が小さいほど情報量は大きく, 確率が大きいほど情報量は小さくなる. 具体例として, 東京で雪が降ることと北極で雪が降ることを考える. 東京で雪が降る確率は低いため, 実際に降るとその情報量は大きくなるが, 北極で雪が降ることは日常的であり, 情報量は小さい. このように, 情報量は事象の意外性や予測困難性を反映している.
参考文献
- 平田廣則. (2020). 情報理論のエッセンス(改訂2版). 株式会社オーム社.