情報理論
■自己情報量
事象Aの起こる確率がP(A)である時、事象Aが起こることの自己情報量は、I(A)=-log2P(A)によって定義される
確率変数Xにおいて、X=xとなる確率がP(x)で与えられている時、確率変数Xのエントロピーは以下で与えられる。
エントロピーは情報量の期待値であり、確率変数のランダム性の指標としてよく用いられる。
■カルバックライブラーダイバージェンス
２つの確率分布の近さを表現する最も基本的な量である。
２つの確率分布p(x)とq(x)に対して、以下の式で表される。
■クロスエントロピー
二つの確率分布P(x)とQ(x)に対するクロスエントロピーは以下のように定義される。
このクロスエントロピーは分類問題を解くときの損失関数として使用される。
ソフトマックス関数と組み合わせると逆伝播が簡単に表せることがメリット。
