エントロピー

多変量ガウス分布のエントロピーが

になることを示す.

多変量ガウス分布は連続であるのでエントロピーの定義から

また多変量ガウス分布は, 式(2.43)をエントロピーの式に代入し, の関数の期待値とみることができるので

ここでトレースを使う(線形代数でトレースを習わなかったので,ここに時間がかかりました)

トレース

トレースは,行列の対角和のことです. 単位行列のトレースは,単位行列の次元数です.

トレースの性質から もしAが対称行列であるなら

を満たす.

さきほどの式の最後の項の期待値の中身がこれで書き換えると,

第3項目だけ取り出して変形していく.

よって

以上.

所感

期待値は線形性を持っているのでトレースと順番入れ替えたのがちょっと心配です.


参考にした記事