鴨川η

not δ

PRML 演習2.15

多変量ガウス分布のエントロピーが

\begin{eqnarray} H[\boldsymbol{x}] = \frac{1}{2} \ln | \boldsymbol{\Sigma}| + \frac{D}{2}(1+\ln(2\pi)) \end{eqnarray}

になることを示す.

多変量ガウス分布は連続であるのでエントロピーの定義から

\begin{eqnarray} H[\boldsymbol{x}] = - \int p(\boldsymbol{x}) \ln p(\boldsymbol{x}) d \boldsymbol{x}. \end{eqnarray}

また多変量ガウス分布は, 式(2.43)をエントロピーの式に代入し, \(\ln\) の関数の期待値とみることができるので

\begin{eqnarray} H[\boldsymbol{x}] &=& - \int p(\boldsymbol{x}) \ln \Bigl(\frac{1}{(2\pi)^\frac{D}{2}} \frac{1}{|\boldsymbol{\Sigma}|^{\frac{1}{2}}} exp \bigl({-\frac{1}{2} (\boldsymbol{x}-\boldsymbol{\mu})^{\mathrm{T}} \boldsymbol{\Sigma}^{-1} (\boldsymbol{x}-\boldsymbol{\mu})} \bigr)\Bigr) d \boldsymbol{x} \\ &=&-(-\frac{D}{2}\ln{(2\pi)} - \frac{1}{2}\ln |\boldsymbol{\Sigma}| - \frac{1}{2} E[(\boldsymbol{x}-\boldsymbol{\mu})^{\mathrm{T}} \boldsymbol{\Sigma}^{-1} (\boldsymbol{x}-\boldsymbol{\mu})] ) \\ \end{eqnarray}

ここでトレースを使う(線形代数でトレースを習わなかったので,ここに時間がかかりました)

トレース

トレースは,行列の対角和のことです. 単位行列のトレースは,単位行列の次元数です.

トレースの性質から もしAが対称行列であるなら

\( X^{\mathrm{T}} A X = tr(A X X^{\mathrm{T}} ) \)

を満たす.

さきほどの式の最後の項の期待値の中身がこれで書き換えると,

\begin{eqnarray} (\boldsymbol{x}-\boldsymbol{\mu})^{\mathrm{T}} \boldsymbol{\Sigma}^{-1} (\boldsymbol{x}-\boldsymbol{\mu}) = tr (\boldsymbol{\Sigma}^{-1} (\boldsymbol{x}-\boldsymbol{\mu}) (\boldsymbol{x}-\boldsymbol{\mu})^{\mathrm{T}}) \end{eqnarray}

第3項目だけ取り出して変形していく.

\begin{eqnarray} E[(\boldsymbol{x}-\boldsymbol{\mu})^{\mathrm{T}} \boldsymbol{\Sigma}^{-1} (\boldsymbol{x}-\boldsymbol{\mu})] &=& E[tr (\boldsymbol{\Sigma}^{-1} (\boldsymbol{x}-\boldsymbol{\mu}) (\boldsymbol{x}-\boldsymbol{\mu})^{\mathrm{T}})] \\ &=& tr (\boldsymbol{\Sigma^{-1}} E[(\boldsymbol{x}-\boldsymbol{\mu}) (\boldsymbol{x} - \boldsymbol{\mu}^{\mathrm{T}})]) \\ &=& tr (\boldsymbol{\Sigma^{-1}} \boldsymbol{\Sigma} ) \\ &=& D \end{eqnarray}

よって

\begin{eqnarray} H[\boldsymbol{x}] = \frac{1}{2} \ln | \boldsymbol{\Sigma}| + \frac{D}{2}(1+\ln(2\pi)) \end{eqnarray}

以上.

所感

期待値は線形性を持っているのでトレースと順番入れ替えたのがちょっと心配です.

参考にした記事