鴨川η

PRML演習9.4

おさらい

p156にあるように一般のEMアルゴリズムでは, 尤度関数 \(p(\boldsymbol{X}|\boldsymbol{\theta})\) を \(\boldsymbol{\theta}\) について最大化を目的とした.

今回の問いでは尤度関数を\(p(\boldsymbol{\theta}|\boldsymbol{X})\) にして\(\boldsymbol{\theta}\) について最大化する.

本題

  • 観測変数は

  • \(\boldsymbol{\theta}\) は任意のパラメータ

  • \(\boldsymbol{Z}\) は潜在変数

まず パラメータの初期値 を選ぶ.

Eステップ. を計算する. ここまではp156のアルゴリズムと同じ.

Mステップ. 最大化する対数尤度関数は である.

ベイズの定理から

と変形する.

変形した式を について最大化するが,第1項は.Q関数なので,

\begin{eqnarray} \boldsymbol{\theta^{new}} &=& argmax_{\boldsymbol{\theta}} (Q(\boldsymbol{\theta},\boldsymbol{\theta^{old}}) + \ln{p(\boldsymbol{\theta})}) \end{eqnarray}

をMステップでは計算する.

ベイズの定理で変形して出てきた とは,関係ないために定数として扱えるので,最大化する際には無視できる.

その他

言語処理のための機械学習入門 (自然言語処理シリーズ) のp88を参考にしました.