おさらい

p156にあるように一般のEMアルゴリズムでは, 尤度関数 について最大化を目的とした.

今回の問いでは尤度関数を にして について最大化する.

本題

  • 観測変数は

  • は任意のパラメータ

  • は潜在変数

まずパラメータの初期値 を選ぶ.

Eステップ.

を計算する.ここまではp156のアルゴリズムと同じ.

Mステップ.

最大化する対数尤度関数は である.

ベイズの定理から

と変形する.

変形した式を について最大化するが,第1項は.Q関数なので,

をMステップでは計算する.

ベイズの定理で変形して出てきた とは,関係ないために定数として扱えるので,最大化する際には無視できる.

その他

言語処理のための機械学習入門 (自然言語処理シリーズ) の p88 を参考にしました.