鴨川η

変分ベイズ

MLPシリーズのトピックモデル本にはLDAのアルゴリズムがあるので,実装はするのはそこまで苦ではないです. ただその背景にある数式を追うことはけっこう大変なので,記録に残すために書きます.

流れはトピックモデルによる統計的潜在意味解析に従っています.

モチベーション

事後分布を解析的に求めることができないので,事後分布の近似分布を求めたい.

因子分解可能と仮定した場合は,KLダイバージェンスを最小化するようなパラメタを求めることになる (式3.43). しかしこの式には,事後分布が含まれているので計算不可. なので,対数周辺尤度を変分下限とKLダイバージェンスの和で表すことができるので,KLダイバージェンスの最小化を変分下限の最大化に置き換える(対数周辺尤度は最適化するパラメータには関係がないので無視できる). ということで変分下限の最大化するパラメータを求める問題に帰着させる.