鴨川η

not δ

青トピックモデル 混合ユニグラムモデルの周辺化ギブスサンプリングのサンプル式

ユニグラムモデルにおいて,トピックは文書集合に対して1つだけ存在した. 一方,混合ユニグラムモデルは,トピック \(\phi\) はK個存在する.(これをまとめたものを\(\Phi\)とかく) そのため各文書は,K個のうちの1トピックをもつ. 1つの\(\phi\)は,単語のカテゴリカル分布になる. 加えて\(\theta\)はトピック分布を表す.(各トピックがどれだけ出現しやすいかを表現) これは混合ユニグラムモデルの中で1つだけ存在する.

残りはユニグラムモデルやLDAと一緒で

  • α及びβ:ディリクレ分布のパラメータ
  • D:文書集合の総数
  • N:文書\(d\)の単語数

混合ユニグラムモデルをグラフィカルモデルで描くと以下のようになる.

nn

新聞記事で例えると,記事はいくつかのトピック(スポーツとか政治とか)のどれか一つをもっていると仮定している. そして各トピックごとに出現しやすい単語の確率分布は異なる. (スポーツのトピックであれば”年棒, 野球, サッカー”といった単語が高確率で出現し,”選挙, 違法献金, 年金”は低確率で出現)

ベイズ推定

ベイズ推定を使う場合,文書の生成確率を定義してから,事後確率分布を求める. 混合ユニグラムモデルの文書の生成確率は以下のようにかける.

\begin{eqnarray} p(\mathbf{W}|\Phi,\theta) \end{eqnarray}

事後確率は,\(p(\bf{z},\Phi,\theta|\bf{W})\) となる. ここで青トピックモデル本では,崩壊型ギブスサンプリングを導入するが頭がわるくてついていけなかったので少し丁寧にやってみる.

事後確率\(p(\bf{z},\Phi,\theta|\mathbf{W})\) をギブスサンプリングする場合は,\(\mathbf{z},\Phi,\theta\)のうち2つを固定して1つをサンプルする. 崩壊型ギブスサンプリングでは,\(\Phi,\theta\)を積分消去して\(\mathbf{z}\)を直接求める. この辺りについては白いトピックモデル本が大変参考になる.

つまりサンプリング式は \(p(z_d=k|\mathbf{z}_{-d}, \mathbf{W}, \alpha, \beta)\)で,これ計算したい.

ベイズの定理を使い,比例式を求める(青トピック本p51の式がこれに相当する).

\begin{eqnarray} p(z_d=k | \mathbf{z}_{-d}, \mathbf{W}, \alpha, \beta) &=& \frac{p(z_{i} = k, \bf{z}_{-d}, \bf{W} | \alpha, \beta)}{p(\bf{z}_{-d}, \bf{W} | \alpha, \beta)} \tag{1} \\
& \propto & p(z_d=k, \mathbf{z}_{-d}, \mathbf{W}| \alpha, \beta) \tag{2} \\
&= & p(\mathbf{w}_{d} | \mathbf{W}_{-d}, z_d=k, \mathbf{z}_{-d}, \alpha, \beta) \\\ & & \times p(\mathbf{W}_{-d}, z_d=k, \mathbf{z}_{-d} | \alpha, \beta) \tag{3} \\
&= & p(\mathbf{w}_d| \mathbf{W}_{-d}, z_d=k, \mathbf{z}_{-d}, \alpha, \beta) \times p(z_d=k| \mathbf{z}_{-d}, \mathbf{W}_{-d}, \alpha, \beta) \\\ & & \times p(\mathbf{W}_{-d}, \mathbf{z}_{-d} | \alpha, \beta) \tag{4} \\
& \propto & p(\mathbf{w}_d| \mathbf{W}_{-d}, z_d=k, \mathbf{z}_{-d}, \alpha, \beta) \\\ & & \times p(z_d=k| \mathbf{z}_{-d}, \mathbf{W}_{-d}, \alpha, \beta) \tag{5} \\
&= & p(\mathbf{w}_d| \mathbf{W}_{-d}, z_d=k, \mathbf{z}_{-d}, \beta) \times p(z_d=k| \mathbf{z}_{-d}, \alpha) \tag{6} \end{eqnarray}

  • 式(1)は,ベイズの定理で展開
  • 式(2)は,分母に\(z_i=k\)がないので比例式で置き換え
  • 式(3)は,ベイズの定理で1つの文書とそれ以外に展開
  • 式(4)は,式(3)の2項目をベイズの定理で展開
  • 式(5)は,式(4)の3項目に\(z_i=k\)がないので比例式で置き換え
  • 式(6)は,条件付き独立を用いる

間違っていたらごめんなさい.