鴨川η

PRML演習9.9 pi

本題

負担率を固定した際に,式(9.40)を \(\pi_{k}\) について最大化しようとすると式(9.22)で与えられる陽な解が得られることを示す.

\( \sum_k \pi_k = 1 \) という条件があるので,ラグランジュの未定乗数法を利用する.

式(9.40)を \(\pi_{k}\) について最大化しつつ, \( \sum_k \pi_k = 1 \) を満たすように最大化を行う.

ラグランジュ関数は \( L(\boldsymbol{\pi},\lambda) = f(\boldsymbol{\pi}) + \lambda ( \sum_k \pi_k - 1) \) となる.

\( f(\boldsymbol{\pi} ) \) は式9.40をさします.

ラグランジュ関数を \(\boldsymbol{\pi_k}\) について微分して0と置いた式と制約を満たすことから,

\begin{eqnarray} \sum^N_{n=1} \gamma(z_{nk}) \frac{1}{\pi_k} + \lambda = 0 \\ \sum_k \pi_k - 1 = 0 \end{eqnarray}

を使って \( \lambda \) について求める.

微分した式を条件式に代入すると,

\( - \sum_k \frac{N_k}{\lambda} = 1 \) なので,

\( \lambda = -N \)

よって

\( \pi_k = \frac{N_k}{N} \) 式(9.22)を導くことができた.