鴨川η

Neural Variational Inference For Topic Models

メタデータとか

Akash Srivastava, Charles Suttonの論文でICLR2017のレビュー中.ICLRの投稿論文の一覧を眺めていて面白そうだったので読んだ.著者実装も公開している.

数式はおってません.

本題

LDAの学習方法として有名なものはVariational BayesとCollapsed Gibbs samplingである.VAEは前者に対応するアルゴリズムなので.VAEのNeural Variational Inference (NVI) を使ってLDAをやるのがこの論文.

encoderでは,LDAのパラメータを生成するDirichlet分布のパラメータを推定する.うまくをreparametarization trickで構成できないので,Dirichlet分布をラプラス近似し,そのサンプルにSoftmax関数を適用することでのサンプルとして代用する.これが貢献.ラプラス近似の詳細はここでは詳しく説明しないが,ある分布を正規分布で近似する方法.よって,多変量正規分布の平均ベクトルと共分散行列を推定する.事前分布を対称なDirichlet分布としているので,共分散行列は対角成分のみのベクトルとして推定する.VAE論文と違って,標準正規分布を事前分布としないので,encoderのロス関数が少しだけ複雑になる.

decoderはencoderで構成したを入力としてと (論文では ) をパラメータとしてもち,周辺化尤度をロス関数とするようなニューラルネットワークである.

上記のモデルを少しだけ変更してprodLDAというのも合わせて提案しており,そっちのほうが性能はよいらしい.

その他

  • 論文のはLDAでいうDirichlet分布のハイパーパラメータではなく,のことだと思われるので注意
  • 貢献の2つ目としては実行速度を謳っているが,比較手法はsklearnのonline LDAなどを使っており,提案手法はTF使っててGPU使いそうな雰囲気があるので疑問が残る