Collapsed Gibbs Samplingを使ったLDAについて調べ中

あくまで調べ中。なんだけど自分用にメモしておく。
大雑把に言うと、LDAは

α=>[θ=>[z=>w]]<=β

α,β: パラメータ
θ,z : 潜在変数
 w   : 観測データ

という形をしていて、観測データの尤度を計算するには潜在変数θおよびzについて周辺化しないといけない。ところが潜在変数間に依存関係(θ=>z)があるので、θ、zそれぞれ独立に周辺化できない。

そこでBlei論文では変分ベイズ法という方法を使ってθとzの依存関係を切り離す方法をとっている。一方でGriffithsらのギプスサンプラを使う方法ではサンプリングしたzを使うことでzを観測データにしてしまうことで上記問題を解決している(多分
ついでにβにもディリクレ事前分布を導入していてBlei論文でのβをφ、ディリクレパラメータをβとしている。紛らわしい。その結果

α=>[θ=>[z=>w]]<=[φ]<=β

α,β: パラメータ
θ,φ: 潜在変数
 w,z : 観測データ

というモデルになる。このモデルでは潜在変数θとφに依存関係がないので、それぞれ周辺化できる。zはベクトルで、ギプスサンプリングで要素ziを一つずつ更新していく。ということを踏まえて↓の論文とか読んでみると良いはず。

• Latent Dirichlet Allocation D. M. Blei et al.

LDA論文

• Finding scientific topics T. L. Griffiths & M. Steyvers

LDAにCollapsed Gibbs Samplerを使う話。式の導出が書いてないよ。。

• Gibbs Sampling for LDA L. Tang

↑の解説スライド。式の導出有り。わかりやすい

• Fast Collapsed Gibbs Sampling For Latent Dirichlet Allocation Ian Porteous et al.

高速なサンプリング。気になる。まだ読んでないけど。。