EMアルゴリズムの完全データの対数尤度の期待値の式
これがわからないとEMアルゴリズムの式を自分で立てられない気がするので.
英語版wikipediaのEMの解説の完全データの対数尤度の期待値の式を眺めてると,途中で隠れ変数のベクトルについての期待値から一個一個の隠れ変数について期待値に話がすりかわってた。
Expectation–maximization algorithm - Wikipedia
の右辺、3行目から4行目が...
そういうことなら、PLSIのEMの式も導出できるけど、まだしっくりこない。
というわけで、行間を読んでみる.
はm次元の確率変数で,
は先頭のものを除いてm個あり,個々のz_iの取りうる値を全てカバーしてます.
これは,という関数の取りうる値が、の個々の隠れ変数の実現値の組み合わせごとに異なるということを示している.
・・・と思ってたんですが,実は違う.
- そもそも,今回のモデルでは隠れ変数によって観測値が決まる
- z_jによってy_jが決まる
- という関数の値は中の数ある隠れ変数のうちにしか影響されない.
- 実はの値はで分布する個々のについて決まるんではなく,の確率で分布する個々のについて決まっていた!
というわけで,くどいですが「隠れ変数によって観測データが決まる」という今回の条件の下では,z_jの取る値とその分布(たぶんに関するの周辺分布とかいうんでない)だけを考えて期待値を計算すればいい.
最初の面倒くさそうな式は結局こうなる.一般的な期待値の式に縛られすぎてましたね.
ほんとかよ.