べいずのていり

  • このベイズの定理の説明いいな〜.やっと覚えられそう.

http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q1012112940

P(B|A) = (P(A|B) / P(A)) * P(B)
事前確率と尤度を「仮定」して,それに基づいて事後確率を求める.
参考:ベイズの定理 - Wikipedia

    • 事前確率(prior probability)

P(B)
事象/パラメータの確率/確率分布.例-単語の出現確率/語彙の確率分布.事前=新しいデータを手に入れる前.古いデータや主観による情報を反映した確率・確率分布.

    • 周辺尤度(marginal likelihood)

P(A)
事前分布から見たデータの実現確率(尤度)の期待値.

    • 事後確率(posterior probability)

P(B|A)
Aの後でBが発生する確率.例-文書Aにおける単語Bの出現確率.わからんのでベイズの定理で推定する.

    • 尤度

観察結果Aからみて前提条件がBであったと推定する尤もらしさ=Bの尤度関数=Bの尤度(likelihood)
L(B|A)
次のようにも書ける.Aが観察されたことを前提として
P(A|B)
これもBの尤度.Bが変数/パラメータ.パラメータBが正しいときにのデータAの実現確率.
参考:尤度関数 - Wikipedia

  • 母数

いわゆるパラメータ.上の尤度関数の式でいうところのB.なんかわからん変数.わからんから推定したい変数.

  • 最尤法(Maximum likelihood estimation,MLE)

Bの尤度P(A|B)が最大になるようなBを選ぶ.Bは何通りもあって,Bによって観察結果がAになる尤もらしさP(A|B)が違う.尤度が最大になるBが正解「だということにする」.観察結果が偏っていると実際とは異なるBで尤度が最大になって間違える.
参考:最尤推定 - Wikipedia