ベイズ推定について

本ページでは、ベイズ推定とは何かについてまとめたい。ベイズ推定の基本的な発想は、「ある事象が発生する確率を主観的に定めて、それを客観的なデータを用いて更新していくことで、最終的により客観性の高い確率を求める」プロセスであるということができる。

まず、ベイズの定理は以下のように表される。

P(A|B)はBが発生したという条件の下でAが発生する条件付確率である。

このベイズの定理を利用して、Aをパラメータの確率変数θ、Bをデータの確率変数yに置き換えると、

P(θ|y)は事後分布、P(θ)は事前分布、P(y|θ)は尤度と呼ばれる。また、∝は「比例」を意味する記号である。事前分布にデータ（尤度）を掛け合わせることで、新たに更新した分布（事後分布）を得ることができる。これがベイズ推定の基本的な流れである。

実際のベイズ推定では、事後分布を解析的に求めることが難しいので、シミュレーションを用いて確率分布を推定することがしばしばである。代表的な方法がマルコフ連鎖モンテカルロ法（MCMC）で、多変量の確率分布から乱数を生成してサンプルを抽出する手法である。

また、計算を簡単にするために、事前分布に「共役事前分布」と呼ばれるものを用いることがある。この共役事前分布に、尤度をかけると、事後分布は共役事前分布と同じになる。例えば、データの母集団が多項分布に従うとき、事前分布を「ディリクレ分布」とすると、事後分布も「ディリクレ分布」となる。このとき、ディリクレ分布は共役事前分布となる。

（参考）：

第4回データサイエンス・ラウンドテーブル会議（2017）「ベイズ統計学の医薬品の臨床開発での活用について　議題1－1ベイズ統計学入門」

小森政嗣（2019）「これからベイズ統計を使ってみたい人に―確率的プログラミング言語のすすめ―」日本音響学会誌75巻6号