ガウス分布のような基本的な分布を、いくつか線形結合して作る重ね合わせた確率モデル
(2.188)式
K: 個のガウス分布
η_k: 平均
Σ_k: 共分散
アメリカのイエローストーン国立公園の間欠泉272件の噴出計測データ
横軸: 噴出の持続時間
縦軸: 次回噴出までの時間
2つのかたまりができているため、単一のガウス分布では構造を捉えられない
十分な数のガウス分布を用い、線形結合する重みの係数とともに各分布の平均と共分散を 調整すれば、ほぼ任意の連続な密度関数を任意の制度で近似できる
9章で、混合分布の確率的な解釈についてより詳細に論じる
今までに学んできた確率分布は、混合ガウス分布を除いて指数型分布族と呼ばれている
x上の指数型分布族は、ηをパラメータとし、(2.194)式で定義される分布の集合である
x: スカラーでもベクトルでも、離散でも連続でもよい
η: 分布の自然パラメータ
u(x): xの任意の関数
g(η): 分布を正規化するための係数 => (2.195)
(2.196)
(2.204)
最尤推定によって、指数型分布族の一般形(2.194)のパラメータベクトルηを推定する
(2.224)
(2.228)より、最尤推定量η_MLが満たすべき条件が得られる
Σ_{n}u(x_n)を、分布の十分統計量と呼ぶ
8章で、十分性について論じる
(2.229)の形で書ける共役事前分布が存在する
f(x, ν): 正規化係数
(2.230)
確率的推論を実際の問題に適用するときに、事前に何らかの知識があれば、その知識は 事前分布によって便宜的に表現できる
ただし、分布がどのような形状になるべきかについて知見があまりない場合が多い
そのようなときは、事後分布への影響がなるべく少なくなるようにした無情報事前分布 という事前分布を求める
...
...
...
...