本ページでは、回帰分析においてパラメータを推定する方法の1つであるモーメント法についてまとめたい。
まず、以下の回帰式を考える。
y=α+βx+ε
ここで、回帰パラメータはαとβである。この回帰分析を行うにあたり、
誤差項の期待値がゼロ、説明変数と誤差項が平均独立であるという仮定から、
・E[ε]=0
・E[xε]=0
の2つが成り立つ。この2つに上記の回帰式を代入すると、
①E[y-α-βx]=0
②E[x(y-α-βx)]=0
となる。この2つの条件をモーメント条件という。
①を展開すると、
E[y]-α-βE[x]=0
②を展開すると、
E[xy]-αE[x]-βE[x^2]=0
①をαについて解き、これを②に代入すると、
E[xy]-αE[x]-βE[x^2]
= E[xy]-(E[y]-βE[x])E[x]-βE[x^2]
=E[xy]-E[x]E[y]-β(E[x]^2-E[x^2])
=Cov[x,y]-βV[x]=0
よって、β=Cov[x,y]/V[x]となる。これを①に代入すれば、同様にαも求めることができる。
上記は母集団の期待値を用いていることに注意。実際にはサンプルを用いてパラメータの推定を行うので、母集団の期待値を標本平均で置き換えてパラメータの値を計算する。
(参考):