本ページでは、ARモデル、MAモデル、ARMAモデルとは何かについてまとめたい。
本ページに登場する、時系列データ分析における自己相関や定常性といった基本的な概念については、以下のページでカバーしている。
以下のモデルでは定常性の仮定を前提に話を進めていく。
ホワイトノイズ
まず、これらのモデルを説明する際に登場する「ホワイトノイズ」について概要を簡単に触れたい。任意の時点tについて、
となるとき、確率過程εはホワイトノイズであるという。ここで、kはt期からの時間差を表す。εの期待値は0で、k≠0のとき、t期のεとt-k期のεとの共分散は0であり、εの分散は時間によらず一定であることを意味している。ホワイトノイズは定常性を満たしている。
ARモデル
AR(autoregressive)モデルとは、ある変数について、t期の値をt期以前の過去の値で回帰したモデルである。1期前の値で回帰した場合はAR(1)、2期前までの値で回帰した場合はAR(2)と呼ばれる。数式で表すと、AR(p)は
となる。ここで、εはホワイトノイズである。
ARモデルにおける自己相関係数（t期のyとt-p期のy）は、過去の期に遡るほど、すなわちp（ラグ次数）の値が大きくなるほど指数的に減少する。
ARモデルが定常性を満たすかどうかはパラメータに依存する。例えばAR(1)の場合、φ_1の絶対値が1未満であれば定常性を満たすことが知られている。一般にAR(p)モデルが定常性を持つとき、以下の方程式
の全ての解の絶対値が1より大きくなる。また、AR(p)が定常であるとき、後述のMAモデルに書き直すことができるという性質がある。
MAモデル
MA(moving average)モデルとは、ある変数について、t期の値がそれ以前のホワイトノイズによって回帰されるモデルである。MA(q)は
で与えられる。MAモデルにおける自己相関係数は、q+1以降は0になる。
MAモデルは必ず定常性を満たす。
ARMAモデル
ARMA(autoregressive moving average)モデルとは、ARモデルとMAモデルを組み合わせたものと考えることができる。ARMA(p,q)は
で与えられる。ARMAモデルにおける自己相関係数は、ラグ次数の値が大きくなるにつれて指数的に減少する。ARMAモデルが定常性を満たすかどうかはパラメータに依存する。
モデルの選択
それでは、これらのモデルをどのようにして選択すれば良いか？モデルの決定には以下のようなプロセスがある。
定常性の確保
時系列データが定常性を持つことを確認する。現系列はトレンドの存在により定常性を満たさない場合でも、差分系列は定常性を満たすこともある。定常性を満たしているかどうかは、DF検定を用いて検証することができる。DF検定については以下のページを参照されたい。
また、季節性が存在する場合は季節性を取り除く処理を行う必要もある。
モデルの選択
モデルを選択するにあたって、自己相関がどのように推移していくかが一つの手がかりとなる。加えて、「偏自己相関」も判断材料となる。
例えばy_tとy_t-kの相関を考えるとする。このとき、この２つの間のダイレクトな相関の他にも、y_tとy_t-1が相関し、y_t-1とy_t-2が相関し、…という様に数珠つなぎに影響が連鎖してy_tとy_t-kが関係していることも考えられる。このうち、後者の間接的な相関を取り除いたものが偏自己相関である。AR(p)モデルの偏自己相関はp+1以降に0、MA(q)モデルとARMA(p,q)モデルについてはp（ラグ次数）が大きくなるにつれて指数的に減少することが知られている。上述の自己相関と併せて、その推移によってモデルを類推することができる。
モデルによる推定
考えられるモデルを複数に絞ったら、それぞれについて最尤法や最小二乗法を使って推定を行う。最尤法の基本的な考え方については以下のページで説明している。
モデルの検証
情報量基準
モデルの評価の一つに、情報量基準がある。情報量基準を最小にするようなモデルが最適であると考えられている。情報量基準には赤池情報量基準（AIC）やベイズ情報量基準（BIC）がある。候補となるモデルについて、ラグ次数を変えてみてそれぞれについて情報量基準を算出し、最も低い値が出たものを採用することができる。
AICは、
AIC=-2ln(L)+2k
で与えられる。Lは最尤法によって求めた最大尤度、kは推定したパラメータ数である。
BICは、
BIC=-2ln(L)+kln(n)
で与えられる。nは推定の際に用いたサンプル数である。
Ljung-Box 検定
正しいARMAモデルを選択できたとすると、そのARMAモデルにおいて推定されたεはホワイトノイズでなくてはならない。つまり、εは自己相関を持たないはずである。自己相関の有無を検定する方法にLjung-Box 検定がある。ARMA(p,q)モデルにおいて推定したεの自己相関に関して行う検定である。
ρは自己相関係数であり、nは標本数、hは時間差の数である。Qは検定統計量で、一定の過程の下、自由度h-p-qのχ2乗分布に漸近的に従う。もし帰無仮説が棄却されれば、εは自己相関があり、つまりARMA(p,q)モデルは適切なモデルではないことになる。
（参考）：
沖本竜義(2010）「経済・ファイナンスデータの計量時系列分析」朝倉書店
