本ページでは、機械学習におけるグリッドサーチとは何かについてまとめたい。グリッドサーチとは、一言で言えば、機械学習におけるハイパーパラメータをチューニングする（調節する）ための手法である。
グリッドサーチは、モデルを評価するための手法である交差検証法（クリスバリデーション）などと組み合わせて行われる。交差検証法の代表的なものとしてK分割法がある。まず、交差検証法（K分割法）について概観してからグリッドサーチの説明に移る。
K分割法（K分割交差検証）
K分割法では、まずデータセットをK個に分割する。そして、モデル構築と検証をK回分繰り返す。
1回のモデル構築・検証を１セットとすると、各セットにおいて、K個の分割されたデータセットのうち１つは検証用（評価データ）、残り（K-1）はモデル構築用（教師データ）とする。各セットで検証用に使用するデータセットを変えるので、Kセット実施する必要がある。
各セットにおいて、構築したモデルの当てはまり具合を検証することになる。例えば、回帰分析においては、構築したモデルで評価データの回帰を行ったときに、モデルの予測値と評価データの実測値の差分の大きさが評価の基準となる。K回モデルの当てはまり具合の測定を繰り返し、その平均値を結果とする。
例えば3次式のモデルを使用するか20次式のモデルを使用するかで迷っていたとする。そこで、3次式、20次式それぞれについてK回ずつ上記のプロセスを行い、誤差の小さい方を選択すれば良い。
グリッドサーチ
機械学習におけるグリッドサーチは、ハイパーパラメータを最適化するための手法である。最適化したいハイパーパラメータと、それぞれが取り得る値の範囲を定義する。例えば、サポートベクターマシンのCパラメータなどが対象となる。次に、選択したハイパーパラメータのすべての組み合わせを含むグリッドを作成する。
そして、モデルの評価を行うために、データセットを訓練セットとテストセットに分割し、交差検証を行う。一般的には、K分割交差検証が用いられる。作成したグリッドの各点について、選択したハイパーパラメータの組み合わせを用いてモデルを訓練し、交差検証を用いて評価する。各組み合わせの性能について事前に定めた評価指標に基づいた記録し、最も高い性能を示したハイパーパラメータの組み合わせを選択する。
