16. 最適化手法

勾配降下法は、損失関数の勾配を使ってモデルのパラメータを更新する基本的な最適化手法です。

SGDは、1つまたは少数のデータに基づいてパラメータを逐次更新する最適化手法です。

学習方法には、バッチ・ミニバッチ・オンライン学習があり、それぞれ特徴があります。

学習率は、勾配に対してどの程度の大きさでパラメータを更新するかを決める重要なハイパーパラメータです。

Adam, AdaGrad, RMSpropはすべて学習率調整の工夫を加えた最適化手法です。

グリッドサーチは、あらかじめ設定したパラメータの組み合わせをすべて試すハイパーパラメータ探索手法です。

ランダムサーチは、パラメータ空間からランダムに組み合わせを選び評価する手法です。

局所最適解は、最適に見えて実はグローバルではない“山”に陥る状態です。

二重降下現象とは、モデルが複雑になると一度性能が悪化し、さらに複雑にすると再び性能が良くなる現象です。

ノーフリーランチの定理は、万能な最適化アルゴリズムは存在しないという理論です。