16. 最適化手法

損失関数の勾配を使ってパラメータを更新する手法は?

  • 勾配降下法
  • バッチ学習
  • 交差検証
  • ドロップアウト

正解!

不正解...

正解は勾配降下法です。

勾配降下法は、損失関数の勾配を使ってモデルのパラメータを更新する基本的な最適化手法です。

問題に戻る

逐次的にパラメータを更新する最適化手法は?

  • 確率的勾配降下法(SGD)
  • モーメンタム
  • AdaGrad
  • Adam

正解!

不正解...

正解は確率的勾配降下法(SGD)です。

SGDは、1つまたは少数のデータに基づいてパラメータを逐次更新する最適化手法です。

問題に戻る

代表的な学習方法として正しいものは?

  • バッチ学習
  • ミニバッチ学習
  • オンライン学習
  • すべて正しい

正解!

不正解...

正解はすべて正しいです。

学習方法には、バッチ・ミニバッチ・オンライン学習があり、それぞれ特徴があります。

問題に戻る

パラメータ更新のステップサイズを決める要素は?

  • 学習率
  • モーメンタム
  • 正則化
  • 勾配爆発

正解!

不正解...

正解は学習率です。

学習率は、勾配に対してどの程度の大きさでパラメータを更新するかを決める重要なハイパーパラメータです。

問題に戻る

学習率を自動調整する最適化手法として正しいものは?

  • Adam
  • AdaGrad
  • RMSprop
  • すべて正しい

正解!

不正解...

正解はすべて正しいです。

Adam, AdaGrad, RMSpropはすべて学習率調整の工夫を加えた最適化手法です。

問題に戻る

パラメータの全ての組み合わせを試す探索手法は?

  • グリッドサーチ
  • ランダムサーチ
  • ベイズ最適化
  • ドロップアウト

正解!

不正解...

正解はグリッドサーチです。

グリッドサーチは、あらかじめ設定したパラメータの組み合わせをすべて試すハイパーパラメータ探索手法です。

問題に戻る

パラメータ空間からランダムに探索するハイパーパラメータ調整手法は?

  • ランダムサーチ
  • グリッドサーチ
  • モンテカルロ法
  • k-分割交差検証

正解!

不正解...

正解はランダムサーチです。

ランダムサーチは、パラメータ空間からランダムに組み合わせを選び評価する手法です。

問題に戻る

グローバル最適とは限らない、局所的に最良の解を何という?

  • 局所最適解
  • 鞍点
  • 大域最適解
  • 二重降下現象

正解!

不正解...

正解は局所最適解です。

局所最適解は、最適に見えて実はグローバルではない“山”に陥る状態です。

問題に戻る

モデルが複雑になるにつれて一度悪化し、再び良くなる性能変化の現象は?

  • 二重降下現象
  • 過学習
  • 勾配消失
  • 鞍点

正解!

不正解...

正解は二重降下現象です。

二重降下現象とは、モデルが複雑になると一度性能が悪化し、さらに複雑にすると再び性能が良くなる現象です。

問題に戻る

すべての問題に通用する最適化手法は存在しないという理論は?

  • ノーフリーランチの定理
  • 二重降下現象
  • 勾配爆発
  • 活性化関数問題

正解!

不正解...

正解はノーフリーランチの定理です。

ノーフリーランチの定理は、万能な最適化アルゴリズムは存在しないという理論です。

問題に戻る