12. 活性化関数

活性化関数の役割として正しいものは?

  • 入力に非線形性を与える
  • 出力を分類する
  • 誤差を減らす
  • 勾配を更新する

正解!

不正解...

正解は入力に非線形性を与えるです。

活性化関数の主な役割は、ニューラルネットワークに非線形性を与えることです。

問題に戻る

入力が0以下なら0を出力し、それ以外はそのまま出力する関数は?

  • ReLU関数
  • シグモイド関数
  • tanh関数
  • ソフトマックス関数

正解!

不正解...

正解はReLU関数です。

ReLU関数は0以下の値を0にし、それ以外はそのまま出力するシンプルな活性化関数です。

問題に戻る

出力が-1から1の範囲で、中心が0になる活性化関数は?

  • tanh関数
  • ReLU関数
  • シグモイド関数
  • ソフトマックス関数

正解!

不正解...

正解はtanh関数です。

tanh関数は出力が-1〜1の範囲で、中心が0になる特徴があります。

問題に戻る

出力が0〜1の範囲になるが、勾配消失問題が起こりやすい関数は?

  • シグモイド関数
  • ReLU関数
  • tanh関数
  • Leaky ReLU関数

正解!

不正解...

正解はシグモイド関数です。

シグモイド関数は、出力を0〜1に圧縮しますが、勾配消失問題が起きやすいという欠点もあります。

問題に戻る

多クラス分類において出力を確率に変換する活性化関数は?

  • ソフトマックス関数
  • シグモイド関数
  • ReLU関数
  • tanh関数

正解!

不正解...

正解はソフトマックス関数です。

ソフトマックス関数は、多クラス分類問題で出力を確率に変換するために使用されます。

問題に戻る

ReLUの改良版で、0以下にも小さい値を返す関数は?

  • ReLU関数
  • Leaky ReLU関数
  • tanh関数
  • ソフトマックス関数

正解!

不正解...

正解はLeaky ReLU関数です。

Leaky ReLU関数は、ReLUの欠点である“死んだニューロン”問題を緩和するため、0以下の入力にも小さい値を出力します。

問題に戻る

ニューラルネットワークが深くなると学習が困難になる問題は?

  • 勾配消失問題
  • 過学習
  • 次元の呪い
  • ノイズ除去

正解!

不正解...

正解は勾配消失問題です。

シグモイド関数やtanh関数では勾配が小さくなり、学習が進まなくなることを勾配消失問題といいます。

問題に戻る

勾配消失問題の回避に有効な活性化関数は?

  • ReLU関数
  • シグモイド関数
  • tanh関数
  • Leaky ReLU関数

正解!

不正解...

正解はReLU関数です。

ReLU関数は勾配消失問題を回避しやすいため、深層学習において主に使われています。

問題に戻る

ソフトマックス関数がよく使われるタスクは?

  • 分類タスク
  • 次元削減
  • 自己回帰
  • ブースティング

正解!

不正解...

正解は分類タスクです。

活性化関数のソフトマックス関数は、分類タスクの出力層で利用されます。

問題に戻る

深いネットワークにおいて、使用に注意が必要な活性化関数は?

  • ReLU
  • シグモイド
  • tanh
  • ソフトマックス

正解!

不正解...

正解はシグモイドです。

シグモイド関数は勾配消失の原因となるため、深いネットワークではあまり使われません。

問題に戻る