12. 活性化関数

活性化関数の主な役割は、ニューラルネットワークに非線形性を与えることです。

ReLU関数は0以下の値を0にし、それ以外はそのまま出力するシンプルな活性化関数です。

tanh関数は出力が-1〜1の範囲で、中心が0になる特徴があります。

シグモイド関数は、出力を0〜1に圧縮しますが、勾配消失問題が起きやすいという欠点もあります。

ソフトマックス関数は、多クラス分類問題で出力を確率に変換するために使用されます。

Leaky ReLU関数は、ReLUの欠点である“死んだニューロン”問題を緩和するため、0以下の入力にも小さい値を出力します。

シグモイド関数やtanh関数では勾配が小さくなり、学習が進まなくなることを勾配消失問題といいます。

ReLU関数は勾配消失問題を回避しやすいため、深層学習において主に使われています。

活性化関数のソフトマックス関数は、分類タスクの出力層で利用されます。

シグモイド関数は勾配消失の原因となるため、深いネットワークではあまり使われません。