前提知識
ReLU(Rectified Linear Unit)とはニューラルネットワークでよく使われる活性化関数で、以下で表されます。別名ランプ関数ともいいます。 シグモイド関数は入力値が大きくなっても最大1までしか出力しないので学習が遅いという弱点を持っていますが、ReLUは値が入力大きくなるに従って出力も大きくなるので、 学習が速いというメリットを持っています。これが最善の活性化関数とも言われています。 この関数の微分は以下となります。
サブチャンネルあります。⇒ 何かのお役に立てればと