ReLUとは



機械学習

分類(classification)

ニューラルネットワーク(NN)

クラスタリング

強化学習

敵対的生成ネットワーク

公開日:2019/2/25          

前提知識


ReLU(Rectified Linear Unit)とはニューラルネットワークでよく使われる活性化関数で、以下で表されます。別名ランプ関数ともいいます。 シグモイド関数は入力値が大きくなっても最大1までしか出力しないので学習が遅いという弱点を持っていますが、ReLUは値が入力大きくなるに従って出力も大きくなるので、 学習が速いというメリットを持っています。これが最善の活性化関数とも言われています。



この関数の微分は以下となります。











サブチャンネルあります。⇒ 何かのお役に立てればと

関連記事一覧



機械学習

分類(classification)

ニューラルネットワーク(NN)

クラスタリング

強化学習

敵対的生成ネットワーク