ソフトマックス関数(Softmax function)

前提知識
　・有理関数の微分

ソフトマックス関数(Softmax function)とはニューラルネットワークでよく用いられる活性化関数の一つで、以下の様に関数の合計値が1となるように正規化する関数です。



これが何を示しているか、具体例として以下の様にxを与えた時のyの計算結果を示します。


この様に計算結果の合計は1となり、値が正規化されていることが解ります。これは各出力の発生確率と解釈することができ、ニューラルネットワークの場合 以下の様に出力層にソフトマックス関数を用い出力の発生確率を求めるのに用いられます。



■割合い計算との違い
正規化するなら以下の様な計算方法でも良い筈ですが、ソフトマックス関数にする事のメリットは何でしょうか。



一つに、ソフトマックス関数は入力値にマイナスの値を持つことが可能という事です。上記計算式ではマイナスの計算はできません。マイナス値での処理が可能という事はニューラルネットワークと相性が良いです。 もう一つに、指数関数は以下の様に入力値が大きくなるに従い出力値が大きくなるので、入力値が小さい場合と大きい場合の区別がしやすくなります。

　

■ソフトマックス関数の微分
以下有理関数の微分を用います。



以下具体例で考えます。



次の例は、



となります。

サブチャンネルあります。⇒ 何かのお役に立てればと

関連記事一覧 トップメニュー 機械学習 機械学習とは パラメトリックモデル 回帰,分類,クラスタリングの違い 分類(classification) 分類問題とは ナイーブベイズフィルタ 符号関数による分類 ロジスティック回帰 ・線形分離 ・非線形分離 サポートベクターマシン 決定木 k-近傍法 ニューラルネットワーク(NN) NNとは パーセプトロン 勾配法(最急降下法) ・機械学習への適用 損失関数(誤差関数) 誤差逆伝播法 交差検証 , ホールドアウト 活性化関数 ・ステップ , 符号関数 ・シグモイド ・ReLU ・Softmax ・tanh MNISTデータセット CIFAR-10データセット 画像認識方法 画像認識方法② 畳み込みNN(CNN) 再帰型NN(RNN) LSTM kerasによる実装例 ・NN ・CNN ・ディープラーニング クラスタリング k-means 強化学習 強化学習とは 価値関数 , ベルマン方程式 マルコフ決定過程 ε-greedy法 TD学習_スキナー箱 TD学習_Cartpole モンテカルロ法_Blackjack Deep Q-Network(DQN) ・DQNとは_スキナー箱 ・cartpole問題 ・Experience Replay 敵対的生成ネットワーク GAN DCGAN seqGAN seqGAN用文章データ作成