ED法と3値(+1,-1,0)のアイデアを元に新しい活性化関数(ExP2)を作ってGELU、ELUと性能比較してみた。MINIST精度 99.43%以上達成 - Qiita

テクノロジーカテゴリーの変更を依頼記事元:

qiita.com/yasukikudan

30 usersがブックマークコメント

2

現在プライベートモードです設定を変更する

30 users qiita.com/yasukikudan

現在プライベートモードです設定を変更する

みんなの興味と感想が集まることで新しい発見や、深堀りがもっと楽しくアカウントをお持ちの方はログインページへ

記事へのコメント2件

●注目コメント ●新着コメント

skypenguins typoがひどい… ●機械学習 2024/04/30 リンクその他 ● ● ●

urtz 誰か追試をお願いしたい 2024/04/30 リンクその他 ● ● ● 注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の﹁建設的コメント順位付けモデルAPI﹂を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

<iframe marginwidth="0" marginheight="0" src="https://b.hatena.ne.jp/entry.parts?url=https%3A%2F%2Fqiita.com%2Fyasukikudan%2Fitems%2Fdd9cf9425ef9a4fa77b7" scrolling="no" frameborder="0" height="230" width="500"><div class="hatena-bookmark-detail-info"><a href="https://akarinohon.com/text/taketori.cgi/https://qiita.com/yasukikudan/items/dd9cf9425ef9a4fa77b7"><span class="ltr">ED</span>法と<span class="ltr">3</span>値(+1,-1,0)のアイデアを元に新しい活性化関数(ExP2)を作ってGELU、ELUと性能比較してみた。MINIST精度 99.43%以上達成 - Qiita</a><a href="https://akarinohon.com/text/taketori.cgi/https://b.hatena.ne.jp/entry/s/qiita.com/yasukikudan/items/dd9cf9425ef9a4fa77b7">はてなブックマーク - ED法と<span class="ltr">3</span>値(+1,-1,0)のアイデアを元に新しい活性化関数(ExP2)を作ってGELU、ELUと性能比較してみた。MINIST精度 99.43%以上達成 - Qiita</a></div></iframe>

プレビュー

はてなブックマークボタンを作成して埋め込むこともできます

規約違反を報告

いまの話題をアプリでチェック！ ●バナー広告なし ●ミュート機能あり ●ダークモード搭載アプリをダウンロード

usersに達しました！

さんが1番目にブックマークした記事﹁ED法と3値(+1,-1,0...﹂が注目されています。気持ちをシェアしよう ED法と3値(+1,-1,0)のアイデアを元に新しい活性化関数(ExP2)を作ってGELU、ELUと性能比較してみた。MINIST精度 99.43%以上達成DeepLearningPyTorch活性化関数誤差逆伝播法ED法追記 ELUとの比較を追加しました、金子さんのアイデアの凄さが明確に結果に出ています。また最後にニューロンが正・負どちらに発火しているのか可視化したチャートも追加しました。初めに誤差逆伝播法を用いずに、興奮性・抑制性ニューロンの出力を調整することでニューラルネットワークの学習を進める金子さんの誤差拡散法はとても衝撃的でした。しかし、誤差拡散法は現在広く使用されているニューラルネットワークのアーキテクチャとは互換性がないため、今すでに利用されているニューラルネットワークに興奮性、抑制性ニューロンのアイデアを直接反映できません。そのため、今の誤差逆伝播法の範囲内 ●機械学習 ●アイデア ●あとで読む