ishishi11-challenge.hatenablog.com ishishi11-challenge.hatenablog.com ishishi11-challenge.hatenablog.com ishishi11-challenge.hatenablog.com github.com github.com

Section1 勾配消失問題 誤差逆伝播法が下位層に進むにつれて、勾配がどんどん緩やかになっていく。 そのため、勾配降下法による更新では下位層のパラメータはほとんど更新しない。 ・ シグモイド関数は大きい値、小さい値だと勾配が微小であるため学習が進ま…