深層学習DAY2 確認テスト
Section１勾配消失問題
dz/dx = dz/dt *dt/dy=2t * 1 = 2(x+y)
y(1-y)と表すことができるので、（２）０.２５が正解
確認テスト：重みの初期値に０を設定すると、どのような問題が発生するか。
すべての重みが同じ値に設定されていると、複数のニューロンが存在する意味がなくなってしまう。すべての重みが０であるなら１個のニューロンでも表現することができてしまうため、重みの偏りは表現力の制限の点で問題になる。
確認テスト：一般的に考えられるバッチ正規化の効果を2点あげよ
・学習を早く進行させることができる
・初期値への依存性が少なくなる。
Section2：学習率最適化手法
確認テスト：モメンタム、AdaGrad、RMSpropの特徴をそれぞれ簡潔に説明せよ
モメンタム：前の勾配の値を引き継ぐので、勾配値が小さくても同じ方向に勾配が続くと、更新値が大きくなる。そのため振動するような動きに強い。
AdaGrad：繰り返し数が増えると勾配の更新値が小さくなるため、最初は大きく学習し、時間が経つと小さく学習することが可能になっている
RMSprop：学習率を移動平均によって求めるため、学習がある程度進んだ後に勾配が急激に変化しても、対応することができる
Section3：過学習について
（a）
右
Section４畳み込みニューラルネットワークの概念
OH =６＋２×１−２＋１＝７
OW=６＋２×１−２＋１＝７
７×７となる。
Seciton5 最新のCNN
確認テストなし
