github.com github.com ishishi11-challenge.hatenablog.com ishishi11-challenge.hatenablog.com ishishi11-challenge.hatenablog.com ishishi11-challenge.hatenablog.com

Section5)Transformer Seq2Seq ・Encoder-decoderモデルとも呼ばれる。入力系列がエンコードされ、内部状態からデコードされ系列に変化される。 例）翻訳、音声認識、チャットボット ・要は二つの言語モデルを連結した形になっている。 言語モデル ・単語の…

Section1）強化学習 強化学習とは ・長期的に報酬を最大化できるように環境の中で行動を選択できるエージェントを作ることを目標とする機械学習の一分野。行動の結果として与えられる利益をもとに、行動を決定する原理を改善していく仕組み。 探索と利用のト…

Section１）再帰型ニューラルネットワークの概念 中間層(隠れ状態ベクトル)に対して掛けられる重みがある。 隠れ状態ベクトルは時系列データの時間関係を記録し、保持する。 dz/dt * dt/dx = 2t *1 = 2(x + y) s1 = w_in*x1 +w＊s0+b y1 = g(w_out*s1＋c) x…

Section１）再帰型ニューラルネットワークの概念 ・RNNとは 時系列データに対応可能なニューラルネットワークである。 時系列モデルを扱うには、初期の状態と過去の状態tー１の状態を保持し、そこから次の時間でのtを再起的に求める再起構造が必要になる。 …

ishishi11-challenge.hatenablog.com ishishi11-challenge.hatenablog.com ishishi11-challenge.hatenablog.com ishishi11-challenge.hatenablog.com github.com github.com

Section1 勾配消失問題 誤差逆伝播法が下位層に進むにつれて、勾配がどんどん緩やかになっていく。 そのため、勾配降下法による更新では下位層のパラメータはほとんど更新しない。 ・ シグモイド関数は大きい値、小さい値だと勾配が微小であるため学習が進ま…

Section１勾配消失問題 dz/dx = dz/dt *dt/dy=2t * 1 = 2(x+y) シグモイド関数の微分は y(1-y)と表すことができるので、（２）０.２５が正解 確認テスト：重みの初期値に０を設定すると、どのような問題が発生するか。 すべての重みが同じ値に設定されている…