深層学習後半まとめ

github.com github.com ishishi11-challenge.hatenablog.com ishishi11-challenge.hatenablog.com ishishi11-challenge.hatenablog.com ishishi11-challenge.hatenablog.com

深層学習DAY4要約2

Section5)Transformer Seq2Seq ・Encoder-decoderモデルとも呼ばれる。入力系列がエンコードされ、内部状態からデコードされ系列に変化される。 例)翻訳、音声認識、チャットボット ・要は二つの言語モデルを連結した形になっている。 言語モデル ・単語の…

深層学習DAY4要約1

Section1)強化学習 強化学習とは ・長期的に報酬を最大化できるように環境の中で行動を選択できるエージェントを作ることを目標とする機械学習の一分野。行動の結果として与えられる利益をもとに、行動を決定する原理を改善していく仕組み。 探索と利用のト…

深層学習DAY3、4確認テスト

Section1)再帰型ニューラルネットワークの概念 中間層(隠れ状態ベクトル)に対して掛けられる重みがある。 隠れ状態ベクトルは時系列データの時間関係を記録し、保持する。 dz/dt * dt/dx = 2t *1 = 2(x + y) s1 = w_in*x1 +w*s0+b y1 = g(w_out*s1+c) x…

深層学習DAY3要約

Section1)再帰型ニューラルネットワークの概念 ・RNNとは 時系列データに対応可能なニューラルネットワークである。 時系列モデルを扱うには、初期の状態と過去の状態tー1の状態を保持し、そこから次の時間でのtを再起的に求める再起構造が必要になる。 …

深層学習前編まとめ

ishishi11-challenge.hatenablog.com ishishi11-challenge.hatenablog.com ishishi11-challenge.hatenablog.com ishishi11-challenge.hatenablog.com github.com github.com

深層学習DAY2要約

Section1 勾配消失問題 誤差逆伝播法が下位層に進むにつれて、勾配がどんどん緩やかになっていく。 そのため、勾配降下法による更新では下位層のパラメータはほとんど更新しない。 ・ シグモイド関数は大きい値、小さい値だと勾配が微小であるため学習が進ま…

深層学習DAY2 確認テスト

Section1勾配消失問題 dz/dx = dz/dt *dt/dy=2t * 1 = 2(x+y) シグモイド関数の微分は y(1-y)と表すことができるので、(2)0.25が正解 確認テスト:重みの初期値に0を設定すると、どのような問題が発生するか。 すべての重みが同じ値に設定されている…

深層学習DAY1確認テスト

Section1:入力層〜中間層 確認テスト:動物分類の実例を入れてみよう。 確認テスト:この数式をPythonでかけ。 u1 = np.dot(x,W1) + b 確認テスト:1−1のがいるから中間層の出力を定義しているソースを抜き出せ。 # 2層の総入力 u2 = np.dot(z1, W2) + b2…

深層学習DAY1要約

Section1 入力層〜中間層 ・入力を受け取る場所をノードと呼ぶ ・入力に対し、それぞれ重みを乗算し、線型結合する。それにより重要な情報は値を大きく、関係のないものは値を小さくすることができる。 ・バイアスは一次関数でいうと、切片にあたる。 ・入力…

機械学習まとめ

要約まとめ shishi11-challenge.hatenablog.com 実装演習まとめ github.com

機械学習

機械学習とは タスクT(アプリケーションにさせたいこと)を性能指標Pで測定し、その性能が経験E(データ)により改善される場合、タスクTおよび性能指標Pに関して経験Eから学習すると言われている。 ■線形回帰モデル タスクT:回帰問題 経験E:教師あり学習 …

応用数学まとめ

ishishi11-challenge.hatenablog.com ishishi11-challenge.hatenablog.com ishishi11-challenge.hatenablog.com

情報理論

■自己情報量 事象Aの起こる確率がP(A)である時、事象Aが起こることの自己情報量は、I(A)=-log2P(A)によって定義される ■エントロピー 確率変数Xにおいて、X=xとなる確率がP(x)で与えられている時、確率変数Xのエントロピーは以下で与えられる。 エントロピー…

情報理論

■自己情報量 事象Aの起こる確率がP(A)である時、事象Aが起こることの自己情報量は、I(A)=-log2P(A)によって定義される ■エントロピー 確率変数Xにおいて、X=xとなる確率がP(x)で与えられている時、確率変数Xのエントロピーは以下で与えられる。 エントロピー…

確率・統計

■条件付き確率 ある事象Xが起きるという条件の元で、事象Yが起こる確率。 P(Y|X)=P(X∩Y)/P(X) 最初はなぜP(X)が分母に来るのか分からなかったが、ベン図を書いてみると理解ができた。 ベイズの定理に繋がる大事な公式。条件付き確率を変形し、導くことが出…

線形代数学

この記事はStudy-AI社、ラビットチャレンジのレポートを目的として執筆しています。 ■ベクトルとスカラー ・スカラー:値の大小のみを示すもの 例)温度、質量、面積、長さetc... ・ベクトル:値の大きさ、向きなど2つの情報を持つもの 例)力、運動量、速…