【E資格対策】誤差逆伝播法

まず, 各エッジに対応する変数を次のように定める.

• $x_0 = 100, \quad x_1 = 300, \quad x_2 = 6000$
• $w_1 = 3, \quad w_2 = 20$
• $E = x_2$

このとき, 順伝播の勾配は以下のようになる.

• $x_1 = w_1 x_0$
• $x_2 = w_2 x_1$

したがって, 逆伝播の勾配は以下のように表せる.

• $\dfrac{\partial E}{\partial x_2} = 1$
• $\dfrac{\partial E}{\partial x_1} = \dfrac{\partial E}{\partial x_2} \cdot \dfrac{\partial x_2}{\partial x_1} = \mathrm{(A)}$
• $\dfrac{\partial E}{\partial x_0} = \dfrac{\partial E}{\partial x_2} \cdot \dfrac{\partial x_2}{\partial x_1} \cdot \dfrac{\partial x_1}{\partial x_0} = \mathrm{(B)}$

ここで, $\dfrac{\partial x_2}{\partial x_1} = 20, \: \dfrac{\partial x_1}{\partial x_0} = 3$ であるから,

• $\mathrm{(A)} = 1 \times 20 = \underline{20}.$
• $\mathrm{(B)} = 1 \times 20 \times 3 = \underline{60}.$

$E = y$ とすると, 順伝播の勾配は以下のようになる.

したがって, 逆伝播の勾配は以下のように表せる.

(B) の行列積の順番に注意すること.

$X = (n \times d), W = (d \times m)$ とすると, $y = (n \times m)$ であり, $\dfrac{\partial E}{\partial y} = (n \times m)$ となる. また, $\dfrac{\partial E}{\partial W} = (d \times m)$ であるため, $X^{\top} = (d \times n), \dfrac{\partial E}{\partial y} = (n \times m)$ の順番でないと, 積の計算ができない.

ただし, バッチサイズを$n$, 入力の次元数を $d$, 出力の次元数を $m$ とした(全結合層を想定).

まず, 各エッジに対応する変数を次のように定め, 順伝播の勾配を求める.

• $u_1 = -x, \quad u_2 = e^{u_1}, \quad u_3 = 1 + u_2$
• $y = \dfrac{1}{u_3}$
• $E = y$

したがって, 逆伝播の勾配は以下のように表せる.