【E資格対策】学習率とパラメータ初期化の最適化手法

E資格対策としての学習率とパラメータ初期化の最適化手法の備忘録です。「AdaGrad」「RMSProp」「Adam」「Xavier法(Glorot法)」「He法(Kaiming法)」の内容を含んでいます。