AdaGradよりもいけていると噂のオンライン学習器Adamを実装しました

AdaGradよりもいけていると噂のオンライン学習器Adamを実装しました。
実装がとても簡単で、ハイパーパラメータも論文に推奨値が書いてあるのが良いですね。
持っておかないといけないパラメータの数は(たぶん)AdaGradと同じです。

AdaGradやAdamのようなオンライン学習器は実装が簡単、省メモリなど優れた特徴があり大変実用的ですし、そろそろ有益な書物も発売されるようなので、気になった方はこれを機に学んでみると良いですよ。

しかしこうなるとAdamを改良したEveという学習器を作ってみたいですね(作るとは言っていない)。