smorms3.cpp

// Initialise the parameters mem, g and g2.
arma::mat mem = arma::ones<arma::mat>(iterate.n_rows, iterate.n_cols);

arma::mat g = arma::zeros<arma::mat>(iterate.n_rows, iterate.n_cols);

arma::mat g2 = arma::zeros<arma::mat>(iterate.n_rows, iterate.n_cols);

// And update the iterate.
arma::mat r = 1 / (mem + 1);

g = (1 - r) % g;
g += r % gradient;

g2 = (1 - r) % g2;
g2 += r % (gradient % gradient);

double x = arma::as_scalar(g * (g / (g2 + eps)));

iterate -= gradient * std::min(x, lRate) / (arma::sqrt(g2) + eps);

mem *= (1 - x);
mem += 1;