Skip to content

Instantly share code, notes, and snippets.

Embed
What would you like to do?
Python による勾配法の可視化

Python による勾配法の可視化

@twakamor

2017/5/25

大阪Pythonの会 #02

はじめに:謝罪

全く準備できていません。申し訳ありません。 後日、Webに資料あげて、リンクを勉強会ページに貼ります(予定)。

勾配法とは

関数の勾配に関する情報を解の探索に用いるアルゴリズムの総称(Wikipediaより)

何に使うのか

機械学習におけるモデルのパラメータ推定に使う

モデルのパラメータ推定?

機械学習は、誤差関数を最小化(尤度を最大化)する問題を数値解析的に解くことで、近似式のパラメータを推定する

例)最小二乗法:誤差の二乗和を最小化

どんなものがあるのか

  • 最急降下法(gradient descent, GD)
  • 確率的勾配降下法(stochastic gradient descent, SGD)
  • 共役勾配法(conjugate gradient method, CG法)
  • Momentum SGD
  • AdaGrad
  • RMSprop
  • AdaDelta
  • Adam

あとは以下を読んで下さい

批判は下記宛にお願いします

https://twitter.com/twakamor

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
You can’t perform that action at this time.