Skip to content

Instantly share code, notes, and snippets.

@wakamori

wakamori/Python による勾配法の可視化.md

Last active May 25, 2017 23:02
Show Gist options
  • Star 0 You must be signed in to star a gist
  • Fork 0 You must be signed in to fork a gist
  • Save wakamori/5a0956dd0b91402175dcb9ef1877028b to your computer and use it in GitHub Desktop.
Save wakamori/5a0956dd0b91402175dcb9ef1877028b to your computer and use it in GitHub Desktop.
Download ZIP
Python による勾配法の可視化
Raw
Python による勾配法の可視化.md

Python による勾配法の可視化

@twakamor

2017/5/25

大阪Pythonの会 #02

はじめに：謝罪

全く準備できていません。申し訳ありません。 後日、Webに資料あげて、リンクを勉強会ページに貼ります（予定）。

勾配法とは

関数の勾配に関する情報を解の探索に用いるアルゴリズムの総称（Wikipediaより）

何に使うのか

機械学習におけるモデルのパラメータ推定に使う

モデルのパラメータ推定？

機械学習は、誤差関数を最小化（尤度を最大化）する問題を数値解析的に解くことで、近似式のパラメータを推定する

例）最小二乗法：誤差の二乗和を最小化

どんなものがあるのか

  • 最急降下法(gradient descent, GD)
  • 確率的勾配降下法(stochastic gradient descent, SGD)
  • 共役勾配法(conjugate gradient method, CG法)
  • Momentum SGD
  • AdaGrad
  • RMSprop
  • AdaDelta
  • Adam

あとは以下を読んで下さい

批判は下記宛にお願いします

https://twitter.com/twakamor

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment