PyDataTokyo #DeepLearning会

pydata_deeplearning.md

GPUとDeep Learning

世代

• tesla -> fermi -> kepler -> maxwell -> pascal -> volta

• イニシャルがつくので、どこの世代なのかそれを見れば分かる TF: テラフロップス 1秒間に○回対象の演算ができる

• GeForceは？ 各世代に対応したバージョン番号があるのでそれで世代を追う

  • Tesla 6.1 => pascal

• とりあずここいけば性能確認できる

  • CUDA GPUs | NVIDIA Developer を確認

Deep Learningに良いGPUって？

• 学習フェーズ

• 推論(インファレンス)フェーズ

• INT8をつかうなら、それに対応したGPUを

• FP64,16使うならそれに対応したGPUを

• 汎用アクセラレータである

色々あるよね

• Alexnet(8層)
• VGG (19層)
• GoogleNet(22層)
• ResNet(152層)

推論用: Tesla M4, P4

• peekで50W

学習: 聴き逃した

NVIDIA Docker

https://github.com/NVIDIA/nvidia-docker NVIDIA/nvidia-docker: Build and runDocker containers leveraging NVIDIA GPUs

• 便利なのでとりあえずこれ使うのがいい
• これでWindowsマシンだろうがなんだろうが関係ない！
• GPUの数調整できる
• REST APIで今の状況確認できる
  • https://github.com/NVIDIA/nvidia-docker/wiki/nvidia-docker-plugin#rest-api

NVIDIAのSDK

• cuDNN
  • CNNの計算はそろそろいいかな、RNNに対応していく