Learning Guide - Deep Learning

notas_deep_learning.md

Deep Learning

Além dos links dessa lista, altamente recomendo o seguinte link:

https://github.com/ChristosChristofidis/awesome-deep-learning

Ordem de Estudo Recomendada:

Pessoalmente, não conheço a bagagem teórica de cada um, mas acredito que a ordem mais indicada para compreender os conceitos de Deep Learning:

1. Entender como as Redes Neurais Convolucionais:

   1.1) Regressão Linear de Modelos (One-Hot Encoding, BackPropagation, Cross-Entropy, Softmax, Stochastic Gradient Descent)

   1.2) Filtros Convolucionais, Max Pooling

   1.3) Métodos de Regularização (Dropout, L2 Normalization, Momentum and Learning Rate Decay, Batch Normalization)

   1.4) Camadas Deconvolução

   1.5) Autoencoders

   1.6) Topologias Clássicas de CNN: AlexNet, VGG-16, ResNet-50, dentre outras.

   https://github.com/aymericdamien/TensorFlow-Examples/tree/master/examples/3_NeuralNetworks https://www.youtube.com/watch?v=s96mYcicbpE

   Tutoriais recomendados:

   Curso de Deep Learning desenvolvido pela Google - Udacity

   https://br.udacity.com/course/deep-learning--ud730/

   Convolutional Neural Networks (LeNet):

   http://deeplearning.net/tutorial/lenet.html

2. Entender como implementar os conceitos aprendidos em frameworks de desenvolvimento de redes neurais profundas (Tensorflow, Caffe, Torch, Keras, etc.):

   2.1) Aprender conceitos básicos da representação de Dados do framework. Ex: Tensorflow estrutura os operadores matemáticos na forma de grafos.

   2.2) Treinar exemplos simples de classificação. Ex: Problema de Classificação do MNIST, notMNIST, CIFAR-10, etc.

   http://deeplearning.net/tutorial/logreg.html

   Tutoriais recomendados:

   2.2.1) TensorFlow: Tutoriais: https://www.tensorflow.org/tutorials/ Repo: https://github.com/aymericdamien/TensorFlow-Examples

   Tutorial 1: https://www.tensorflow.org/get_started/get_started

   Tutorial 2: https://www.tensorflow.org/get_started/mnist/beginners

   Tutorial 3: https://www.tensorflow.org/get_started/mnist/pros

   Tutorial 4: https://www.tensorflow.org/tutorials/deep_cnn

   CS224D Lecture 7 - Introduction to TensorFlow (19th Apr 2016)

   2.3) Aprender como monitorar treinamento de um modelo por meio do Tensorboard (recurso do Tensorflow):

   https://www.tensorflow.org/programmers_guide/summaries_and_tensorboard https://www.youtube.com/watch?v=eBbEDRsCmv4

3. Recurrent Neural Networks:

   https://www.youtube.com/watch?v=_aCuOwF1ZjU

4. Residual Neural Networks:

   https://blog.waya.ai/deep-residual-learning-9610bb62c355

5. Outros:

   http://deeplearning.net/tutorial/ https://pythonprogramming.net/machine-learning-tutorial-python-introduction/ http://rp-www.cs.usyd.edu.au/~mlss/#courseContent

6. Listas de Datasets:

   http://jorditorres.org/introduccion-practica-al-deep-learning-con-tensorflow-de-google-parte-3/

(Opcional) Paralelamente é interessante que você aprenda conceitos clássicos de inteligencia artificial(Background) e a linguagem de programação do framework de sua preferência :

• Python: Tensorflow, Theano, PyTorch

• Caffe: C, C++, CUDA

• Técnicas Clássicas de Aprendizado de Máquina

• Redes Neurais Artificiais(RNAs):

http://deeplearning.net/tutorial/mlp.html