Фундаментальные знания для работы с Нейронными сетями.

gistfile1.txt

Общие сведения о нейронных сетях.
Строение нейронных сетей.
Описание основных функций активации.
Архитектура однослойных НС.
Архитектура многослойных НС.
Правило обучения Хебба.
Правило обучения Розенблатта.
Правило обучения Уидроу-Хоффа.
Многослойный персептрон.
Алгоритм обратного распространения ошибки.
Алгоритм наискорейшего спуска с моментами.
Эвристические алгоритмы.
Алгоритм имитации отжига.
Метод роя частиц.
Генетические алгоритмы.
Эволюционный алгоритм.
Распознавание образов.
Прогнозирование временных рядов.
Линейная алгебра - основа основ, без нее никаких численных дел не будет
Теория операторов - и без нее тоже. Нужно уметь оценивать операторы.
Теория меры и интеграла Лебега - и измерать множества тоже нужно уметь
Функциональный анализ - и работать с абстрактными операторами тоже
Высшая алгебра - без нее к операторам лезть можно, но лучше выучить
Гармонический анализ - без него в машинное зрение лезть смысла нет. Всякие операторы, свертки, ядра - это все туда
ТФКП - аналогично
Уравнения математической физики - без понимания того, как работает свет в этом мире анализировать что-либо смысла нет.
Теория интерполяции - как превратить результаты измерений в формулы
Численные методы - основа основ.
Теория графов (во-первых, сама ИНС - это граф, хотя на базовом уровне использования этого учитывать не нужно; во-вторых, ряд архитектур ИНС удобно представлять в форме вероятностных генеративных моделей, конкретнее, графических моделей);
Теория дифференциальных уравнений (рекуррентные ИНС соответствуют системам дифуров);
Теория динамического хаоса (ряд рекуррентных ИНС, например сети Хопфилда, хорошо описываются в терминах фазового портрета, аттракторов, бифуркаций, но в целом эта область математики нужна не очень часто);
Исчисление предикатов (традиционно сети с бинарными нейронами рассматривались как способ представления предикатов);
Теория алгоритмов (конечные автоматы, формальные грамматики, машины Тьюринга и т.д.) (помимо того, что сами ИНС представляют собой некий класс алгоритмов и возникают теоретические вопросы, где этот класс для той или иной архитектуры находится в иерархии Хомского, сейчас еще популярны и нейросимвольные сети, требующие обращения к указанным разделам математики)