教師あり、なし
- 自己組織化マップ unsupervised ver. NN
- NN
パーセプトロン
線形式を近似
$g(x)=wx$
出力関数fはステップ関数が代表的
$f(x) = 1(x≧0),0(x<0)$
→{underline}sigmoid func(0と1で表す関数)
基本的に3層(多階層だとうまくいかないとされていた)
非線形も学習可 - bp
出力×教師信号=誤差
論理回路のデモ(00,01,11,10) - DNN
NNを何層も
事前学習 入力層から順にunsupervised learning
細かいところから徐々に特徴抽出
画像認識+DNN
→CNN
フィルタ(畳み込み)、ダウンサンプリング
位置ずれの吸収 - SVM
パーセプトロンの発展系
教師付き2クラス分類器
汎化高い
マージン最大化→識別境界を決定
g(x) = w^Tx + b (線形)
フェルマーの定理
ラグランジュの定理
クーンタッカーの定理
w = \sum yは教師
b = -(/2)
ソフトマージン=緩和変数 完全分離条件なし
元のデータを別空間に写像(非線形)
多項式カーネル
ガウス
RBF(radial basis function)
写像されたら線形分離 - bootstrap(バギング)
ランダムなn個のデータを選択、ブートストラップ集合生成、識別器(決定木)作成
複数識別器を作成
多数決により結果出力
Adaboost
データに重み付け(誤ったデータの重みが大きくなる)
弱識別器(識別器にも重み付ける)