class's memo

# 知能開発特論6(2016/11/15)  
## 画像処理の特徴抽出以降フローについて  
教師あり、なし  
* 自己組織化マップ
    unsupervised ver. NN  
* NN  
    パーセプトロン  
    線形式を近似  
    $g(x)=wx$  
    出力関数fはステップ関数が代表的  
    $f(x)　=　1(x≧0),0(x<0)$  
    →\{underline}sigmoid func(0と1で表す関数)  
     基本的に３層(多階層だとうまくいかないとされていた)  
    非線形も学習可  
* bp  
    出力×教師信号=誤差  
    論理回路のデモ（00,01,11,10）  
* DNN  
    NNを何層も  
    事前学習　　
    入力層から順にunsupervised　learning  
    細かいところから徐々に特徴抽出  
    画像認識+DNN  
    →CNN  
        フィルタ(畳み込み)、ダウンサンプリング  
        位置ずれの吸収  
* SVM  
    パーセプトロンの発展系  
    教師付き２クラス分類器  
    汎化高い  
    マージン最大化→識別境界を決定  
    g(x) = w^Tx + b (線形)  
    フェルマーの定理  
    ラグランジュの定理  
    クーンタッカーの定理  
    w =　\sum yは教師  
    b = -(/2)  
    ソフトマージン＝緩和変数　完全分離条件なし  
    元のデータを別空間に写像（非線形）  
        多項式カーネル  
        ガウス  
        RBF（radial basis function）  
    写像されたら線形分離  
 * bootstrap(バギング)  
     ランダムなn個のデータを選択、ブートストラップ集合生成、識別器（決定木）作成  
     複数識別器を作成  
     多数決により結果出力  
     Adaboost  
         データに重み付け(誤ったデータの重みが大きくなる)  
         弱識別器（識別器にも重み付ける）