GINK03

requirements

作成

install pipreq

$ sudo pip3 install pipreq

GINK03

import os
import sys
import math
import glob
import gzip
for name in glob.glob("../output/*/*"):
  print( name )
  day_time = name.split("/")[-2]
  print( day_time )

GINK03

import com.google.gson.Gson                                                                                                                  import com.google.gson.reflect.TypeToken                                                                                                     
import com.google.gson.GsonBuilder
import com.google.gson.reflect.TypeToken   

val type = object : TypeToken<Map<String, String>>() {}.type
val json = File("data/DATASET.json").readText() 
val gson = Gson()
val map:Map<String,String> = gson.fromJson<Map<String, String>>(json, type) 

GINK03

KerasのRNNでFizzBuzzを行う

ディープラーニングをやるようになって半年程度経ちました
ある程度ならば、文章や画像判別モデルならば、過去の自分の資産をうまく活用することと、外部からState of the Artな手法を導入することで、様々なネットワークを組むことが可能になってまいりました
しかし、基礎の基礎であるはずの、Fizz Buzzをやるのを忘れていたのです
やるしかありません、やります、やりましょう

先行研究

• Fizz Buzz in TensorFlow
• Fizz Buzz Keras

GINK03

import matplotlib.pyplot as plt
# This import is needed to modify the way figure behaves
from mpl_toolkits.mplot3d import Axes3D
#----------------------------------------------------------------------
# Locally linear embedding of the swiss roll
from sklearn import manifold, datasets
X, color = datasets.samples_generator.make_swiss_roll(n_samples=1500)
print("Computing LLE embedding")
X_r, err = manifold.locally_linear_embedding(X, n_neighbors=12,
                                             n_components=2)

GINK03

概要

• 技術的に何か複雑で新しいものは少なく、学生の発表ということもあり、あまりレベルは高くない
• 技術的にユニークであり、知見としたい点を発表する

教師なし学習（PCANet）

各種機械学習のオーバーヘッドとなりうる点では、学習させるデータのペアを作ることが求められることが多い   これは教師あり学習と呼ばれ、人間がなんらかの形でデータセットを作成する必要がある

比べて教師なし学習という分野があり、こちらは学習する対象のデータさえ与えれば、後は勝手に学習していくものであり、特に人間が頑張ってデータセットを作る必要はない
自然言語処理では、有名なところでは　word2vecやfastText, tfidfなど数値を計算する、頻出する系を計算する系などが該当する

GINK03

sudo add-apt-repository ppa:longsleep/golang-backports
sudo apt-get update
sudo apt-get install golang-go

GOHOMEの設定

$HOME/go/bin

GINK03

catboost

RussiaのGoogleと呼ばれるYandex社から、catboostと呼ばれる勾配ブースティングが発表されました
勾配ブースティングはかなり強力な、機械学習アルゴリズムで、XGBoost, LightGBMが有名です

これで、DMLC, Microsoft, Yandexというビッグプレイヤーが出てこの分野もいい感じに加熱してきました

インストールから実際に、学習するまでの様子を示していきます　　

GINK03

install clang

$ sudo apt install clang

install openmp-dev

$ sudo apt install libomp-dev

GINK03

golangからC＋＋で作成された各種ライブラリを利用します

まずは、C++で適切な実装を行なってください   この実装を施されたC++のshared objectさえあれば、なんとかなる

#include <dlfcn.h>
#include <iostream>