GINK03

BERTでpretrainedで予想するだけ

（学習がとても重いと、トークナイズができていないようで日本語は今の所後回しでいいともう）

REFERE: https://github.com/huggingface/pytorch-pretrained-BERT/blob/master/pytorch_pretrained_bert/tokenization.py

import torch
from pytorch_pretrained_bert import BertTokenizer, BertModel, BertForMaskedLM

GINK03

アプリの登録

• https://developers.facebook.com/apps/234713097209686/add/

アプリのアクセストークンの発行画面

• https://developers.facebook.com/tools/explorer?method=GET&path=me%3Ffields%3Did%2Cname&version=v3.1

アクセス数のカウント

GINK03

こんなふうになるものなるものらしい。

ホスト側のdb_dataはパーミッションを気にしなくてはならない！

 docker run -p 1022:22 -it \
  --mount type=bind,source="$(pwd)"/db_data,target=/db_data \
  --mount type=bind,source="$(pwd)"/db_sec,target=/db_sec \
  --mount type=bind,source="$(pwd)"/db_srb,target=/db_srb \
  nardtree/solid-scraper server.py 

GINK03

scipy sparseのlilでくみたててcsrに変換し、np.float32なら学習できる

※ : https://github.com/GINK03/ai_news/blob/master/cold_start_modeling/train.ipynb

import pickle
import pandas as pd
import numpy as np
from scipy.sparse import csr_matrix
lil = pickle.load(open('lil.pkl', 'rb'))
csr  = csr_matrix(lil).astype(np.float32)

GINK03

Google 翻訳利用時に英語論文のPDFにコピペする際の問題

PDFの改行をパースしてしまい、翻訳が適切に行われない

Macだと、以下のコマンドで、クリップボード領域のコピペ情報から、改行を消すことができる。

$ pbpaste |tr '\n' ' '| pbcopy

シェルスクリプトに書いておいて、登録しておくと便利

GINK03

Private Keyを.ssh/authorized_keysに書き込む

$ dummy@Akatsuki:~/.ssh$ cat > authorized_keys
....hogehoge....

600permission

$ dummy@Akatsuki:~/.ssh$ chmod 600 authorized_keys

GINK03

木系のアルゴリズム

bisect

O(n)で順序をソート維持しながらソートできる

ex

こんな感じ

insert indexが帰ってくる

GINK03

def __getImp__(model):
    split = dict(zip(model.feature_name(), model.feature_importance('split')))
    split = pd.DataFrame.from_dict(split, orient='index')
    split.columns = ['split']
    
    gain = dict(zip(model.feature_name(), model.feature_importance('gain')))
    gain = pd.DataFrame.from_dict(gain, orient='index')
    gain.columns = ['gain']

GINK03

#!/usr/bin/env python3
import os
import sys
import re

try:
  number = [arg for arg in sys.argv if re.search(r'^\d{1,}$', arg)][0]
  SSHKEY=os.environ['SSHKEY']
  os.system(f'sshpass -p "{SSHKEY}" ssh gimpei@192.168.14.{number}')

GINK03

K.set_value(model.optimizer.lr, 0.001)