eiichi-worker

サーバー作成メモ

• ログローテーション
• 各種監視
  • ディスク空き容量

eiichi-worker

TD_TIME_RANGEを理解して使う

実行時間 3/6/2017 12:00 PM JST やとして
前日1日分のログが欲しい
　イメージ → 2017-03-05 00:00:00 ~ 2017-03-05 23:59:59

select
  min(TD_TIME_FORMAT(time, 'yyyy-MM-dd HH:mm:ss','JST')) as min
  , max(TD_TIME_FORMAT(time, 'yyyy-MM-dd  HH:mm:ss','JST')) as max
from logs

eiichi-worker

digdagの日付指定で詰まる

Digdagでdigファイルに日付を書く際の注意
http://docs.digdag.io/operators/td_partial_delete.html
TDオペレータのtd_partial_delete>を使うときにfrom と toをドキュメントの通りに書いたが日付のフォーマットエラーがでた。
散々調べたり、検証したりした結果、タイムゾーン部分の書き方だとわかった。

ドキュメント（行けない。 2017/03/16時点）  

eiichi-worker

digdagとTDの組わせでhiveのクエリ結果をinsertしようとして詰まる。

スタンダードなクエリなら問題ないが、WITHとか使ってるとうまくクエリが動かない。
理由は、INSERT INTO TABLE result が頭に挿入され WITHと喧嘩するから。
この場合は、クエリ内にINSERTと書いて回避する。

うごかない

test.dig

eiichi-worker

カレンダーテーブルを作る(トレジャーデータ & Mysql)

トレジャーデータ上でカレンダーテーブルを作る

SELECT
  TD_TIME_FORMAT(TD_TIME_ADD(TD_SCHEDULED_TIME(), CONCAT('-',s.s,'d')), 'yyyy-MM-dd','JST') AS d
FROM (

eiichi-worker

シェルスクリプトのデバッグ方法

シェルスクリプトのデバッグが面倒すぎて、凡ミスしてたらスーパーオプションを教えてもらった。
-x 変数を展開しながらコードを表示してくれる

sh -x xxx.sh

例えば↓のスクリプト

eiichi-worker

dockerを改めて学習 その1

よく使うコマンド

docker ps

• コンテナを見る

docker images

• Imageを見る
• スラッシュが入ってないものは基本的に公式なやつ（library/が省略されている）

eiichi-worker

Nodeバージョン管理比較
https://cdn.rawgit.com/jasongin/cf9f64dd2739d78412bb9410701bf166/raw/69d48e0774f43280763eb7bb7175e930ab3e9f33/NodeVersionManagers.html
色々ある

nvmはスターが多い
nodebrewは特定層に根強い人気なイメージ  

NVS (Node Version Switcher)   https://github.com/jasongin/nvs   こんなの出来てる

eiichi-worker

IPアドレスについて改めて教えてもらった。
衝撃的だったリンクローカルとローカルループバックについてmemo

リンクローカル

169.254.0.0/16

主にルータ間での接続やクラウドのインフラでprivateIPを当てれないなどのときに使われている。
プライベートネットワークの親戚的位置づけ。  

eiichi-worker

Pythonがいる
ライブラリが面倒なのでAnacondaにする
https://www.continuum.io/downloads

https://github.com/Microsoft/CNTK/releases/tag/v1.7.2

「C:\Tools\cntk」に解凍する

「C:\Tools\cntk\cntk」をPathに追加する