Skip to content

Instantly share code, notes, and snippets.

View eiichi-worker's full-sized avatar

猫おじさん/Eiichi eiichi-worker

8 followers · 17 following
View GitHub Profile
@eiichi-worker
eiichi-worker / setup_mac.md
Last active October 10, 2017 14:38
[ブログ済み][環境構築] Mac

MacOS Sierraを開発用にセットアップするメモ

!この記事は古いかもしれません。
!最新版はブログを参照してください。   http://blog.noraneko.work/2017-02-27-001/

クリーンインストール

@eiichi-worker
eiichi-worker / setup_solydx.md
Last active May 25, 2017 02:38
SolydX(Debian系) 環境構築

SolydX(Debian系) 環境構築

インストール

初期設定

  • 最初に出るウインドウ（色々インストール）は無視、閉じる。
  • アップデートとかしとく
@eiichi-worker
eiichi-worker / diary_2017-03-06_01.md
Last active March 16, 2017 05:47
TD_TIME_RANGEを理解して使う

TD_TIME_RANGEを理解して使う

実行時間 3/6/2017 12:00 PM JST やとして
前日1日分のログが欲しい
　イメージ → 2017-03-05 00:00:00 ~ 2017-03-05 23:59:59

select
  min(TD_TIME_FORMAT(time, 'yyyy-MM-dd HH:mm:ss','JST')) as min
  , max(TD_TIME_FORMAT(time, 'yyyy-MM-dd  HH:mm:ss','JST')) as max

from logs

@eiichi-worker
eiichi-worker / memo_make_server.md
Created March 12, 2017 02:27
サーバー作成メモ

サーバー作成メモ

  • ログローテーション
  • 各種監視
  • ディスク空き容量
@eiichi-worker
eiichi-worker / diary_2017-03-15_01.md
Last active March 16, 2017 10:51
日記_digdagの日付指定で詰まる

digdagの日付指定で詰まる

Digdagでdigファイルに日付を書く際の注意
http://docs.digdag.io/operators/td_partial_delete.html
TDオペレータのtd_partial_delete>を使うときにfrom と toをドキュメントの通りに書いたが日付のフォーマットエラーがでた。
散々調べたり、検証したりした結果、タイムゾーン部分の書き方だとわかった。

ドキュメント（行けない。 2017/03/16時点）  

@eiichi-worker
eiichi-worker / diary_2017-03-15_02.md
Last active March 18, 2017 03:48
日記_digdagとHiveで詰まる

digdagとTDの組わせでhiveのクエリ結果をinsertしようとして詰まる。

スタンダードなクエリなら問題ないが、WITHとか使ってるとうまくクエリが動かない。
理由は、INSERT INTO TABLE result が頭に挿入され WITHと喧嘩するから。
この場合は、クエリ内にINSERTと書いて回避する。

うごかない

test.dig

@eiichi-worker
eiichi-worker / diary_2017-03-27_01.md
Last active March 27, 2017 05:39
カレンダーテーブルを作る(トレジャーデータ & Mysql)

カレンダーテーブルを作る(トレジャーデータ & Mysql)

トレジャーデータ上でカレンダーテーブルを作る

SELECT
  TD_TIME_FORMAT(TD_TIME_ADD(TD_SCHEDULED_TIME(), CONCAT('-',s.s,'d')), 'yyyy-MM-dd','JST') AS d
FROM (
@eiichi-worker
eiichi-worker / diary_2017-03-31_01.md
Last active October 30, 2018 15:13
DigdagからTDのOutput results的なことをする

DigdagからTDのOutput results的なことをする

TD上のOutput results相当の指定が出来る
result_connectionとresult_settingsで指定する

+task:
    td>: queries/treasuredata/test.hive.sql
 engine: hive
@eiichi-worker
eiichi-worker / diary_2017-04-05_01.md
Last active April 5, 2017 11:43
シェルスクリプトのデバッグ方法

シェルスクリプトのデバッグ方法

シェルスクリプトのデバッグが面倒すぎて、凡ミスしてたらスーパーオプションを教えてもらった。
-x 変数を展開しながらコードを表示してくれる

sh -x xxx.sh

例えば↓のスクリプト

@eiichi-worker
eiichi-worker / diary_2017-04-12_01.md
Created April 12, 2017 01:02
dockerを改めて学習

dockerを改めて学習 その1

よく使うコマンド

docker ps

  • コンテナを見る

docker images

  • Imageを見る
  • スラッシュが入ってないものは基本的に公式なやつ（library/が省略されている）