Skip to content

Instantly share code, notes, and snippets.

View matsumana's full-sized avatar

Manabu Matsuzaki matsumana

View GitHub Profile
@voluntas
voluntas / erlang_package.rst
Last active August 29, 2015 14:01
Erlang/OTP パッケージングコトハジメ

Erlang/OTP パッケージングコトハジメ

更新

2014-05-29

バージョン

0.2.0

作者

@voluntas

URL

http://voluntas.github.io/

rebar generate と node_package についてまとめました。

# Riak KV 0.14 will add key-filters to MapReduce queries. riak-client needs
# a nice and efficient syntax for this feature, please leave a comment with
# the format that you like best.
# For more info on how key-filters work see:
# http://www.slideshare.net/hemulen/riak-mapred-preso
# Preliminaries so you know what we're talking about
client = Riak::Client.new
mr = Riak::MapReduce.new(client)
@repeatedly
repeatedly / mongodb_casual_suck.md
Created July 6, 2012 11:22
MongoDB Casual Talksの資料
@hrysd
hrysd / pull_request.md
Created September 1, 2012 17:46
pull request

pull request しましょう。

基本的な流れ

Github 上で fork する

# git clone repo
# cd repo

作業用のbranch を作り、切り替える(基本的にmasterはいじらない)

# git checkout -b new_feature

なにかをする。

@frsyuki
frsyuki / status-2012-09-23.md
Created September 24, 2012 03:20
Fluentd v11 の実装状況

Fluentd v11 の実装状況

リポジトリ:https://github.com/frsyuki/fluentd-v11

Fluentdコアのコード行数が v10 の行数(3800行くらい)を超える前に、いったんα版をリリースしたいところ(gem install -v でバージョンを指定しないとインストールされないやつ)。もう3565行なのでわりと既に危ない。

概要:コアはだいたい動くようになったが、標準プラグイン群とプラグインの実装を支援するモジュールが未実装。

Fluentdコア

なんかClouderaが出したらしい.Hiveと違ってMapReduceをやらず,独自のクエリエンジンを使っている.場合によっては10x以上速くなるらしい.GoogleのDremelに触発されて2年かけて作ってたらしい.

構成

Frontend / Backendのサーバが2種類.FrontendがBeeswax経由でWebから叩けたりする.BackendはHDFSとかのデータノード上でクエリとかを実行するやつだと思われる(2.の実行エンジン辺り?).

ソース

主要なディレクトリはcommon, be(backend), fe(fronend)の3つ.

@oza
oza / impala_be_node.md
Created October 28, 2012 23:36
Impala BE Note

Impala BE メモ

本文章は,Impala のメモ の TODO のうち,BackEnd の特にクエリの実行部を読み,文章化したものである.

概要

BackEnd(BE) は単体のデーモンとして動作し,FE 側でパースした結果(Job ID/Plan)に基づいて処理を実行する.FE と BE のやりとりには Thrift が用いられている.

|FE| - パース結果(Job ID/実行Planなど) thrift -> |BE|
@SpringMT
SpringMT / gist:3998300
Created November 2, 2012 02:21
isucon2最初にやること

backup作成

  • appのbackup
    mysqldump

iptables切る

/etc/init.d/iptables stop
chkconfig iptables off

SELinux切る

vim /etc/sysconfig/selinux

@voluntas
voluntas / erlang_app.rst
Created December 9, 2012 07:34
Erlang アプリケーション コトハジメ

Erlang アプリケーション コトハジメ

更新

2012-09-15

作者

@voluntas

バージョン

0.1.0

Gist で書いてみたシリーズ

@j5ik2o
j5ik2o / gist:2156447
Created March 22, 2012 05:41
Play framework 2.0でデーモン化する方法

commons-daemonの依存関係を追加する

次のようにproject/Build.scala を編集する。

object ApplicationBuild extends Build {
    // ...
    val appDependencies = Seq(
      "commons-daemon" % "commons-daemon" % "1.0.10"
    )

// ...