Skip to content

Instantly share code, notes, and snippets.

View matsumana's full-sized avatar

Manabu Matsuzaki matsumana

View GitHub Profile
# Riak KV 0.14 will add key-filters to MapReduce queries. riak-client needs
# a nice and efficient syntax for this feature, please leave a comment with
# the format that you like best.
# For more info on how key-filters work see:
# http://www.slideshare.net/hemulen/riak-mapred-preso
# Preliminaries so you know what we're talking about
client = Riak::Client.new
mr = Riak::MapReduce.new(client)
@v1nc3ntlaw
v1nc3ntlaw / rbenv-install-system-wide.sh
Last active July 26, 2022 01:08
rbenv install ruby 1.9.3-p448 on Debian 6 Squeeze
# Update, upgrade and install development tools:
apt-get update
apt-get -y upgrade
apt-get -y install build-essential git-core curl libssl-dev \
libreadline5 libreadline5-dev \
zlib1g zlib1g-dev \
libmysqlclient-dev \
libcurl4-openssl-dev \
libxslt-dev libxml2-dev
@kmizu
kmizu / gist:1876800
Last active December 22, 2019 00:05 — forked from gakuzzzz/gist:1865400
Scala環境構築

Scala 開発環境構築手順

前提条件

  • JDKがinstall済みであること
  • java コマンドに環境変数Pathが通っていること
@j5ik2o
j5ik2o / gist:2156447
Created March 22, 2012 05:41
Play framework 2.0でデーモン化する方法

commons-daemonの依存関係を追加する

次のようにproject/Build.scala を編集する。

object ApplicationBuild extends Build {
    // ...
    val appDependencies = Seq(
      "commons-daemon" % "commons-daemon" % "1.0.10"
    )

// ...

@matope
matope / Dynamo: Amazonの高可用性Key-value Store.markdown
Last active November 18, 2022 17:54
Dynamo: Amazonの高可用性Key-value Store[和訳]
@taichi
taichi / code_reading.md
Last active April 10, 2024 13:04
太一のコードの読み方メモ

太一のコードの読み方メモ

全体として太一が感覚的に実践している事を論理的に説明しようと試みている為、
説明の粒度が適切でなかったり一貫性が無いように見える部分があるかもしれない。
普段やっているけども書ききれていない事も多分きっとある。

コードを読むとは何か

  • コードを嗜む
  • コードを学ぶ
  • 武器を手に入れる
@repeatedly
repeatedly / mongodb_casual_suck.md
Created July 6, 2012 11:22
MongoDB Casual Talksの資料
@hrysd
hrysd / pull_request.md
Created September 1, 2012 17:46
pull request

pull request しましょう。

基本的な流れ

Github 上で fork する

# git clone repo
# cd repo

作業用のbranch を作り、切り替える(基本的にmasterはいじらない)

# git checkout -b new_feature

なにかをする。

@frsyuki
frsyuki / status-2012-09-23.md
Created September 24, 2012 03:20
Fluentd v11 の実装状況

Fluentd v11 の実装状況

リポジトリ:https://github.com/frsyuki/fluentd-v11

Fluentdコアのコード行数が v10 の行数(3800行くらい)を超える前に、いったんα版をリリースしたいところ(gem install -v でバージョンを指定しないとインストールされないやつ)。もう3565行なのでわりと既に危ない。

概要:コアはだいたい動くようになったが、標準プラグイン群とプラグインの実装を支援するモジュールが未実装。

Fluentdコア

なんかClouderaが出したらしい.Hiveと違ってMapReduceをやらず,独自のクエリエンジンを使っている.場合によっては10x以上速くなるらしい.GoogleのDremelに触発されて2年かけて作ってたらしい.

構成

Frontend / Backendのサーバが2種類.FrontendがBeeswax経由でWebから叩けたりする.BackendはHDFSとかのデータノード上でクエリとかを実行するやつだと思われる(2.の実行エンジン辺り?).

ソース

主要なディレクトリはcommon, be(backend), fe(fronend)の3つ.