Fluentdは JSONストリームとしてログを扱うログ収集デーモンです。
これまでのところ、最大のユーザーではピーク時で
100台以上のサーバ、650GB daily 、70,000msgs/sec のログを収集しています。
本文章は,Impala のメモ の TODO のうち,BackEnd の特にクエリの実行部を読み,文章化したものである.
BackEnd(BE) は単体のデーモンとして動作し,FE 側でパースした結果(Job ID/Plan)に基づいて処理を実行する.FE と BE のやりとりには Thrift が用いられている.
|FE| - パース結果(Job ID/実行Planなど) thrift -> |BE|
リポジトリ:https://github.com/frsyuki/fluentd-v11
Fluentdコアのコード行数が v10 の行数(3800行くらい)を超える前に、いったんα版をリリースしたいところ(gem install -v でバージョンを指定しないとインストールされないやつ)。もう3565行なのでわりと既に危ない。
概要:コアはだいたい動くようになったが、標準プラグイン群とプラグインの実装を支援するモジュールが未実装。
MongoDB Casual Sucks
皆さん実装したことあると思うので,言わなくても分かりますよね
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
# Riak KV 0.14 will add key-filters to MapReduce queries. riak-client needs | |
# a nice and efficient syntax for this feature, please leave a comment with | |
# the format that you like best. | |
# For more info on how key-filters work see: | |
# http://www.slideshare.net/hemulen/riak-mapred-preso | |
# Preliminaries so you know what we're talking about | |
client = Riak::Client.new | |
mr = Riak::MapReduce.new(client) |