descico

Split を worker Node に割り当てる処理について

• やっているのは NodeScheduler のcomputeAssignments のようだ。
• locationAwareScheduling と isRemotelyAccessible() によって処理は分岐する、と考えておいて良い
• ここでしばしば紹介される minCandidates パラメータが登場する。コードを読む限り、これ、「Split を処理する Node の候補をいくつ選ぶか」というだけであるっぽい。
• 少なくとも minCandidates の数だけ Node を選び、その中から現在持っているタスクが少ない Node を選んでいるのである。
• だから、 minCandidates は別に並列度とは関係ないわけで、結果的にパフォーマンスに寄与するかどうかは微妙な感じもある。
• "max number of workers to run a stage in parallel (default: 10) " という説明は誤りなのではないか、という話。
  • http://image.slidesharecdn.com/hcj2014-presto-140708205946-phpapp01/95/presto-hadoop-conference-japan-2014-55-638.jpg?cb=1404871295
• この minCandidates が node-scheduler.min-candidates であることも確認済みである。
• 指摘もあったが誰も反応していない https://groups.google.com/forum/#!msg/presto-users/Ft71bkwElkQ/v85ROXC82hIJ

sonots

Fluentd ソースコード完全解説

英題：Fluentd Hacking Guide

目次

30分しかないため斜線部分は今回省く

• Fluentd の起動シーケンスとプラグインの読み込み
• Fluentd の設定ファイルのパース
• Input Plugin から Output Plugin にデータが渡る流れ

gakuzzzz

Scala の省略ルール早覚え

このルールさえ押さえておけば、読んでいるコードが省略記法を使っていてもほぼ読めるようになります。

メソッド定義

def concatAsString(a: Int, b: Int): String = {
  val a_ = a.toString();
  val b_ = b.toString();

yoshiori

Java のコードを 
pythonista に持ち込む：まぁ、Java も書けなくはないけどね 
rubyist に持ち込む：ツマラン、どこかに細工してやろうか・・・ 
perler に持ち込む：出てけゴルァァァァァァァァァァァ！！ 

Python のコードを 
Java エンジニアに持ち込む：おぅ、Python のコードか 
rubyist に持ち込む：スクリプト言語の僚友だ、バッチリ直してやるぜ 
perler に持ち込む：けっ、優等生か 

hirose31

use POSIX qw(strftime sysconf _SC_CLK_TCK);
use File::Slurp;
use Time::Piece;
use Time::HiRes qw(time);

my $TIME_OF_BOOT = time_of_boot();
my $CLOCK_TICK   = sysconf(_SC_CLK_TCK);

MAIN: {
    my $pid = shift or die "missing PID";

baroquebobcat

require 'rubygems'
require 'em-http-request'

# Monkey-patched Gzip Decoder to handle
# Gzip streams.
#
# This takes advantage of the fact that
# Zlib::GzipReader takes an IO object &
# reads from it as it decompresses.
#