- やっているのは NodeScheduler のcomputeAssignments のようだ。
- locationAwareScheduling と isRemotelyAccessible() によって処理は分岐する、と考えておいて良い
- ここでしばしば紹介される minCandidates パラメータが登場する。コードを読む限り、これ、「Split を処理する Node の候補をいくつ選ぶか」というだけであるっぽい。
- 少なくとも minCandidates の数だけ Node を選び、その中から現在持っているタスクが少ない Node を選んでいるのである。
- だから、 minCandidates は別に並列度とは関係ないわけで、結果的にパフォーマンスに寄与するかどうかは微妙な感じもある。
- "max number of workers to run a stage in parallel (default: 10) " という説明は誤りなのではないか、という話。
- この minCandidates が node-scheduler.min-candidates であることも確認済みである。
- 指摘もあったが誰も反応していない https://groups.google.com/forum/#!msg/presto-users/Ft71bkwElkQ/v85ROXC82hIJ
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Java のコードを | |
pythonista に持ち込む:まぁ、Java も書けなくはないけどね | |
rubyist に持ち込む:ツマラン、どこかに細工してやろうか・・・ | |
perler に持ち込む:出てけゴルァァァァァァァァァァァ!! | |
Python のコードを | |
Java エンジニアに持ち込む:おぅ、Python のコードか | |
rubyist に持ち込む:スクリプト言語の僚友だ、バッチリ直してやるぜ | |
perler に持ち込む:けっ、優等生か |
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
use POSIX qw(strftime sysconf _SC_CLK_TCK); | |
use File::Slurp; | |
use Time::Piece; | |
use Time::HiRes qw(time); | |
my $TIME_OF_BOOT = time_of_boot(); | |
my $CLOCK_TICK = sysconf(_SC_CLK_TCK); | |
MAIN: { | |
my $pid = shift or die "missing PID"; |
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
require 'rubygems' | |
require 'em-http-request' | |
# Monkey-patched Gzip Decoder to handle | |
# Gzip streams. | |
# | |
# This takes advantage of the fact that | |
# Zlib::GzipReader takes an IO object & | |
# reads from it as it decompresses. | |
# |