僕の考えた最強でもないバッチシステム

時は大メニーコア時代。我々はビックデータなんて持ってない。
いや、正確には持っている。が、業務の全てがビックデータではない。

普通のたかだか数百GBのデータのジョブを数千単位でマネージする必要がある。
それが現実だ。ビックデータを効率的に処理する基盤では無く、ちょっとデカイデータをスマートにに管理することが必要だ。

ビックデータ処理基盤はすばらしい。大量にのマシンを効率的に管理するためのエコシステムがある。
ではそれで充分か？ 否である。我々は大量のサーバーなんて必要としていない。
今や１台で数十個のvCPUを持ったサーバは普通だ。大量のサーバではないので、それなりの信頼性は期待できる。
つまりビックデータ基盤の冗長性や耐久性は過剰である。サーバが停止するようなレアなイベントに対しては、新しく立ち上げ直して処理自体をやりなおせばそれでいい。
透過的な自動復旧のためのしくみは過剰なオーバーヘッドとなり日々の効率を下げることになる。

我々が欲するものは何か？ ビックではない中規模のデータを安定したネットワークで動作する数台から十数台マシンで効率的に動かせる仕組だ。
リソースが許すなら分散では無くローカルで完結する仕組だ。ローカルを越えるなら自動で分散する仕組みだ。
予想される負荷に合わせてマシンをElasticに足したり減らしたりできる仕組みだ。
モニタリングができる仕組みだ。ロギングができる仕組みだ。