fluentd w/ ruby 2.1.1 の進捗ダメです。 #=> ロングランさせると安定しました

fluentd_ruby2.1.1.md

メモリ使用量が増え続ける

最初の山: ruby 2.1.1 + fluentd v0.10.43 + cool.io v1.1.1 + msgpack v0.5.8 # ruby バージョンアップして、他の gem は安定稼働している本番と同じにした(同じ Gemfile.lock を使った)

２つ目の山: ruby 2.1.1 + fluentd v0.10.43 + cool.io v1.1.1 + msgpack v0.5.5 => 安定したかと一瞬思ったが "can't modify frozen String" 例外が出て何も処理できていなかっただけっぽい. v0.5.6 で修正された https://github.com/msgpack/msgpack-ruby/blob/master/ChangeLog

３つ目の山: ruby 2.1.1 + fluentd v0.10.43 + cool.io v1.1.1 + msgpack v0.5.6

４つ目の山: ruby 2.1.1 + fluentd v0.10.44 + cool.io v1.2.1 + msgpack v0.5.6

(続き)

最初の山: 環境変数 RUBY_GC_HEAP_OLDOBJECT_LIMIT_FACTOR=1.2 + ruby 2.1.1 + fluentd v0.10.44 + cool.io v1.2.1 + msgpack v0.5.6 # 上昇率は減ったが依然として横ばいにならない。

２つ目の山: ruby 2.0.0p451 + fluentd v0.10.44 + cool.io v1.2.1 + msgpack v0.5.6 # まだ少ししか観測していないが安定した。 2.0.0 なら大丈夫そう

３つ目の山: ruby 2.0.0p451 + fluentd v0.10.44 + cool.io v1.2.1 + msgpack v0.5.8 # １度安定してからメモリ使用量が伸びてしまったがこれは朝になってアクセス量が増えたから？正常な気もするのでちょっと追試する。

４つ目の山：環境変数 RUBY_GC_HEAP_OLDOBJECT_LIMIT_FACTOR=0.9 + ruby 2.1.1 + fluentd v0.10.44 + cool.io v1.2.1 + msgpack v0.5.8 # さらに上昇率は減ったが依然として横ばいにならない。

(ロングランさせてみた)

環境変数 RUBY_GC_HEAP_OLDOBJECT_LIMIT_FACTOR=0.9 + ruby 2.1.1 + fluentd v0.10.44 + cool.io v1.2.1 + msgpack v0.5.8 でロングラン # 実メモリ使用量は安定したが、buffer/cache が依然としてちょっとずつ増えているの気になる

(仕込んでいた gc_trace のファイル出力が buffer/cache 使ってそうなので止めてリラン)

buffer/cache 含めて安定したっぽい(わずかに増減している) ^^

fluentd w/ ruby 2.1.1 における GC.stat と ObjectSpace の情報をとってみた。https://gist.github.com/sonots/9304344

ちなむと ruby 1.9.3 ではこんなかんじ

RUBY_GC_HEAP_OLDOBJECT_LIMIT_FACTOR については、http://svn.ruby-lang.org/cgi-bin/viewvc.cgi?revision=45021&view=revision ぐらいしか資料がないが、

"RUBY_GC_HEAP_OLDOBJECT_LIMIT_FACTOR" to control major/minor GC
frequency.
Do full GC when the number of old objects is more than R * N
where R is this factor and N is the number of old objects just after last full GC.

とのことらしい. つまり、前回の Full GC後に残っていた object の数に比して factor 分増加した場合にのみ Full GC を走らせる。1.0 より小さいと常に Full GC となる。