fluentd_casual_talks_2.md

Fluentd Casual Talks #2

• http://atnd.org/events/36713
• 日時 :2013/02/15 19:00 to 21:00
• 定員 :160 人
• 会場 :株式会社ディー・エヌ・エー （東京都渋谷区渋谷2-21-1 渋谷ヒカリエ）
• 管理者 : tagomoris
• ハッシュタグ :#fluentdcasual

webhdfs pluginを運用してみた @just_do_neetさん

• out_webhdfsの話
• 1TB超/day
• 1時間に1回put
• 捨てられるデータはない
• 原則的に1件でもデータロストしたら障害
• 何も起こらない構成にする
• buffer type memoryを使用、fileは未使用
• HDFS上：解析ログ
• flowcounter growthforecast
• データサイズの監視
• queue size exceeds limitを起こさないようにする
• buffer周りの設定チューニング
• プロセスを複数たちあげて並列化
• システム全体でリカバリーできるようにする

Fluentd with PHP Apps @kentaroさん

• https://speakerdeck.com/kentaro/log-everything-with-fluentd
• pabooというサービスの話

###プラグイン

• https://github.com/kentaro/fluent-plugin-flatten
• https://github.com/kentaro/fluent-plugin-extract_query_params
• https://github.com/kentaro/fluent-plugin-rewrite

###仕組み

• Log FormatはLSTV
• PHPで動いているのでfluent-plugin-phpを使おうと思ったが5.3以降しか使えないので、apache_note()を使ってみた　http://php.net/manual/ja/function.apache-note.php
• apache_noteで落とす例
  • URL Groups
  • User/Guest
  • Device
  • Bot Access
• fluent-plugin-extract_query_params
  • Structuralze URLs
  • fluent-plugin-extract_query_params。HTTPのquery stringが入ったレコードから、パラメータ部分を取り出してレコードに入れる。
• プロファイリング out_flattend
  • jsonの文字列を渡すとフラットにしてくれるプラグイン
  • LSTVのvalueにjsonをいれる
  • スクリプトの実行にかかった時間を入れておく
  • GrowthForecastで可視化

stdout-hook @repeatedlyさん

• https://github.com/treasure-data/stdout-hook
• flent-logger
• herokuのプラグインにTDが組み込まれた
• アプリケーションログを fluentd や TD に送りたい、けどアプリケーションの中にロガー埋め込むのはちょっと気が引ける･･･という人のために
• stdoutに吐いたものを fluentd or TD に送り込むものを作った
• write JSON to STDOUT

###fluentdに標準出力するスクリプトの比較

• stdout-hook
  • デフォルトがTD
• fluent-cat
  • 入力がjson限定
• fluent-agent-lite
  • keyにmessageというものがついてしまう

認証および暗号化つき forward の話 @tagomoris

• http://www.slideshare.net/tagomoris/fluentdcasual-02-secureforward
• forwardの認証と暗号化
• fluent-plugin-secure-forward
• 方法
  • SSL経由でやりとり
  • オレオレ証明書をサーバ側で作ってやりとりする
  • パスワード認証
• 証明書のチェック
• Handchake
• セッションははりっぱなし

Haikanko という Fluentd クラスタ管理ツールの話　@sonotsさん

• http://www.slideshare.net/sonots/fluentdcasual-02haikanko-16546308
• Fluentd クラスタを運用するためのツール
• WebUIから設定
• 設定ファイルを自動生成
• ワンクリックデプロイ
• 現状は監視の設定のみ

プラグイン

• fluent-plugin-watchcat-counter
• fluent-plugin-watchcat-notififer
• fluent-plugin-watchcat-ikachan
• fluent-plugin-watchcat-mail
• fluent-plugin-mongo
• fluent-plugin-growthforecast
• fluent-plugin-parser
• fluent-agent-lite

####構成

• sinatra/thin
• mongo
• erb
• mina(yet another capistrano)
  • capistranoはコマンドを実行するたびにsshでサーバに入る
  • minaはシェルスクリプトを配布して一回だけ実装するので速い

####sonotsさんによるまとめ

• http://blog.livedoor.jp/sonots/archives/23590458.html
• http://blog.livedoor.jp/sonots/archives/23590458.htm

beagleboardでfluentd (td-agent-arm.deb)@katsyoshiさん

• serialport
• axlsx
• mikutter-fluentd
• BeagleBoard-xM向けのTD-agent

fluent-logger-scala@oza_x86さん

• fluent-logger-scala
• mavenにリポジトリ登録してある
• build.sbt
• using lift-json

fluent-plugin-riak@kuenishiさん

• Basho Japan
• fluent-plugin-riak
• fluent-plugin-erlang

fluent-plugin-resque_statを作ってみた@Spring_MTさん

• 10xlab
• resque
• resque_stat
• resque.infoをやっているだけ。テストどうやって書くの？
• InputTestDriver
• ローカルでgem install
• テストを書くためにプラグインを作ってみるのもいいのでは？

fluentd+Esperでストリームに対してクエリを発行@angostura11さん

• Fluentd + Esper
• ZeroMQ + MessagePack でログを投入
• MessagePack-RPC でRPC