Embulkプラグイン0.3.2以前

embulk.md

最新情報

様々なプラグイン(0.3.2)以前

Embulk 0.4.0リリースで、プラグイン構造が代わり新しいgemは、Embulk-{Input|Output|Filter}-XXXという名前で作成するようになりました。ここに記載しているGemは0.3.2以前に作られていたものです。

Input プラグイン

• embulk-plugin-input-sfdc-event-log-files Salesforceイベントログ読込み
• embulk-plugin-redis NoSQL Redisからの読込み
• embulk-plugin-input-hbase NoSQLの一つHBaseからデータを読み込む
• embulk-plugin-input-pcapng-files WireSharkなどでパケットキャプチャをした際のPcapNg形式で保存されたファイルを読込む
• embulk-plugin-input-random テストやベンチマークのためにダミーデータを作るプラグイン (解説embulk-plugin-input-randomを作った)
• embulk-plugin-twitterstream TwitterStreamからデータを得るInputプラグイン
• embulk-plugin-s3 Amazon S3からデータを取得するインプットプラグイン
• embulk-plugin-input-slack-history ChatシステムSlackからデータを取得するプラグイン
• embulk-plugin-input-jstat JavaVMの統計情報(jstat)を読み込むプラグイン
• embulk-plugin-input-nicocomment ニコニコ動画からコメントを抽出するプラグイン
• embulk-plugin-input-roo-excelExcelのxlsxファイルからデータを取得するプラグイン

Output プラグイン

• embulk-output-elasticsearch 全文検索システムElasticSearchにデータを出力するプラグイン

• embulk-plugin-redis NoSQL Redisへの書き込み

• embulk-plugin-postgres-json PostgreSQLのJSONカラムへの出力

• embulk-plugin-vertica ビックデータ解析のためのソフトウェアVerticaへデータを格納するためのプラグイン

• embulk-plugin-vim Vimへの出力

• embulk-plugin-mysql MySQLのテーブルへデータを出力するプラグイン 代わりにembulk-output-mysqlを使ってください。

• embulk-plugin-sqlite3 SQLiteのテーブルへデータを出力するプラグイン

• embulk-plugin-output-fluent-logger-ruby Embulkで取り込んだデータをfluentdに出力するプラグイン(gemにはしていません)

• 標準のOutputに関する覚書

Filter プラグイン

• embulk-plugin-filter-grep 所定の条件に適合したエントリのみOutputに渡すプラグイン

• embulk-plugin-filter-convert カラムの順序を入れ替えするプラグイン

• Embulkにあった方が良いフィルタ