Skip to content

Instantly share code, notes, and snippets.

View beenryuu's full-sized avatar

bin liu beenryuu

2 followers · 3 following
View GitHub Profile
@beenryuu
beenryuu / memo.hbase.ExportSnapshot_CopyTable_migration.md
Last active February 1, 2019 09:33

ゴール

ExportSnapshot+CopyTableの組み合わせでHBaseのMigrationをやってみる

環境

  • コピー元
    • CDH5.15.1
      • HBase1.2.0
  • コピー先
    • CDH6.0.1
      • HBase2.0.0
@beenryuu
beenryuu / memo.hbase.ExportSnapshot_migration.md
Last active February 1, 2019 05:38

ゴール

同じテーブルの複数Snapshotに対し、ExportSnapshotの実行は初回以降の所要時間が短縮される（初回以降の実行が差分更新になるため）ことを確認

環境

  • コピー元
    • CDH5.15.1
      • HBase1.2.0
  • コピー先
    • CDH6.0.1
      • HBase2.0.0
@beenryuu
beenryuu / memo.flume.taildir_source.hdfs_sink.md
Created October 25, 2018 06:42

FlumeでログファイルをHDFSに保存

ゴール

  • Flumeでローカルのログファイルをtail
  • 取り出したデータをHDFSに保存

環境、事前準備

@beenryuu
beenryuu / memo.flume.kafka_source.hdfs_sink.md
Created October 25, 2018 06:39

FlumeでKafkaのデータをHDFSに保存

ゴール

  • Flumeでkafkaからデータを取り出す
  • 取り出したデータをHDFSに保存

環境、事前準備

@beenryuu
beenryuu / memo.lilyindexer_hbase_solr.md
Last active October 25, 2018 06:23

HBaseからSolrのindexを作成

ゴール

  • HBaseからSolrのindexを作成
  • HBaseへの更新を動的にindexに反映させる

環境、事前準備

@beenryuu
beenryuu / memo.flume.hbase_sink.md
Last active October 25, 2018 06:02

Flumeでjson形式のデータをHBaseに流す

ゴール

  • Flumeでkafkaからtweetデータ(フラットなjson形式)を取得
  • HBaseにtweetデータを流す

※tweetデータの取得はここを参照

@beenryuu
beenryuu / memo.streamsets.tweet_filtering.jp.md
Last active October 25, 2018 06:16

StreamSetsでTweet(json)をフイルタリング

ゴール

  • kafkaに流れているjson形式のtweetから、独断の判断で必要なものをフィルタリング

※StreamSets以外の部分はここで説明する。

@beenryuu
beenryuu / memo.flume.twitter_source_kafka_sink.jp.md
Last active October 25, 2018 06:11

FlumeでTwitterを取得してKafkaに流す

ゴール

  • Flumeでtwitterからデータ（tweet）をリアルタイム取得
  • Downstreamが使えるように、取得したtweetをKafkaに流す

※StreamSetsでoriginalのtweet項目をフィルタリングする手順は別で説明する

@beenryuu
beenryuu / test.another_test.md
Last active October 23, 2018 02:22
another_test

Another Gist Page

Hello!

@beenryuu
beenryuu / test.gist_test.md
Last active October 24, 2018 10:17
gist_test

what can I do here?

try img tag