1320 A,　[NTTデータだからこそできるHadoop徹底活用のための取り組み]

gistfile1.txt

13:22
[NTTデータだからこそできるHadoop徹底活用のための取り組み]



エンタープライズからのニーズに対してHadoopだけではできないことをNTTDの工夫でやる

Hadoop２ではNameNode　HAがネイティブで実装された

Gangliaによるクラスタ状態の可視化


NTTD＝システムインテグレーター
いかに既存システムに対してHadoopシステムをリリースし運用するのか

マスターサーバー
Hive/メタデータPostgre -> HA Pacemaker

構成管理 puppet/ANSIBLE
監視 Ganglia（大量のサーバーを監視する仕組み）　/Graphite（ぐらはいと）
運用管理 Hinemos ひねもすのマスコット「もにた」


[適用例 Twitter提供サービス]
システム的にはデータの取りこぼしはないようにしている
タイムアウト調整用バッファ
ストリームのとりこぼし対策にクフ風

[複数処理のまとめこみ]
似たような検索リクエストはまとめてジョブ(M/R)を動かす


[ツール開発でギャップを埋める]

Hadoop-PostgreSQLコネクタ
SqoopをPostgre用に最適化

NTTDはPostgreはかなり使っている・

Haoop->Import Postgre
Hadoop <-Export Postgre

トランザクション制御の実現
　-処理中断時に余分なデータが残らないように制御 


pg_bulkload:高速データロードユーティリティ


PostgreSQLコネクタ開発での成果物

----------
[OfflineImageViewer]

HDFSのメタデータを人間が読める形式に変更


HTraceの開発
分散システムのためのトレーシングライブラリ


[リファレンスガイドでギャップを埋める]
Hadoop1->Hadoop2への以降の補助
チュートリアルの拡充に注力

Hadoopソリューションリファレンスの作成

Hadoop MapReduceアプリケーション設計実装ガイドライン
MapReduce　アプリケーション開発テンプレート集　ー＞　全部埋めると設計書になる




NTTD累計１万台のHadoopサーバーを構築運用して得られた知見を元に提供するサービス
----

[これからのNTTDのとりくみ]
Storm Spark + YARNを使い倒しユーザーに提供する



HDFSの暗号化に評価・検証する



認証、認可、など安全な環境でHaoopが動かせるようにする


長く安定して使いたいというEOSの要求と
新しい機能を使いたいという要求
２つの要求をくんで実現していく