Skip to content

Instantly share code, notes, and snippets.

著者 の GitHub のソースコード:https://github.com/tomwhite/hadoop-book

ZooKeeper

Hadoop の分散コーディネーションサービスである ZooKeeper の紹介。

一般的に分散システムを構築するのは難しい。主な理由の一つに partial failure がある。

partial failure とはデータの送り元が、データが正しく送られたかどうかが分からないような状態を指す(通信中にネットワークに問題が生じた場合、送り主は受け手が正しくデータを受け取ったか分からない、など)。これは分散システムを構築する上で本質的に発生しうるもので、完全に解消したり隠蔽することはできない。

Chapter4 YARN

YARN (Yet Another Resource Negotiator) は Hadoop クラスタクラスタのリソース管理システムであり、Hadoop2 から MapReduce の実装を改善するために導入されたが、他の分散システムにおいても利用できる。

YARN は API を提供しているが、ユーザーが直接利用するものではなく、YARN の上に分散処理システムが構築される(図を参照)。

Anatomy of a YARN Application Run

YARN は 2つのデーモンを利用する:

@tsuda7
tsuda7 / gist:a5c058aab86c909ae005
Last active September 18, 2015 11:21
Hadoop 徹底入門(第2版) 輪読会メモ
  • お膳立て
    • 環境は Vagrant から起動する CentOS
    • JDK7
    • Hadoop ディストリビューションは CDH

Chapter 1 "Hadoop の基礎知識"

Hadoop とは

一言で言うと…