Skip to content

Instantly share code, notes, and snippets.

View nao23's full-sized avatar
🤯

Naofumi MURATA nao23

🤯
View GitHub Profile
@nao23
nao23 / mesos_yarn_borg.md
Last active November 6, 2020 09:51
Mesos, YARN, Borgについてのまとめ

Mesos

  • 論文:[Mesos: A Platform for Fine-Grained Resource Sharing in the Data Center ][mesos-paper]

Mesosとは?

クラスタ上のリソース管理・スケジューリングを行うクラスタ管理システム。Mesosを利用することで、HadoopやMPIといった複数のクラスタコンピューティングフレームワーク間で、粒度の高いリソース共有が可能になる。これにより、クラスタのリソース利用効率が上がり、巨大なデータセットを複数フレームワークで共有することができる。また、複数フレームワークがリソースを共有できることで、開発者は汎用的なフレームワークではなく、特定の問題領域に特化したフレームワークを自由に開発・動作させることができる。従って、フレームワークの成長が加速し、各問題領域に対してより良いサポートを提供できるようになる。

アーキテクチャ

![mesos-arch]

Master