quickstart-vm.md

Cloudera QuickStart VM

ダウンロード

http://www.cloudera.com/downloads/quickstart_vms/5-8.html

現在は各種仮想環境用にイメージが用意されている。

• Virtual Box
• VMWare
• KVM
• Docker Container (Clusterdock)

今回は単一ノードでの検証用かつSparkコード開発用に、VirtualBoxのVMをダウンロードした。 CDH5.8の場合は、CentOS6.7だった。

セットアップ

特になし。

Caveats

Static IP

Quickstart VMはデフォルトでは NAT インターフェースしか持たない。 また、マシンのIPは固定されている。（10.0.2.15） 仮にNetworkManagerで固定IPを設定しても、 /etc/hosts は上記のものに書き換えられてしまう。

Static IPを設定したかったので、以下のことを試した。

• どこで設定されているのか

  • /etc/init.d/cloudera-quickstart-init 内で cloudera-quickstart-ip コマンドが実行されている
  • which cloudera-quickstart-ip -> /usr/bin/cloudera-quickstart-ip
  • /usr/bin/cloudera-quickstart-ip
    • 第一引数に与えられたIPがあればそれを使用する。
    • 引数なしの場合、eth0, eth1, eth2の順に IPが付与されているものがあればそれを使う。
    • IPが決まれば、/etc/hostsを編集する。上記でIPが定まらなかった場合、127.0.0.1 を使う。
    • 単一ノードクラスタとするために、manager と workerは同一ノードである。上記で決定したIPを /var/lib/cloudera-quickstart/tutorial/js/config.js に反映する。

• どうすればよいか

  • VirtualBoxで Bridge Network を追加し、VM上で利用できるようにする。
    • CentOS6 なので、service NetworkManager stop chkconfig NetworkManager off をして、手動で設定してもいいかもしれない。
  • /etc/init.d/cloudera-quickstart-init 内で cloudera-quickstart-ip コマンドに引数として 設定した Static IP を与える。
  • reboot
  • 起動後、Cloudera Manager の Management Service の Status が "Reconfiguration Required" みたいな状態になっている場合は、反映して、（webコンソールからクラスタを）再起動