gistfile1.txt

・参考
http://metasearch.sourceforge.jp/wiki/index.php?Hadoop%A5%BB%A5%C3%A5%C8%A5%A2%A5%C3%A5%D7
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Installation-Guide/cdh5ig_cdh5_install.html?scroll=topic_4_4_1_unique_1__section_dfx_p51_nj_unique_1

・手順
OpenJDKのインストール。本来はOracle JDKの方がいいかもね。
$ sudo apt-get install openjdk-7-jdk

CDH5リポジトリの設定
$ wget http://.../cdh5-repository_1.0_all.deb(ここのURLは上のマニュアル見て変えること)
$ sudo dpkg -i cdh5-repository_1.0_all.deb

hadoop擬似分散環境のインストール
$ sudo apt-get install hadoop-conf-pseudo

hdfs の初期化. うちはnamenodeのdirが掘られてなかったので自前で掘った
$ sudo -u hdfs mkdir  /var/lib/hadoop-hdfs/cache/hdfs/dfs/name
$ sudo -u hdfs hadoop namenode -format

EC2の外部IP取得
わからないのでとりあえずw3m使用
$ w3m http://localhost:50070

TaskTracker, JobTracker相当のもの入れる
$ sudo apt-get update; sudo apt-get install hadoop-yarn-resourcemanager # hadoop-conf-pseudoで入ってるかも
$ sudo /etc/init.d/hadoop-yarn-* start
$ w3m http://localhost:8088

Hadoop テストジョブの実行
$ sudo -u yuki hadoop jar /usr/lib/hadoop-0.20-mapreduce/hadoop-examples.jar pi 5 10

Hive0.12 入れる　パーミッション設定
$ sudo -u hdfs hadoop fs -mkdir /user/hive
$ sudo -u hdfs hadoop fs -mkdir /user/hive/warehouse
$ sudo -u hdfs hadoop fs -chmod g+w /user/hive/warehouse
$ sudo -u hdfs hadoop fs -chmod o+w /user/hive/warehouse

Hive 動作確認
$ hive
> create table hoge(a int, b int);
> show tables

Hueのインストール
$ sudo apt-get install hue

動作確認
$ w3m http://localhost:8888