install_spark.sh

#########################################################################################
# copy perintah dibawah utk install apache spark                                        #
# pastikan VM terhubung ke internet                                                     #
# jika ada prompt memninta password berikan password user ubuntu di VM.                 #
# proses install spark ini mengasumsikan kalau Hadoop telah dikonfigurasi dengan benar  #
# setelah selesai spark bisa distart dengan start-master.sh                             #
#########################################################################################

cd ~ && \
wget -O spark-2.4.4.tgz https://www-us.apache.org/dist/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz && \
tar zxvf spark-2.4.4.tgz && \
sudo mkdir -p /opt/spark && sudo chown -R $USER:$USER /opt/spark && \
mv spark-2.4.4-bin-hadoop2.7/* /opt/spark && rm -rf spark-2.4.4.tgz spark-2.4.4 && \
printf "\n#SPARK_VAR\nexport SPARK_HOME=/opt/spark\nexport PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin\n#SPARK_VAR\n" \
>> ~/.bashrc && \
source ~/.bashrc && sudo apt install python python-pip python3 python3-pip