Rocks cluster Sidewinder (6.2) installation stuff (virtualbox with Ubuntu 15 as host)

rocks.md

Rocks cluster Sidewinder (6.2) Virtualbox

Installation in Nutshell

1. Download jumbo DVD iso from rocks website
2. Setup VM in virtualbox:
   1. Frontend node: Linux/Redhat x64 with min 1GB RAM, 30GB HDD, 1 optical drive (with rocks dvd iso mounted), 1 Internal Network interface (any name), 1 NAT, boot from optical drive
   2. Compute node(s): Linux/Redhat x64 min 1GB RAM, 30GB HDD, 1 Internal Network interface (same name as frontend-node), boot from network
3. Start frontend-node VM, type build when prompted
4. Select CD/DVD based rolls, at least os, kernel, base. Some recommended rolls are web server + ganglia (monitoring) and hpc (OpenMPI and MPICH)
5. Change the default Fully Qualified Host Name (FQHN) to avoid compute-0-0 already exists error as described here
6. Provide the eth0, eth1 and gateway address accordingly. If you don't have any idea, try setup below (works for me):

   # eth0
   10.1.1.1
   255.255.0.0
   
   # eth1
   10.0.3.15
   255.255.255.0
   
   # gateway
   10.0.3.2
   192.168.0.1
   

7. Choose Auto Partitioning when prompted (unless you specifically want something else)
8. Sit back and wait until frontend installation complete
9. Login as root then run insert-ethers on terminal and select compute node
10. Start compute-node(s) VM and make sure it boots from network. If it's not, try reboot several times. If it's still not working consider redo everything from step 2 (yup, I did retry several times)
11. If you have ganglia roll selected, you can check and monitor your cluster on http://localhost/ganglia (on frontend)

Add HPC roll

1. In case you haven't add hpc roll. Download hpc iso from website and run this commands on frontend terminal:

   rocks add roll hpc.iso
   rocks enable roll hpc
   cd /export/rocks/install
   rocks create distro
   rocks run roll hpc | bash
   init 6
   

2. Once reboot done, run this command and reboot compute node(s) to push the change:

   ssh-agent $SHELL
   ssh-add
   rocks run host compute '/boot/kickstart/cluster-kickstart-pxe'
   

3. Add new user to run MPI job and sync it to compute node(s)

   adduser username
   passwd username
   rocks sync users
   

Mas Yohanes, Itu yang point 9 harusnya insert-ethers ya bukan install-ethers?

Oh iya betul. Sudah saya koreksi. Thanks!

kalau mau membuat cluster dengan beberapa pc-desktop menggunakan rocks, bagaimana cara setting komputer master dan komputer node? Terutama pada saat men-setting IP, netmask, gateway, dll. Saya ingin membangun cluster komputer dari beberapa PC-Desktop dengan rocks yang diaplikasikan sebagai cluster untuk perhitungan menggunakan software-software kimia komputasi. Adakah tutorial yang bisa saya baca terkait hal ini? Atau mungkin Mas Yohanes bisa share tutorialnya di sini. Terima kasih banyak atas perhatian dan jawabannya.

saya ketemu beberapa masalah dengan rock cluster yang 6.2 gan.... saya mau submit job dengan qsub error terus, saya gak tau harus otak atik dimana... ada yang bisa kasih solusi ?

~admin web filegaleri.com

oh iya untuk ping antar pc sudah berjalan lancar.... ssh root@IP addre juga sudah jalan.... tapi qsub error....
mohon pencerahannya....

@alivansyah saya belum pernah coba, mas, tapi seharusnya prinsipnya sama dengan menggunakan VM:

1. Pastikan semua PC terhubung jaringan
2. Ikuti langkah 3-9 untuk komputer yang akan dijadikan frontend-node (master)
3. Ikuti langkah 10-11 untuk setiap compute-node (slave)

Untuk dinamika molekular, sudah ada Gromacs jika menginstall roll bio. Untuk software yang tidak terdapat dalam roll, saya belum punya informasinya.

@filegaleri saya sendiri belum pernah mencoba qsub sih, mas. Silahkan coba google pesan error nya saja, mas. Saya juga tidak bisa kasih saran apa-apa kalau pesan error nya saja tidak ada 😬

Hi,
After doing every step mention here. FrontEnd got install correctly, but compute node is giving error, please check attachment for your reference.
And help me to fix the issue.

Bang, saya sudah berhasil menyelesaikan semua tahap instalasi, sehingga frontend sudah terhubung dengan semua node.
Mengenai instalasi library/packages python ke node, bagaimana melakukannya?
Karena saya tidak menemukan solusi yang spesifik dari official documentationnya.

@Melvandito maaf kebetulan saya belum pernah menjalankan python pada rocks cluster. Saya hanya tahu bahwa sudah tersedia roll untuk itu. Asumsinya jika roll tersebut dipilih saat instalasi, kita sudah dapat menjalankannya di cluster. Jika Anda butuh berkonsultasi lebih jauh, saya sudah rekomendasikan kontak email yang bisa Anda hubungi via email