| EXTRACTING AND INSTALLING APACHE SPARK ON HDP CLUSTER | |
| $ wget `link to the newest version of spark` | |
| $ tar -xvf `archive` | |
| $ sudo mv spark-... /usr/hdp/{version}/ | |
| $ cd /usr/hdp/{version}/ | |
| $ sudo mv spark2 spark2-old | |
| $ sudo mv spark-... spark2 | |
| $ cd spark2-old | |
| $ readlink conf |
| sudo apt-get update | |
| sudo apt-get install -y libsqlite3-dev | |
| sudo apt-get install -y python3-dev libffi-dev libssl-dev libbz2-dev lzma libreadline6 libreadline6-dev | |
| wget https://www.python.org/ftp/python/3.6.0/Python-3.6.0.tgz | |
| tar xvf Python-3.6.0.tgz | |
| cd Python-3.6.0 | |
| ./configure --enable-optimizations | |
| make -j8 |
| # Note – this is not a bash script (some of the steps require reboot) | |
| # I named it .sh just so Github does correct syntax highlighting. | |
| # | |
| # This is also available as an AMI in us-east-1 (virginia): ami-cf5028a5 | |
| # | |
| # The CUDA part is mostly based on this excellent blog post: | |
| # http://tleyden.github.io/blog/2014/10/25/cuda-6-dot-5-on-aws-gpu-instance-running-ubuntu-14-dot-04/ | |
| # Install various packages | |
| sudo apt-get update |
Введение
Начать стоит отсюда. Не пугайтесь то, что это книга по незнакомой OS, эти термины практически везде одинаковые и здесь они изложены в понятной для начинающих форме.
http://www.qnx.com/developers/docs/6.4.1/neutrino/getting_started/s1_procs.html
Прочесть нужно треть главы до подраздела "Starting a process", если С не пугает, читайте полностью. После прочтения вы будете понимать, что такое process, thread, mutex, priorites, semaphores, scheduler, contex-switch, kernel states.
Ruby