Skip to content

Instantly share code, notes, and snippets.

View fo40225's full-sized avatar

fo40225

183 followers · 0 following
View GitHub Profile
@fo40225
fo40225 / hadoop.txt
Created October 1, 2019 05:10
hadoop
wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
tar axvf hadoop-2.7.3.tar.gz
cd hadoop-2.7.3/
#etc/hadoop/hadoop-env.sh
# set to the root of your Java installation
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
#etc/hadoop/core-site.xml
<configuration>
@fo40225
fo40225 / MG07ACA14TE.txt
Created September 13, 2019 05:20
MG07ACA14TE on LSI SAS 3108 JBOD mode fio test
ubuntu@t21p-4u-001:/sda$ ~/fio/fio --loops=5 --size=1g --runtime=10 --stonewall --direct=1 --group_reporting \
> --name=SeqQ32T1read --bs=128k --iodepth=32 --rw=read \
> --name=SeqQ32T1write --bs=128k --iodepth=32 --rw=write \
> --name=4kQ8T8read --bs=4k --iodepth=8 --numjobs=8 --rw=randread \
> --name=4kQ8T8write --bs=4k --iodepth=8 --numjobs=8 --rw=randwrite \
> --name=4kQ32T1read --bs=4k --iodepth=32 --rw=randread \
> --name=4kQ32T1write --bs=4k --iodepth=32 --rw=randwrite \
--name=4kQ1T1read --bs=4k --iodepth=1 --rw=randread \
> --name=4kQ1T1read --bs=4k --iodepth=1 --rw=randread \
> --name=4kQ1T1write --bs=4k --iodepth=1 --rw=randwrite
@fo40225
fo40225 / alluxio.txt
Created August 26, 2019 06:04
alluxio
wget https://downloads.alluxio.io/downloads/files/2.0.1/alluxio-2.0.1-bin.tar.gz
tar axvf alluxio-2.0.1-bin.tar.gz
cd alluxio-2.0.1/
cp conf/alluxio-site.properties.template conf/alluxio-site.properties
echo "" >> conf/alluxio-site.properties
# standalone
#echo "alluxio.master.hostname=localhost" >> conf/alluxio-site.properties
#echo "alluxio.master.mount.table.root.ufs=\${alluxio.work.dir}/underFSStorage" >> conf/alluxio-site.properties
@fo40225
fo40225 / tmpfs.log
Created August 24, 2019 04:15
linux tmpfs test 9980xe DDR4-2666 quad channel
user@ubuntu:/dev/shm$ ~/fio/fio --loops=5 --size=1g --runtime=10 --stonewall --direct=0 --group_reporting \
--name=SeqQ32T1read --bs=128k --iodepth=32 --rw=read \
--name=SeqQ32T1write --bs=128k --iodepth=32 --rw=write \
--name=4kQ8T8read --bs=4k --iodepth=8 --numjobs=8 --rw=randread \
--name=4kQ8T8write --bs=4k --iodepth=8 --numjobs=8 --rw=randwrite \
--name=4kQ32T1read --bs=4k --iodepth=32 --rw=randread \
--name=4kQ32T1write --bs=4k --iodepth=32 --rw=randwrite \
--name=4kQ1T1read --bs=4k --iodepth=1 --rw=randread \
--name=4kQ1T1write --bs=4k --iodepth=1 --rw=randwrite
SeqQ32T1read: (g=0): rw=read, bs=(R) 128KiB-128KiB, (W) 128KiB-128KiB, (T) 128KiB-128KiB, ioengine=psync, iodepth=32
@fo40225
fo40225 / F810.log
Created August 23, 2019 01:55
Dell EMC Isilon F810 230TB 10GbE NFS
user@user:/isilon/tmp$ mount
x.x.x.x:/ifs/data/isilon on /isilon type nfs (rw,relatime,vers=3,rsize=131072,wsize=524288,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=x.x.x.x,mountvers=3,mountport=300,mountproto=udp,local_lock=none,addr=x.x.x.x)
user@user:/isilon/tmp$ ~/fio/fio --loops=5 --size=1g --runtime=10 --stonewall --direct=1 --group_reporting \
> --name=SeqQ32T1read --bs=128k --iodepth=32 --rw=read \
> --name=SeqQ32T1write --bs=128k --iodepth=32 --rw=write \
> --name=4kQ8T8read --bs=4k --iodepth=8 --numjobs=8 --rw=randread \
> --name=4kQ8T8write --bs=4k --iodepth=8 --numjobs=8 --rw=randwrite \
> --name=4kQ32T1read --bs=4k --iodepth=32 --rw=randread \
> --name=4kQ32T1write --bs=4k --iodepth=32 --rw=randwrite \
> --name=4kQ1T1read --bs=4k --iodepth=1 --rw=randread \
@fo40225
fo40225 / 4xP4510-4TB.log
Last active August 23, 2019 02:04
4x Intel DC P4510 4TB mdadm raid5
user@ubuntu:/raid5/tmp$ ~/fio/fio --loops=5 --size=1g --runtime=10 --stonewall --direct=1 --group_reporting \
> --name=SeqQ32T1read --bs=128k --iodepth=32 --rw=read \
> --name=SeqQ32T1write --bs=128k --iodepth=32 --rw=write \
> --name=4kQ8T8read --bs=4k --iodepth=8 --numjobs=8 --rw=randread \
> --name=4kQ8T8write --bs=4k --iodepth=8 --numjobs=8 --rw=randwrite \
> --name=4kQ32T1read --bs=4k --iodepth=32 --rw=randread \
> --name=4kQ32T1write --bs=4k --iodepth=32 --rw=randwrite \
> --name=4kQ1T1read --bs=4k --iodepth=1 --rw=randread \
> --name=4kQ1T1write --bs=4k --iodepth=1 --rw=randwrite
SeqQ32T1read: (g=0): rw=read, bs=(R) 128KiB-128KiB, (W) 128KiB-128KiB, (T) 128KiB-128KiB, ioengine=psync, iodepth=32
@fo40225
fo40225 / slurm.txt
Created August 6, 2019 12:11
setup Slurm cluster
# master 192.168.1.101
# slave1 192.168.1.102
# slave2 192.168.1.103
sudo apt update
sudo apt install -y slurm-wlm
# 1604
# https://slurm.schedmd.com/archive/slurm-15.08.10/configurator.html
# 1804
@fo40225
fo40225 / spark.txt
Last active August 30, 2020 12:53
setup Apache Spark cluster for gatk
# master 192.168.1.101
# slave1 192.168.1.102
# slave2 192.168.1.103
sudo apt update
sudo apt install -y openjdk-8-jdk
wget https://archive.apache.org/dist/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz
tar axvf spark-2.4.3-bin-hadoop2.7.tgz
echo "" >> ~/.bashrc
@fo40225
fo40225 / 9980xe-flops.log
Created June 26, 2019 03:42
i9 9980xe GFlops
user@ubuntu:~/Flops/version3/binaries-linux$ ./2006-Core2
Running Core 2 tuned binary with 1 thread...
Single-Precision - 128-bit SSE - Add/Sub
GFlops = 34.752
Result = 4.42554e+06
Double-Precision - 128-bit SSE2 - Add/Sub
GFlops = 17.536
Result = 2.21176e+06
@fo40225
fo40225 / P4800X.log
Created June 18, 2019 03:48
Intel Optane DC P4800X 375GB
Intel Optane DC P4800X 375GB
user@ubuntu:/tmp$ ~/fio/fio --loops=5 --size=1g --runtime=180 --stonewall --direct=1 --group_reporting \
> --name=SeqQ32T1read --bs=128k --iodepth=32 --rw=read \
> --name=SeqQ32T1write --bs=128k --iodepth=32 --rw=write \
> --name=4kQ8T8read --bs=4k --iodepth=8 --numjobs=8 --rw=randread \
> --name=4kQ8T8write --bs=4k --iodepth=8 --numjobs=8 --rw=randwrite \
> --name=4kQ32T1read --bs=4k --iodepth=32 --rw=randread \
> --name=4kQ32T1write --bs=4k --iodepth=32 --rw=randwrite \
> --name=4kQ1T1read --bs=4k --iodepth=1 --rw=randread \
> --name=4kQ1T1write --bs=4k --iodepth=1 --rw=randwrite