Skip to content

Instantly share code, notes, and snippets.

@Moelf

Moelf/A.md

Last active October 24, 2022 02:39
Show Gist options
  • Star 0 You must be signed in to star a gist
  • Fork 0 You must be signed in to fork a gist
  • Save Moelf/b31b3cb576ca19d7ca72f5d306bb761b to your computer and use it in GitHub Desktop.
Save Moelf/b31b3cb576ca19d7ca72f5d306bb761b to your computer and use it in GitHub Desktop.
Download ZIP
Limit test af.uchicago.edu Condor's scaling for analysis workload (I/O intense)
Raw
A.md

30 workers

julia> nworkers()
30

julia> pmap((x)->gethostname(), workers()) |> unique |> length
25

julia> res = @time WVZAnalysis.hist_root_pmap("Signal");
[ Info: -------------- Signal SF begin ------------ 
33 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:00:05
[ Info: -------------- Signal shapes begin ------------ 
3102 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:01:18
 85.495642 seconds (6.84 M allocations: 713.124 MiB, 0.14% gc time, 0.04% compilation time)
 
 julia> res = @time WVZAnalysis.hist_root_pmap("ZZ");
[ Info: -------------- ZZ SF begin ------------ 
46 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:02:56
[ Info: -------------- ZZ shapes begin ------------ 
48598 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:36:42
2379.047362 seconds (20.98 M allocations: 1.575 GiB, 0.07% gc time)

60 workers

julia> nworkers()
60

julia> pmap((x)->gethostname(), workers()) |> unique |> length
25

julia> res = @time WVZAnalysis.hist_root_pmap("Signal");
nworkers() = 60
[ Info: -------------- Signal SF begin ------------ 
33 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:00:09
[ Info: -------------- Signal shapes begin ------------ 
3102 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:00:42
 52.628544 seconds (6.85 M allocations: 509.859 MiB, 0.17% gc time, 0.01% compilation time)

julia> res = @time WVZAnalysis.hist_root_pmap("ZZ");
nworkers() = 60
[ Info: -------------- ZZ SF begin ------------ 
46 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:02:10
[ Info: -------------- ZZ shapes begin ------------ 
48598 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:18:04
1215.832990 seconds (20.84 M allocations: 1.564 GiB, 0.10% gc time)

120 workers

julia> res = @time WVZAnalysis.hist_root_pmap("ZZ");
nworkers() = 120
[ Info: -------------- ZZ SF begin ------------ 
46 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:02:11
[ Info: -------------- ZZ shapes begin ------------ 
48598 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:09:46
720.820790 seconds (29.52 M allocations: 2.006 GiB, 0.17% gc time, 0.57% compilation time: 2% of which was recompilation)

500 workers

julia> res = @time WVZAnalysis.hist_root_pmap("ZZ");
nworkers() = 500
[ Info: -------------- ZZ SF begin ------------ 
46 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:01:45
[ Info: -------------- ZZ shapes begin ------------ 
48598 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:05:57
463.756586 seconds (20.73 M allocations: 1.554 GiB, 0.14% gc time, 0.00% compilation time)
Raw
B.md

50 workers

julia> using WVZAnalysis

julia> using ClusterManagers, Distributed

julia> addprocs(HTCManager(50); exeflags = `-e 'include("/home/jiling/.julia-htc/init.jl")'`);
Waiting for 50 workers: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 .

julia> @everywhere using WVZAnalysis

julia> @time for t in WVZAnalysis.ALL_TAGS
           WVZAnalysis.hist_root_pmap(t)
       end;
nworkers() = 50
[ Info: -------------- Signal SF begin ------------ 
33 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:01:10
[ Info: -------------- Signal shapes begin ------------ 
3102 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:01:18
nworkers() = 50
[ Info: -------------- ZZ SF begin ------------ 
46 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:02:06
[ Info: -------------- ZZ shapes begin ------------ 
48598 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:20:36
nworkers() = 50
[ Info: -------------- Zjets SF begin ------------ 
350 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:00:42
[ Info: -------------- Zjets shapes begin ------------ 
90146 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:18:31
nworkers() = 50
[ Info: -------------- Zgamma SF begin ------------ 
40 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:00:00
[ Info: -------------- Zgamma shapes begin ------------ 
4136 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:00:19
nworkers() = 50
[ Info: -------------- ttbar SF begin ------------ 
46 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:00:08
[ Info: -------------- ttbar shapes begin ------------ 
9588 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:02:07
nworkers() = 50
[ Info: -------------- WZ SF begin ------------ 
28 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:01:01
[ Info: -------------- WZ shapes begin ------------ 
19270 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:05:42
nworkers() = 50
[ Info: -------------- tZ SF begin ------------ 
3 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:00:01
[ Info: -------------- tZ shapes begin ------------ 
470 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:00:03
nworkers() = 50
[ Info: -------------- ttZ SF begin ------------ 
30 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:00:19
[ Info: -------------- ttZ shapes begin ------------ 
5734 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:01:27
nworkers() = 50
[ Info: -------------- tWZ SF begin ------------ 
3 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:00:01
[ Info: -------------- tWZ shapes begin ------------ 
282 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:00:03
nworkers() = 50
[ Info: -------------- VBS SF begin ------------ 
18 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:00:13
[ Info: -------------- VBS shapes begin ------------ 
2914 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:00:57
nworkers() = 50
[ Info: -------------- VH SF begin ------------ 
6 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:00:00
[ Info: -------------- VH shapes begin ------------ 
564 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:00:01
nworkers() = 50
[ Info: -------------- Others SF begin ------------ 
165 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:00:12
[ Info: -------------- Others shapes begin ------------ 
22278 tasks in total
Progress: 100%|████████████████████████████████████████████████████████████████████| Time: 0:01:53
3563.345557 seconds (118.39 M allocations: 11.922 GiB, 0.10% gc time, 0.11% compilation time: 0% of which was recompilation)

100 workers

julia> @time foreach(WVZAnalysis.ALL_TAGS) do tag
           WVZAnalysis.hist_root_pmap(tag; output_dir=tempdir());
       end
nworkers() = 100
[ Info: -------------- Signal SF begin ------------
33 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:05
[ Info: -------------- Signal shapes begin ------------
3102 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:43
nworkers() = 100
[ Info: -------------- ZZ SF begin ------------
46 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:02:32
[ Info: -------------- ZZ shapes begin ------------
48598 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:14:48
nworkers() = 100
[ Info: -------------- Zjets SF begin ------------
350 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:29
[ Info: -------------- Zjets shapes begin ------------
90146 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:11:05
nworkers() = 100
[ Info: -------------- Zgamma SF begin ------------
40 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:00
[ Info: -------------- Zgamma shapes begin ------------
4136 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:10
nworkers() = 100
[ Info: -------------- ttbar SF begin ------------
46 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:07
[ Info: -------------- ttbar shapes begin ------------
9588 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:01:24
nworkers() = 100
[ Info: -------------- WZ SF begin ------------
28 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:01:03
[ Info: -------------- WZ shapes begin ------------
19270 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:04:01
nworkers() = 100
[ Info: -------------- tZ SF begin ------------
3 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:02
[ Info: -------------- tZ shapes begin ------------
470 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:02
nworkers() = 100
[ Info: -------------- ttZ SF begin ------------
30 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:16
[ Info: -------------- ttZ shapes begin ------------
5734 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:01:03
nworkers() = 100
[ Info: -------------- tWZ SF begin ------------
3 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:01
[ Info: -------------- tWZ shapes begin ------------
282 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:02
nworkers() = 100
[ Info: -------------- VBS SF begin ------------
18 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:14
[ Info: -------------- VBS shapes begin ------------
2914 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:45
nworkers() = 100
[ Info: -------------- VH SF begin ------------
6 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:00
[ Info: -------------- VH shapes begin ------------
564 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:00
nworkers() = 100
[ Info: -------------- Others SF begin ------------
165 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:10
[ Info: -------------- Others shapes begin ------------
22278 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:01:18
2446.682752 seconds (109.67 M allocations: 11.473 GiB, 0.14% gc time, 0.00% compilation time)

200 workers

julia> @time foreach(WVZAnalysis.ALL_TAGS) do tag
           WVZAnalysis.hist_root_pmap(tag; output_dir=tempdir());
       end
nworkers() = 200
[ Info: -------------- Signal SF begin ------------
33 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:10
[ Info: -------------- Signal shapes begin ------------
3102 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:24
nworkers() = 200
[ Info: -------------- ZZ SF begin ------------
46 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:02:44
[ Info: -------------- ZZ shapes begin ------------
48598 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:11:04
nworkers() = 200
[ Info: -------------- Zjets SF begin ------------
350 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:45
[ Info: -------------- Zjets shapes begin ------------
90146 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:09:17
nworkers() = 200
[ Info: -------------- Zgamma SF begin ------------
40 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:00
[ Info: -------------- Zgamma shapes begin ------------
4136 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:07
nworkers() = 200
[ Info: -------------- ttbar SF begin ------------
46 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:07
[ Info: -------------- ttbar shapes begin ------------
9588 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:01:23
nworkers() = 200
[ Info: -------------- WZ SF begin ------------
28 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:01:03
[ Info: -------------- WZ shapes begin ------------
19270 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:03:24
nworkers() = 200
[ Info: -------------- tZ SF begin ------------
3 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:01
[ Info: -------------- tZ shapes begin ------------
470 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:02
nworkers() = 200
[ Info: -------------- ttZ SF begin ------------
30 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:17
[ Info: -------------- ttZ shapes begin ------------
5734 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:47
nworkers() = 200
[ Info: -------------- tWZ SF begin ------------
3 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:01
[ Info: -------------- tWZ shapes begin ------------
282 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:02
nworkers() = 200
[ Info: -------------- VBS SF begin ------------
18 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:23
[ Info: -------------- VBS shapes begin ------------
2914 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:35
nworkers() = 200
[ Info: -------------- VH SF begin ------------
6 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:00
[ Info: -------------- VH shapes begin ------------
564 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:00
nworkers() = 200
[ Info: -------------- Others SF begin ------------
165 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:11
[ Info: -------------- Others shapes begin ------------
22278 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:54
2064.509298 seconds (109.68 M allocations: 11.473 GiB, 0.20% gc time, 0.00% compilation time)
Raw
C.md 
julia> res = @time hist_root_pmap("Signal"; output_dir=tempdir());
nworkers() = 100
[ Info: -------------- Signal SF + shapes ------------
3135 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:37
 37.778709 seconds (6.83 M allocations: 551.638 MiB, 0.21% gc time)

julia> rmprocs(91:100)
Task (done) @0x00007f97aa1d9430

julia> res = @time hist_root_pmap("Signal"; output_dir=tempdir());
nworkers() = 90
[ Info: -------------- Signal SF + shapes ------------
3135 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:38
 39.319555 seconds (6.83 M allocations: 551.703 MiB, 0.26% gc time)

julia> rmprocs(81:90)
Task (done) @0x00007f97b7b52400

julia> res = @time hist_root_pmap("Signal"; output_dir=tempdir());
nworkers() = 80
[ Info: -------------- Signal SF + shapes ------------
3135 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:41
 42.495940 seconds (6.83 M allocations: 551.812 MiB, 0.22% gc time)

julia> res = @time hist_root_pmap("Signal"; output_dir=tempdir());
nworkers() = 80
[ Info: -------------- Signal SF + shapes ------------
3135 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:39
 40.550822 seconds (6.83 M allocations: 551.701 MiB, 0.22% gc time)

julia> rmprocs(71:80)
Task (done) @0x00007f97a9ca6f80

julia> res = @time hist_root_pmap("Signal"; output_dir=tempdir());
nworkers() = 70
[ Info: -------------- Signal SF + shapes ------------
3135 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:45
 45.700606 seconds (6.83 M allocations: 551.790 MiB, 0.18% gc time)

julia> rmprocs(61:70)
Task (done) @0x00007f97a9ca7260

julia> res = @time hist_root_pmap("Signal"; output_dir=tempdir());
nworkers() = 60
[ Info: -------------- Signal SF + shapes ------------
3135 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:00:50
 51.472048 seconds (6.83 M allocations: 551.822 MiB, 0.16% gc time)
 julia> rmprocs(51:60)
Task (done) @0x00007f97b973b260

julia> res = @time hist_root_pmap("Signal"; output_dir=tempdir());
nworkers() = 50
[ Info: -------------- Signal SF + shapes ------------
3135 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:01:00
 60.970807 seconds (6.84 M allocations: 552.028 MiB, 0.15% gc time)

julia> rmprocs(41:50)
Task (done) @0x00007f97b7f2c8b0

julia> res = @time hist_root_pmap("Signal"; output_dir=tempdir());
nworkers() = 40
[ Info: -------------- Signal SF + shapes ------------
3135 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:01:11
 72.466968 seconds (6.84 M allocations: 552.113 MiB, 0.14% gc time)

julia> rmprocs(31:40)
Task (done) @0x00007f97a9ce9e40

julia> res = @time hist_root_pmap("Signal"; output_dir=tempdir());
nworkers() = 30
[ Info: -------------- Signal SF + shapes ------------
3135 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:01:36
 97.312939 seconds (6.84 M allocations: 552.212 MiB, 0.09% gc time)

julia> rmprocs(21:30)
Task (done) @0x00007f97a9ca76b0

julia> res = @time hist_root_pmap("Signal"; output_dir=tempdir());
nworkers() = 20
[ Info: -------------- Signal SF + shapes ------------
3135 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:02:25
145.741686 seconds (6.85 M allocations: 552.828 MiB, 0.07% gc time, 0.00% compilation time)

julia> rmprocs(last(workers(), 5))
Task (done) @0x00007f97aee33c70

julia> res = @time hist_root_pmap("Signal"; output_dir=tempdir());
nworkers() = 15
[ Info: -------------- Signal SF + shapes ------------
3135 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:03:02
183.233445 seconds (6.85 M allocations: 553.027 MiB, 0.07% gc time)

julia> rmprocs(last(workers(), 5))
Task (done) @0x00007f97aee33c70

julia> res = @time hist_root_pmap("Signal"; output_dir=tempdir());
nworkers() = 10
[ Info: -------------- Signal SF + shapes ------------
3135 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:04:23
263.663281 seconds (6.85 M allocations: 553.351 MiB, 0.04% gc time)
julia> rmprocs(last(workers(), 5))
Task (done) @0x00007f97a9ce9b60

julia> res = @time hist_root_pmap("Signal"; output_dir=tempdir());
nworkers() = 5
[ Info: -------------- Signal SF + shapes ------------
3135 tasks in total
Progress: 100%|███████████████████████████████████████████████| Time: 0:08:34
515.306920 seconds (6.87 M allocations: 554.138 MiB, 0.02% gc time)
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment