NCCL Tests on 2 node p3dn.24xlarge + EFA - all_reduce_perf -b 8 -e 1G -f 2 -g 1 -c 1 -n 100

gistfile1.txt

#
#                                                     out-of-place                       in-place
#       size         count    type   redop     time   algbw   busbw  error     time   algbw   busbw  error
#        (B)    (elements)                     (us)  (GB/s)  (GB/s)            (us)  (GB/s)  (GB/s)
           8             2   float     sum    163.4    0.00    0.00  2e-07    164.4    0.00    0.00  1e-07
          16             4   float     sum    162.9    0.00    0.00  1e-07    162.3    0.00    0.00  1e-07
          32             8   float     sum    164.1    0.00    0.00  1e-07    164.0    0.00    0.00  1e-07
          64            16   float     sum    163.6    0.00    0.00  1e-07    163.3    0.00    0.00  1e-07
         128            32   float     sum    164.1    0.00    0.00  1e-07    161.6    0.00    0.00  1e-07
         256            64   float     sum    162.5    0.00    0.00  1e-07    163.0    0.00    0.00  1e-07
         512           128   float     sum    162.8    0.00    0.01  1e-07    163.7    0.00    0.01  1e-07
        1024           256   float     sum    166.5    0.01    0.01  2e-07    163.3    0.01    0.01  2e-07
        2048           512   float     sum    166.6    0.01    0.02  5e-07    167.0    0.01    0.02  5e-07
        4096          1024   float     sum    168.3    0.02    0.05  5e-07    168.9    0.02    0.05  5e-07
        8192          2048   float     sum    171.9    0.05    0.09  5e-07    172.2    0.05    0.09  5e-07
       16384          4096   float     sum    174.9    0.09    0.18  5e-07    178.6    0.09    0.17  5e-07
       32768          8192   float     sum    184.8    0.18    0.33  5e-07    185.3    0.18    0.33  5e-07
       65536         16384   float     sum    196.0    0.33    0.63  5e-07    193.7    0.34    0.63  5e-07
      131072         32768   float     sum    218.2    0.60    1.13  5e-07    219.0    0.60    1.12  5e-07
      262144         65536   float     sum    271.2    0.97    1.81  5e-07    272.5    0.96    1.80  5e-07
      524288        131072   float     sum    325.6    1.61    3.02  5e-07    319.8    1.64    3.07  5e-07
     1048576        262144   float     sum    728.0    1.44    2.70  5e-07    729.5    1.44    2.70  5e-07
     2097152        524288   float     sum   1121.1    1.87    3.51  5e-07   1107.9    1.89    3.55  5e-07
     4194304       1048576   float     sum   2092.1    2.00    3.76  5e-07   2107.1    1.99    3.73  5e-07
     8388608       2097152   float     sum   3006.8    2.79    5.23  5e-07   2996.1    2.80    5.25  5e-07
    16777216       4194304   float     sum   4572.3    3.67    6.88  5e-07   4575.0    3.67    6.88  5e-07
    33554432       8388608   float     sum   9453.7    3.55    6.66  5e-07   9399.5    3.57    6.69  5e-07
    67108864      16777216   float     sum    18070    3.71    6.96  5e-07    18256    3.68    6.89  5e-07
   134217728      33554432   float     sum    32258    4.16    7.80  5e-07    32298    4.16    7.79  5e-07
   268435456      67108864   float     sum    55341    4.85    9.09  5e-07    55469    4.84    9.07  5e-07
   536870912     134217728   float     sum   107602    4.99    9.36  5e-07   107709    4.98    9.35  5e-07
  1073741824     268435456   float     sum   211943    5.07    9.50  5e-07   212070    5.06    9.49  5e-07
# Out of bounds values : 0 OK
# Avg bus bandwidth    : 2.81129
#