Skip to content

Instantly share code, notes, and snippets.

@mwrnd

mwrnd/benchmark_results_RX570_ROCm2.8.13

Last active October 23, 2019 20:21
Show Gist options
  • Star 0 You must be signed in to star a gist
  • Fork 0 You must be signed in to fork a gist
  • Save mwrnd/430a96e5d3f3cfb20aa2fa1f60644416 to your computer and use it in GitHub Desktop.
Save mwrnd/430a96e5d3f3cfb20aa2fa1f60644416 to your computer and use it in GitHub Desktop.
Download ZIP
AMD Radeon RX 570 Tensorflow benchmarking results with ROCm 2.8.13
Raw
benchmark_results_RX570_ROCm2.8.13
Video Card: AMD Radeon RX 570 8GB OC (rocm-smi -v VBIOS version: 113V34122-F3)
Motherboard: MSI X570-A Pro with 32GB DDR4-3000 BIOS H.40
Processor: AMD Ryzen 5 3600X
OS: Ubuntu 18.04.2 no apt dist-upgrade
Kernel: 4.18.0-15-generic
rocm-dkms: 2.8.13 installed through apt
tensorflow-rocm: 1.14.2 installed through pip
tensorflow benchmarks: abb1aec2f2db4ba73fac2e1359227aef59b10258
https://codeload.github.com/tensorflow/benchmarks/zip/abb1aec2f2db4ba73fac2e1359227aef59b10258
tensorflow_models: 1.13.0
https://codeload.github.com/tensorflow/models/zip/v1.13.0
X means XLA was enabled
export TF_XLA_FLAGS=--tf_xla_cpu_global_jit
R means ROCm Fusion was enabled
export TF_ROCM_FUSION_ENABLE=1
CU means MIOpen 36 Compute Unit optimations were used with this 32CU video card:
sudo cp /opt/rocm/miopen/share/miopen/db/gfx803_36.cd.pdb.txt /opt/rocm/miopen/share/miopen/db/gfx803_32.cd.pdb.txt
sudo cp /opt/rocm/miopen/share/miopen/db/gfx803_36.HIP.fdb.txt /opt/rocm/miopen/share/miopen/db/gfx803_32.HIP.fdb.txt
sudo cp /opt/rocm/miopen/share/miopen/db/gfx803_36.OpenCL.fdb.txt /opt/rocm/miopen/share/miopen/db/gfx803_32.OpenCL.fdb.txt
na means the benchmark did not run or could not due to batch size being too large
Notes: - trivial and official_ncf models have nnnR/nnnXR mistaken for nnnCU; some manual editing was needed
- averages and medians were calculated using LibreOffice Calc
==== images/sec results for various device, dataset, and model combinations ====
CPU
cifar10
model batchsize=016 016CU 016R 016XR 016XRCU 032 032CU 032XR 032XRCU 064 064CU 064XR 064XRCU 128 128CU 128XR 128XRCU 256 256CU 256XR 256XRCU
trivial 17997 na na na na 32657 na 29370 na 48701 na 48277 na 63669 na 60794 na 73933 na 74017 na
CPU
imagenet
model batchsize=016 016CU 016R 016XR 016XRCU 032 032CU 032XR 032XRCU 064 064CU 064XR 064XRCU 128 128CU 128XR 128XRCU 256 256CU 256XR 256XRCU
mobilenet 164 na na na na 188 na 188 na 201 na 201 na 207 na 207 na 211 na 210 na
official_ncf 182 na na 182 na 363 na 364 na 723 na 727 na 1451 na 1453 na 2896 na 2892 na
trivial 1652 na na na na 2203 na 2193 na 2802 na 2809 na 4458 na 4461 na 5202 na 5222 na
GPU
cifar10
model batchsize=016 016CU 016R 016XR 016XRCU 032 032CU 032XR 032XRCU 064 064CU 064XR 064XRCU 128 128CU 128XR 128XRCU 256 256CU 256XR 256XRCU
alexnet 2605 2603 na na na 4118 4126 na 4099 5650 5650 na 5564 6875 6858 na 6881 7415 7739 na 7756
nasnet 40.3 39.3 na na 41.1 48.0 45.8 na 46.7 52.9 51.9 na 51.0 93.6 52.6 na 52.7 na na na na
resnet110 268 266 na na na 407 406 na 448 544 542 na 604 640 639 na 667 669 670 na 685
resnet110_v2 268 268 na na 299 409 407 na 456 541 545 na 611 643 639 na 644 665 667 na 648
resnet20 1338 1345 na na 1410 2056 2067 na 2224 2752 2751 na 2980 3278 3272 na 3373 3459 3467 na 3532
resnet20_v2 1341 1313 na na 1442 2013 2021 na 2219 2684 2694 na 3000 3202 3189 na 3251 3390 3394 na 3346
resnet32 872 865 na na 919 1343 1340 na 1445 1792 1790 na 1962 2111 2115 na 2190 2227 2230 na 2278
resnet32_v2 871 861 na na 958 1321 1337 na 1476 1765 1767 na 1969 2083 2084 na 2121 2199 2202 na 2156
resnet44 654 654 na na 690 994 989 na 1074 1321 1321 na 1452 1559 1558 na 1621 1642 1640 na 1681
resnet44_v2 653 651 na na 713 990 984 na 1100 1311 1316 na 1463 1545 1543 na 1573 1622 1622 na 1593
resnet56 518 516 na na 551 785 788 na 860 1050 1049 na 1159 1239 1239 na 1285 1296 1297 na 1327
resnet56_v2 520 517 na na 574 780 781 na 878 1046 1046 na 1164 1226 1228 na 1247 1287 1291 na 1260
trivial 6429 6426 na na na 12472 12350 na na 22757 23317 na na 42554 42425 na na 71642 70386 na na
GPU
coco
model batchsize=016 016CU 016R 016XR 016XRCU 032 032CU 032XR 032XRCU 064 064CU 064XR 064XRCU 128 128CU 128XR 128XRCU 256 256CU 256XR 256XRCU
ssd300 13.9 14.4 na na na 14.7 14.8 na 15.0 14.9 15.0 na 15.2 na na na na na na na na
GPU
imagenet
model batchsize=016 016CU 016R 016XR 016XRCU 032 032CU 032XR 032XRCU 064 064CU 064XR 064XRCU 128 128CU 128XR 128XRCU 256 256CU 256XR 256XRCU
alexnet 193 201 na na 203 258 280 na 270 311 343 na 344 340 380 na 381 355 396 na 390
googlenet 121 119 na na 121 136 136 na 136 143 144 na 144 145 144 na 144 132 140 na 143
inception3 22.3 22.4 na na 23.4 23.0 23.5 na 24.1 23.7 24.1 na 24.7 na na na na na na na na
inception4 10.7 10.5 na na na 10.9 11.0 na 11.2 na na na na na na na na na na na na
lenet5 3706 3738 na na na 6212 6097 na 6294 10154 9503 na 9752 14438 13263 na 13289 17627 16382 na 16272
mobilenet 255 251 na na 258 316 322 na 332 359 362 na 365 361 385 na 367 388 392 na 399
nasnet 7.9 7.3 na na 8.0 8.6 8.2 na 7.7 8.1 8.4 na 8.3 8.8 8.0 na 8.3 na na na na
official_ncf 1336 1336 na na na 2628 2650 na na 5294 5280 na na 10504 10384 na na 20786 20419 na na
overfeat 56.2 56.4 na na na 74.0 74.0 na 74.1 87.3 87.3 na 87.2 94.9 95.1 na 95.0 98.5 97.9 na 97.9
resnet101 25.4 25.2 na na 26.6 28.7 28.9 na 30.1 na na na na na na na na na na na na
resnet101_v2 25.5 25.7 na na na 28.9 29.1 na 30.6 30.4 30.7 na 32.3 na na na na na na na na
resnet152 17.8 17.9 na na na 20.0 20.1 na 20.9 na na na na na na na na na na na na
resnet152_v2 17.9 18.0 na na na 20.1 20.2 na 21.2 na na na na na na na na na na na na
resnet50 44.9 44.8 na na na 49.7 50.0 na 52.3 51.7 52.5 na 55.1 na na na na na na na na
resnet50_v1.5 41.4 41.2 na na na 45.3 45.6 na 47.4 48.4 49.2 na 51.7 na na na na na na na na
resnet50_v2 45.2 45.2 na na na 50.4 50.6 na 53.5 52.5 53.1 na 56.2 na na na na na na na na
trivial 3456 na na na na 6517 6568 na na 12149 11984 na na 19495 19243 na na 26759 26603 na na
vgg11 33.3 33.3 na na 33.1 37.6 37.6 na 37.6 40.0 39.8 na 39.7 41.1 41.1 na 41.1 na na na na
vgg16 17.0 17.0 na na na 18.2 18.2 na 18.2 18.9 18.9 na 18.9 na na na na na na na na
vgg19 13.7 13.7 na na na 14.7 14.7 na 14.7 15.2 15.2 na 15.2 na na na na na na na na
==== Percentage Gains Relative to Baseline (runs with no flags set) ====
CPU
cifar10
model batchsize=016 016CU 016R 016XR 016XRCU 032 032CU 032XR 032XRCU 064 064CU 064XR 064XRCU 128 128CU 128XR 128XRCU 256 256CU 256XR 256XRCU
trivial 0.00 na na na na 0.00 na -10.07 na 0.00 na -0.87 na 0.00 na -4.52 na 0.00 na 0.11 na
imagenet
model batchsize=016 016CU 016R 016XR 016XRCU 032 032CU 032XR 032XRCU 064 064CU 064XR 064XRCU 128 128CU 128XR 128XRCU 256 256CU 256XR 256XRCU
mobilenet 0.00 na na na na 0.00 na 0.00 na 0.00 na 0.00 na 0.00 na 0.00 na 0.00 na -0.47 na
official_ncf 0.00 na na 0.00 na 0.00 na 0.28 na 0.00 na 0.55 na 0.00 na 0.14 na 0.00 na -0.14 na
trivial 0.00 na na na na 0.00 na -0.45 na 0.00 na 0.25 na 0.00 na 0.07 na 0.00 na 0.38 na
GPU
cifar10
model batchsize=016 016CU 016R 016XR 016XRCU 032 032CU 032XR 032XRCU 064 064CU 064XR 064XRCU 128 128CU 128XR 128XRCU 256 256CU 256XR 256XRCU
alexnet 0.00 -0.08 na na na 0.00 0.19 na -0.46 0.00 0.00 na -1.52 0.00 -0.25 na 0.09 0.00 4.37 na 4.60
nasnet 0.00 -2.48 na na 1.99 0.00 -4.58 na -2.71 0.00 -1.89 na -3.59 0.00 -43.80 na -43.70 na na na na
resnet110 0.00 -0.75 na na na 0.00 -0.25 na 10.07 0.00 -0.37 na 11.03 0.00 -0.16 na 4.22 0.00 0.15 na 2.39
resnet110_v2 0.00 0.00 na na 11.57 0.00 -0.49 na 11.49 0.00 0.74 na 12.94 0.00 -0.62 na 0.16 0.00 0.30 na -2.56
resnet20 0.00 0.52 na na 5.38 0.00 0.54 na 8.17 0.00 -0.04 na 8.28 0.00 -0.18 na 2.90 0.00 0.23 na 2.11
resnet20_v2 0.00 -2.09 na na 7.53 0.00 0.40 na 10.23 0.00 0.37 na 11.77 0.00 -0.41 na 1.53 0.00 0.12 na -1.30
resnet32 0.00 -0.80 na na 5.39 0.00 -0.22 na 7.59 0.00 -0.11 na 9.49 0.00 0.19 na 3.74 0.00 0.13 na 2.29
resnet32_v2 0.00 -1.15 na na 9.99 0.00 1.21 na 11.73 0.00 0.11 na 11.56 0.00 0.05 na 1.82 0.00 0.14 na -1.96
resnet44 0.00 0.00 na na 5.50 0.00 -0.50 na 8.05 0.00 0.00 na 9.92 0.00 -0.06 na 3.98 0.00 -0.12 na 2.38
resnet44_v2 0.00 -0.31 na na 9.19 0.00 -0.61 na 11.11 0.00 0.38 na 11.59 0.00 -0.13 na 1.81 0.00 0.00 na -1.79
resnet56 0.00 -0.39 na na 6.37 0.00 0.38 na 9.55 0.00 -0.10 na 10.38 0.00 0.00 na 3.71 0.00 0.08 na 2.39
resnet56_v2 0.00 -0.58 na na 10.38 0.00 0.13 na 12.56 0.00 0.00 na 11.28 0.00 0.16 na 1.71 0.00 0.31 na -2.10
trivial 0.00 -0.05 na na na 0.00 -0.98 na na 0.00 2.46 na na 0.00 -0.30 na na 0.00 -1.75 na na
Average Gain -0.89% +7.33% -0.32% +8.12% -0.08% +8.60% -3.77% -1.50% +0.52% +0.59%
Median Gain (no na) -0.75% +6.95% -0.05% +9.81% +0.00% +10.71% -0.15% +1.82% +0.14% +2.11%
coco
model batchsize=016 016CU 016R 016XR 016XRCU 032 032CU 032XR 032XRCU 064 064CU 064XR 064XRCU 128 128CU 128XR 128XRCU 256 256CU 256XR 256XRCU
ssd300 0.00 3.60 na na na 0.00 0.68 na 2.04 0.00 0.67 na 2.01 na na na na na na na na
imagenet
model batchsize=016 016CU 016R 016XR 016XRCU 032 032CU 032XR 032XRCU 064 064CU 064XR 064XRCU 128 128CU 128XR 128XRCU 256 256CU 256XR 256XRCU
alexnet 0.00 4.15 na na 5.18 0.00 8.53 na 4.65 0.00 10.29 na 10.61 0.00 11.76 na 12.06 0.00 11.55 na 9.86
googlenet 0.00 -1.65 na na 0.00 0.00 0.00 na 0.00 0.00 0.70 na 0.70 0.00 -0.69 na -0.69 0.00 6.06 na 8.33
inception3 0.00 0.45 na na 4.93 0.00 2.17 na 4.78 0.00 1.69 na 4.22 na na na na na na na na
inception4 0.00 -1.87 na na na 0.00 0.92 na 2.75 na na na na na na na na na na na na
lenet5 0.00 0.86 na na na 0.00 -1.85 na 1.32 0.00 -6.41 na -3.96 0.00 -8.14 na -7.96 0.00 -7.06 na -7.69
mobilenet 0.00 -1.57 na na 1.18 0.00 1.90 na 5.06 0.00 0.84 na 1.67 0.00 6.65 na 1.66 0.00 1.03 na 2.84
nasnet 0.00 -7.59 na na 1.27 0.00 -4.65 na -10.47 0.00 3.70 na 2.47 0.00 -9.09 na -5.68 na na na na
official_ncf 0.00 0.00 na na na 0.00 0.84 na na 0.00 -0.26 na 0.00 -1.14 na na na 0.00 -1.77 na na
overfeat 0.00 0.36 na na na 0.00 0.00 na 0.14 0.00 0.00 na -0.11 0.00 0.21 na 0.11 0.00 -0.61 na -0.61
resnet101 0.00 -0.79 na na 4.72 0.00 0.70 na 4.88 na na na na na na na na na na na na
resnet101_v2 0.00 0.78 na na na 0.00 0.69 na 5.88 0.00 0.99 na 6.25 na na na na na na na na
resnet152 0.00 0.56 na na na 0.00 0.50 na 4.50 na na na na na na na na na na na na
resnet152_v2 0.00 0.56 na na na 0.00 0.50 na 5.47 na na na na na na na na na na na na
resnet50 0.00 -0.22 na na na 0.00 0.60 na 5.23 0.00 1.55 na 6.58 na na na na na na na na
resnet50_v1.5 0.00 -0.48 na na na 0.00 0.66 na 4.64 0.00 1.65 na 6.82 na na na na na na na na
resnet50_v2 0.00 0.00 na na na 0.00 0.40 na 6.15 0.00 1.14 na 7.05 na na na na na na na na
trivial 0.00 na na na na 0.00 0.78 na na 0.00 -1.36 na na 0.00 -1.29 na na 0.00 -0.58 na na
vgg11 0.00 0.00 na na -0.60 0.00 0.00 na 0.00 0.00 -0.50 na -0.75 0.00 0.00 na 0.00 na na na na
vgg16 0.00 0.00 na na na 0.00 0.00 na 0.00 0.00 0.00 na 0.00 na na na na na na na na
vgg19 0.00 0.00 na na na 0.00 0.00 na 0.00 0.00 0.00 na 0.00 na na na na na na na na
Average Gain -0.34% +2.38% +0.63% +2.50% +0.88% +2.97% -0.19% -0.08% +1.23% +2.55%
Median Gain (no na) +0.00% +1.27% +0.55% +4.57% +0.77% +2.07% -0.69% +0.00% -0.58% +2.84%
==== Results of a run of benchmarks with --compute_lr_on_cpu enabled ====
imagenet dataset total images/sec:
python tf_cnn_benchmarks.py --device=GPU --num_gpus=1 --compute_lr_on_cpu \
--batch_size={32,64,128} --num_batches=40 --model={model} --data_name=imagenet
model batchsize=32 32XR 32XRCU 64 64XR 64XRCU 128 128XR 128XRCU
trivial 6932 6605 6770 11413 12032 11353 19437 19221 19422
alexnet 256 249 270 310 312 344 340 341 381
googlenet 136 135 136 142 143 144 145 145 144
inception3 23.0 23.5 24.1 23.7 24.2 24.7 na na na
inception4 10.5 11.1 11.2 na na na na na na
lenet 6096 5827 6198 10037 9069 9654 13078 12800 13380
mobilenet 318 325 325 350 361 364 370 372 394
nasnet 8.0 8.6 8.4 8.6 8.1 8.6 8.5 9.3 8.1
ncf 2692 2665 2629 5230 5195 5279 10432 10420 10548
overfeat 74.0 74.1 74.1 87.3 87.4 87.3 94.9 94.9 95.0
resnet101 28.7 29.8 30.1 na na na na na na
resnet101_v2 28.9 30.4 30.6 30.4 32.0 32.3 na na na
resnet152 20.0 20.8 21.0 na na na na na na
resnet152_v2 20.1 21.1 21.3 na na na na na na
resnet50 49.8 51.9 52.4 51.9 54.5 55.2 na na na
resnet50_v1.5 45.3 47.5 47.6 48.4 50.8 51.8 na na na
resnet50_v2 50.4 53.2 53.5 52.5 55.6 56.3 na na na
vgg11 37.5 37.6 37.6 39.8 40.0 39.8 41.2 41.1 41.2
vgg16 18.2 18.2 18.2 18.9 18.8 18.9 na na na
vgg19 14.7 14.7 14.7 15.2 15.2 15.2 na na na
ssd300/coco 14.7 14.9 15.0 14.9 15.2 15.1 na na na
Average Gain +1.8% +2.9% +0.9% +2.2% +0.3% +0.8%
Median Gain +2.1% +4.8% +0.5% +0.0% +0.0% +0.0%
cifar10 dataset total images/sec:
python tf_cnn_benchmarks.py --device=GPU --num_gpus=1 --compute_lr_on_cpu \
--batch_size={32,64,128} --num_batches=40 --model={model} --data_name=cifar10
model batchsize=32 32XR 32XRCU 64 64XR 64XRCU 128 128XR 128XRCU
trivial 13883 13926 13602 28210 25039 24818 46708 42483 42419
alexnet 4102 4000 4210 5669 5620 5629 6608 6822 6899
nasnet 47.1 47.0 49.5 51.3 52.2 51.3 48.4 53.7 53.4
resnet110 408 448 448 544 605 606 644 667 667
resnet110_v2 409 460 460 545 610 611 637 645 646
resnet20 2122 2270 2285 2803 3057 3045 3314 3406 3409
resnet20_v2 2092 2309 2311 2753 3055 3058 3237 3288 3292
resnet32 1358 1477 1474 1807 1981 1981 2136 2205 2204
resnet32_v2 1357 1514 1511 1788 1991 1991 2100 2134 2133
resnet44 1001 1095 1091 1330 1472 1467 1566 1628 1628
resnet44_v2 999 1116 1116 1322 1478 1481 1560 1578 1579
resnet56 791 864 862 1056 1168 1166 1248 1289 1291
resnet56_v2 791 885 886 1050 1175 1176 1240 1250 1252
Average Gain +6.2% +6.7% +6.2% +6.0% +1.8% +1.8%
Median Gain +9.0% +8.8% +10 +10% +1.6% +1.6%
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment