"Но я уже умею ставить дрова видеокарты себе на комп": на машинах с 8x A100 используется хитрая виртуализация GPU, простые способы установить на них nvidia-driver обычно не работают или работают нестабильно.
до установки важно поставить сделать sudo apt update и чтобы update закончился без ошибок. Если видишь ошибки - исправляй ошибки, пока update не завершится успешно.
Проверьте sudo apt list nvidia-driver* nvidia-fabricmanager* nvidia-fabricmanager-dev* libnvidia-nscq*
Эта команда должна вывести в списке свежие версии nvidia-driver и nvidia-fabricmanager. Нужная вам версия должна совпадать у driver и fabricmanager хотя бы до первых трёх чисел. Например, эти версии совпадают:
nvidia-driver-530/unknown,now 530.30.02-0ubuntu1 amd64