stakizawa

ABCI計算ノード上でDCGMを用いてGPU利用統計を取得

ABCIの計算ノードにはNVIDIA DCGMが導入されています。 それを用いることで、ジョブ実行中のGPU利用統計情報を取得することができます。

以下のような情報を取得できます。 この例では1計算ノード上の1GPUの利用統計のみを表示しています。

+------------------------------------------------------------------------------+

stakizawa

ABCI上でSpark 2.4.0を実行する方法

Sparkの実行モードはStand Aloneモード、Master, Workerのデータ・ログはSSD領域を使用する設定で動作させます。

spark_on_abci.shは、ABCIで実行されるジョブの中でSparkの実行準備、終了処理を行う関数群を定義したファイル。 Sparkを使用するためには、そのファイルをジョブスクリプト内やシェル上で読み込みます。

バッチジョブとして使用する場合

Spark付属のPI計算のサンプルプログラムを実行する例。