Sparkの実行モードはStand Aloneモード、Master, Workerのデータ・ログはSSD領域を使用する設定で動作させます。
spark_on_abci.sh
は、ABCIで実行されるジョブの中でSparkの実行準備、終了処理を行う関数群を定義したファイル。
Sparkを使用するためには、そのファイルをジョブスクリプト内やシェル上で読み込みます。
Spark付属のPI計算のサンプルプログラムを実行する例。
ABCIの計算ノードにはNVIDIA DCGMが導入されています。 それを用いることで、ジョブ実行中のGPU利用統計情報を取得することができます。
以下のような情報を取得できます。 この例では1計算ノード上の1GPUの利用統計のみを表示しています。
+------------------------------------------------------------------------------+