5.3. ローカルストレージ[GPUシステム]
ローカルストレージの概要#
GPUシステムでは、サーバ本体に搭載されたローカルの高速ストレージ(NVMe SSD)を一時領域(ワーク領域)として利用できます。ワーク領域を利用することで、小サイズのI/Oが大量に発生するジョブを高速化することが可能です。
ワーク領域はジョブ実行開始時に作成され、ジョブ終了時に削除されます。そのため、ユーザーはジョブ開始後にワーク領域に必要なファイルをコピーし、処理の実行後、ジョブ終了前にこのローカル領域からホーム領域に必要なデータを退避する必要があります。
ジョブ実行開始前に作成されるワーク領域のパスは以下の通りです。パス名はジョブIDをベースに作成されます。利用可能なサイズはGPUあたり512GBであり、8GPU使用時に最大で4TBです。
/work/[ジョブIDベースの数字]
ローカルストレージ利用時の注意事項
利用可能なサイズを超えてファイルを作成することはできません。
ローカルストレージの利用方法#
ローカルストレージを利用するには、ジョブスクリプト内またはインタラクティブジョブ実行中にgpuworkdir
コマンドを実行し、ワーク領域のパスを取得してください。取得したワーク領域のパスに対し、ファイルのコピーおよびファイルに対する処理を実行してください。
以下にワーク領域を利用するジョブスクリプトの記述例を示します。
#!/bin/bash #PJM -L "gpu=1" #PJM -L "rscunit=rscunit_pg02" #PJM -L "rscgrp=gpu-small" #PJM -N "useworkjob" WORKPATH=$(/fefs1/app/gpu/common/gpuworkdir) # ワーク領域のパスを取得 cp -r ~/datadir $WORKPATH/ # ワーク領域にデータをコピー ./a.out $WORKPATH/datadir # プログラム a.out でワーク領域のデータを処理 cp -r $WORKPATH/datadir/resultdir ~/ # 演算結果をホーム領域に退避
ワーク領域に関する注意事項
ワーク領域はGPUシステムのみ利用可能です。Armシステムおよびx86システムで上記のジョブスクリプトを実行した場合、ワーク領域にアクセスできず、データのコピーがエラーとなります。