Volumes

• Local Pathボリュームは NVMeストレージを提供します。NVMeは特定のホストに物理的に直結されたストレージであり、GPUインスタンスに直接割り当てて使用されます。
• GPUインスタンスの Failoverまたはホストマイグレーションにより他のホストへ移動した場合、元のホストに接続されていた NVMeストレージは自動的に移動しません。そのため、他のホストに移動した GPUインスタンスから既存の NVMeデータにアクセスできません。
• したがって、長期保存が必要なデータは Data Managerや NCloud Storage、Object Storageをご利用ください。

• 現在、ML expert Platformでは NVMeベースの Local Pathボリュームと DDNベースの高性能ストレージを提供します。
• Local Pathボリュームは GPUノードに直接マウントされたボリュームであり、容量管理もユーザーが直接行います。df -kコマンドを使用してファイルシステムの容量を確認し、全体容量の80%未満でご利用ください。
• Local Pathボリュームをノードに割り当てられたディスク容量すべてを使用した場合、Podが kubernetesのデフォルト動作により evictionされる可能性があります。
• DDNボリュームは事前に合意された容量を提供します。複数のプロジェクトで使用されている DDN容量の合計は、Workspace単位で事前に合意された容量を超えることはできません。
• DDNボリュームは、イメージの UID/GIDが500に設定された場合のみアクセスできます。
• DDNボリュームをマウントする Podの securityContextに fsGroupを設定しないでください。fsGroupが設定されると、Kubernetesがマウントされたボリューム内のすべてのファイルの所有権を再帰的に変更します。そのため、大容量のデータが保存された高性能ストレージの場合は、Podの初期化時間が大幅に長くなる可能性があります。
• 使用可能な storageClassを照会する際は、以下のコマンドを使用します。

$ kubectl -n {project namespace} resourcequota
{resourcequota name} ... exa-h100-0.storageclass.storage.k8s.io/requests.storage: 0/300Ti

Local Pathボリューム(NVMe)と DDNボリュームには、以下のような特徴があります。

• Local Pathボリューム: ReadWriteOnceモードをサポートします。特定の Hostに紐づくストレージであり、他の Hostからは読み書きできず、同一 Host内でも同時の読み書きはできません。ただし、他のどのストレージよりも高速な読み書きが可能です。
• DDNボリューム: ReadWriteOnce、ReadWriteManyモードをすべてサポートします。遠隔サーバ上にあるストレージであり、異なる Host間で高速かつ同時に読み書きが可能です。ただし、ローカルストレージよりは遅く、ノード全体で読み書きが同時に行われる場合、速度低下が発生する可能性があります。

• 作成完了後、ステータスが Unavailableと表示されるのは正常です。当該 Volumeをどのノードに割り当てるかを指定します。特定ノードに割り当てられると同時にステータスは変更されます。
• kubectl describe pvc <pvc-name>コマンドを使用するか、Volumeの詳細画面の Eventタブで「Waiting for first consumer to be created before binding」というメッセージが確認できます。