Volumes

• Local Path 볼륨은 NVMe 스토리지를 제공하고 있습니다. NVMe는 특정 호스트에 물리적으로 직결된 스토리지로, GPU 인스턴스에 직접 할당해 사용됩니다.
• GPU 인스턴스의 Failover 또는 호스트 마이그레이션으로 다른 호스트로 이동할 경우, 기존 호스트에 연결된 NVMe 스토리지는 자동으로 함께 이동하지 않습니다. 그로 인해 다른 호스트로 이동한 GPU 인스턴스에서 기존 NVMe 데이터에 접근할 수 없습니다.
• 따라서 장기 보존이 필요한 데이터는 Data Manager나 NCloud Storage, Object Storage를 사용해 주시기 바랍니다.

• 현재 ML expert Platform에서는 NVMe 기반의 Local Path 볼륨과 DDN 기반의 고성능 스토리지를 제공합니다.
• Local Path 볼륨은 GPU 노드에 직접 마운트된 볼륨으로 용량 관리도 사용자가 직접 진행합니다. df -k 명령어를 사용해 파일 시스템 용량을 확인하시고, 전체 용량의 80% 미만으로 사용하시기 바랍니다.
• Local Path 볼륨을 전체 노드에 할당된 디스크 크기만큼 모두 사용하는 경우 Pod가 kubernetes 기본동작에 의해 eviction 될 수 있습니다.
• DDN 볼륨은 사전 협의된 용량을 제공합니다. 여러 프로젝트에서 사용중인 DDN 용량의 총 합은 Workspace 단위로 사전 협의된 용량을 초과할 수 없습니다.
• DDN 볼륨은 이미지의 UID/GID가 500으로 설정된 경우에만 접근할 수 있습니다.
• DDN 볼륨을 마운트하는 Pod의 securityContext에 fsGroup을 설정하지 마십시오. fsGroup이 설정되면 Kubernetes가 마운트된 볼륨 내 모든 파일의 소유권을 재귀적으로 변경하며, 대용량 데이터가 저장된 고성능 스토리지의 경우 Pod 초기화 시간이 극단적으로 길어질 수 있습니다.
• 사용 가능한 storageClass를 조회할 때는 다음 명령어를 사용합니다.

$ kubectl -n {project namespace} resourcequota
{resourcequota name} ... exa-h100-0.storageclass.storage.k8s.io/requests.storage: 0/300Ti

Local Path 볼륨(NVMe)과 DDN 볼륨은 다음과 같은 특징을 가지고 있습니다.

• Local Path 볼륨 : ReadWriteOnce 모드를 지원합니다. 특정 Host에 귀속되는 스토리지로 다른 Host에서 읽거나 쓸 수 없으며, 같은 Host 에서도 동시 읽기/쓰기가 불가능합니다. 하지만, 다른 어떤 스토리지보다 가장 빠른 속도로 읽기/쓰기가 가능합니다.
• DDN 볼륨 : ReadWriteOnce, ReadWriteMany 모드를 모두 지원합니다. 원격 서버에 있는 스토리지로 서로 다른 Host에서 고속으로 동시 읽기/쓰기가 가능합니다. 하지만, 로컬 스토리지보다는 느릴 수 밖에 없으며 전체 노드에서 읽기/쓰기가 동시에 일어날 경우, 속도 저하가 발생 될 수 있습니다.

• 생성 완료 후 상태가 Unavailable로 표시되는 것은 정상입니다. 해당 Volume을 어떤 노드에 배정할지 지정해야 합니다. 특정 노드에 배정되는 즉시 상태가 변경됩니다.
• kubectl describe pvc <pvc-name> 명령어를 사용하거나, Volume 상세보기 화면의 Event 탭에서"Waiting for first consumer to be created before binding" 라는 메시지를 볼 수 있습니다.