Pipelines

Prev Next

VPC 환경에서 이용 가능합니다.

파이프라인은 워크플로우를 정의하는 컴포넌트들과, 그래프 형태로 표시된 각 컴포넌트간의 연관 관계를 의미합니다. 파이프라인은 파이프라인을 실행하기 위해 필요한 입력 파라미터와, 각 컴포넌트의 입/출력 정보를 포함하고 있습니다. 컴포넌트는 함수와 비슷합니다. 입력값을 전달하고 실행하면 출력 값을 생성합니다.

생성한 파이프라인 yaml 파일을 Pipelines 화면이나 Pipeline SDK를 이용해서 업로드하고 실행할 수 있습니다.

ML workflow는 데이터 전처리, 데이터 변환, 모델 학습등의 과정을 포함합니다. 컴포넌트는 이런 workflow의 한 Step을 실행하기 위한 코드의 집합을 의미하며, 일반적으로 컨테이너 형태로 실행됩니다.

mlxp_console_pipelines03_ko

영역 설명
Pipeline type
  • Create a new pipeline: 최초로 Pipeline 생성
  • Create a new pipeline version under an existing pepeline: 기존에 만들었던 Pipeline의 version 업데이트
Pipeline Name Pipeline의 이름 입력. Kubernetes의 naming pattern 규칙을 따라야 하므로, 알파벳 소문자, 숫자, -, . 만 허용
Pipeline Description Pipeline에 대한 설명 입력
Pipeline Source
  • Ubload file: 로컬 환경의 SDK에서 컴파일하여 생성한 Pipeline yaml 파일을 업로드
  • Import by url: 특정 url 주소로부터 Pipeline yaml 내용을 다운로드 받아서 Pipeline 생성
Source Code Pipeline을 어떻게, 어디서 만들었는지에 대한 소스 위치나 코드 설명 입력. Git 저장소 URL 또는 Jupyter Notebook의 내부 코드 경로 등을 의미함
주의
  • SDK 1.x 버전으로 생성한 Pipeline yaml의 업로드 및 정상적인 사용을 지원하지 않습니다.
  • MLXP에서는 Kubeflow Pipeline에서 기본으로 지원하는 minio Artifact 저장소를 사용할 수 없으므로 namespace 단위로 격리된 Artifact 저장소를 사용해야 합니다.

mlxp_console_pipelines01_ko

영역 설명
Pipeline name Pipeline의 이름
Version name Pipeline의 버전 이름
Description Pipeline에 대한 설명
Uploaded on Pipeline을 업로드한 시각

mlxp_console_pipelines02_ko

영역 설명
Create Run 새로운 Run을 실행하기 위한 설정 수행
Upload version 새로운 version의 Pipeline을 만들기 위한 설정 수행
Create experiment 새로운 Experiment를 만들기 위한 설정 수행
Graph tab Pipeline Step들의 실행 흐름 확인
Pipeline Spec tab Pipeline의 spec인 yaml 파일의 내용 확인