NetApp AI Control Plane

NetApp AI Control Plane
하이브리드 / 멀티 클라우드 환경의 AI 데이터 관리 방안
© 2020 NetApp, Inc. All rights reserved.
한국 넷앱
백승용 / 솔루션 엔지니어
2020년 8월

데이터는 모든 산업을 변화시키고 있습니다.
인공지능은 데이터로부터 시작됩니다.
2 © 2020 NetApp, Inc. All rights reserved.
202020102000
Hardware
Data
SoftwareSoftware
Hardware
Data
Hardware
Data
Software

엔터프라이즈 데이터 서비스와 관리
용량 성능 데이터 보호/복제 클라우드 연계 DevOps
사용자
서비스
데이터

Machine Learning Workflow
https://www.kubeflow.org/docs/started/kubeflow-overview/

AI 데이터 관리의 도전 과제
▪ 개발 및 데이터 워크스페이스
▪ 대량의 데이터 셋과 소스 코드의 관리에 대한 어려움이 없이 개발을 할 수 있어야 함
▪ 데이터는 새로운 소스 코드
▪ 소스 코드, 모델, 및 데이터에 대하여 전반적인 버전 관리와 추적 필요
▪ 여러 개의 팀이, 여러 개의 다른 지역에서 근무
▪ AI 컴퓨팅 또는 데이터 사일로를 통합하고 연계할 수 있어야 함
▪ 다양한 이기종 데이터 소스
▪ 여러 데이터 소스를 하나의 AI 데이터 파이프라인으로 통합할 수 있어야 함

Automated Pipelines
Core
▪ 온 디맨드 데이터 및 워크스페이스
▪ 필요한 모든 데이터 셋에 접근 가능
▪ 에지, 코어, 클라우드까지 확장
가능한 워크스페이스
▪ 다양한 컴퓨팅 환경의 선택
▪ 사이트간 데이터 과학자의 협업
▪ AI 워크플로우의 자동화
▪ 코드 기반 데이터 관리
▪ 버전 관리 및 백업 스냅샷, 복제, 클론
▪ 개발, 테스트, 백업, A/B 테스팅 등 모델
또는 데이터 셋의 원활한 버전 전환
풀 스택 AI 데이터 서비스 및 관리
CloudEdge
NetApp Data Fabric
Web-based Workspace Web-based Workspace
Data
Scientist
Data
Scientist
Data
Scientist
Data
Engineer

Kubeflow Central Dashboard
https://www.kubeflow.org/docs/components/central-dash/overview/
Kubeflow is the machine learning toolkit for Kubernetes.
Kubeflow is a platform for data scientists who want to build and experiment with ML pipelines.

AI 워크스페이스를 위한 온 디맨드 프로비저닝
Common DIY method
CLI
Web-based WorkspaceData
Scientist
Manually Provision (Minutes)
CLI Copy Data to Workspace (Hours to Days)
No Data Protection
No Traceability
No Data Versioning
Inefficient Use of Space
Pull from Cloud (Slow)
Control Plane UI
Data
Scientist
Provision (seconds)
Return Access URL (seconds)
Developer WS
Cloud-connected Data Fabric
Data Set Volume
Web-based Workspace

▪ Kubeflow Pipelines:
▪ 컨테이너를 기반으로, 확장 가능하고
재사용이 가능한 머신 러닝
워크플로우의 구축과 배포를 위한
플랫폼
▪ Python SDK 사용
▪ 파이프라인 결합 예
▪ 새로운 데이터 볼륨 프로비전
▪ 코드, 모델과 데이터 셋을 연결
▪ 데이터 셋 버전 저장(추적 및 재사용)
▪ 학습 모델 버전 저장
▪ 프로젝트 공유를 위한 클론
▪ 다양한 환경에 데이터 복제
AI 워크플로우 자동화
쿠브플로우 파이프라인과 완벽한 결합

코드 기반의 데이터 인프라 관리
▪ Jupyter Notebooks
▪ 웹 기반의 환경에서 개발, 코드 실행, 문서화, 및 프로젝트 공유를 할 수 있는 개발 환경
▪ AI/ML 커뮤니티 뿐만 아니라 다양한 영역에서 범용적을 활용되고 있음
▪ NetApp Python Client Library
▪ 익숙한 인터페이스를 통한 페타 바이트 단위의 데이터 접근
▪ 노트북을 통해서 데이터의 백업 또는 버전 스냅샷, 클론, 및 복제를 코드로 제어
즉각적인 데이터 접근과 신속한 실험의 수행

멀티 사이트, 멀티 개발자 협업
표준 AI / ML 도구를 사용하여 데이터 동기화
Kubernetes (k8s) cluster
Snapshot copies
Dataset/model versions
A/B testing
Cloud Sync / SnapMirror
Dev/Test or burst in cloud
NetApp SnapMirror®
Snapshot copies
Dataset/model/code versions
A/B testingNetApp® Data Fabric
Object storage
Cold data tiering
Data lake
Workflow Driven:
Kubeflow Pipeline Operation
User Driven (Interactive):
Code Executed in Notebook

NetApp Cloud Sync
다양한 이기종 데이터 소스의 통합
NetApp Cloud Sync 서비스
12 © 2020 NetApp, Inc. All rights reserved. NetApp Confidential - Limited Use Only
Orchestration

AI as a Service (AIaaS)의 실현
온 디맨드와 자동화를 기반으로 AIaaS의 실현
TensorFlow Container
Kubernetes (k8s) cluster
GPU node 1 GPU node 2
Data volume
Snapshot copies
Dataset/model versions
A/B testing
Cloud Sync / SnapMirror
Dev/Test or burst in cloud
NetApp SnapMirror®
Snapshot copies
Dataset/model/code versions
A/B testingNetApp® Data Fabric
Object storage
Cold data tiering
Data lake
PyTorch Container Inference Server Container Jupyter Container

▪ Kubeflow = an AI/ML toolkit for k8s
▪ Standard open-source platform for deploying AI/ML workloads
▪ Kubernetes (k8s) = container/resource orchestration
▪ Industry-standard, open-source platform
▪ NetApp Trident = storage provisioner for k8s
▪ Enterprise-class storage presented in Kubernetes-native format
▪ Choice of compute and/or cloud
▪ NetApp Data Fabric = data portability and protection
▪ Edge to core to cloud data movement
▪ Ansible = deployment automation, infrastructure as code
DIY: Open-source Stack
Enabling portability, scalability, flexibility, and simplicity
Persistent storage
Orchestration
Compute/Cloud
AI/ML workloads
NetApp Data Fabric
Automation
?

NVIDIA DeepOps
Example for an ONTAP AI environment
Prepare management node(s)
Prepare provisioning node
Prepare compute node(s)
Deploy basic services
Deploy additional services
DeepOps
Deploy Trident
Deploy Kubeflow
Deploy Kubernetes on management node(s)
Deploy Kubernetes on compute node(s)
Initial infrastructure provisioning
Picture source: NVIDIA POD reference architecture (with NetApp HCI added)
GPU compute node(s)
For high-performance
compute workloads
Management node(s)
Used for cluster management
Provisioning node
Orchestrates the initial setup
of the cluster
Storage node(s)
For high-performance
data storage

검증된 레퍼런스 아키텍처 기반 솔루션
E-Series AI
FlexPOD AI
ONTAP AI
Compute: DGX
Networking: Ethernet
Storage: AFF, NFS, ONTAP
✓ Most complete solution (AI Control Plane)
▪ NVIDIA DGX + NetApp All Flash
▪ Cisco UCS + NetApp All Flash
Compute: UCS
Networking: Ethernet
Storage: AFF, NFS, ONTAP
✓ 10 years of GTM partnership
▪ NVIDIA DGX SuperPOD + NetApp Compute: DGX SuperPOD or white box
Networking: InfiniBand
Storage: E-Series, IBM Spectrum Scale or BeeGFS
✓ Support your IB install base

NetApp AI Control Plane이란?
I. AI 워크스페이스를 위한 온 디맨드 프로비저닝 – NetApp Trident
II. AI 워크플로우 자동화 – 쿠브플로우 파이프라인과 완벽한 결합
III. 코드 기반의 데이터 인프라 관리 – REST API 및 Python SDK
IV. 멀티 사이트, 멀티 개발자 협업 – NetApp SnapMirror w/ Kubeflow, Jupyter
V. 다양한 이기종 데이터 소스의 통합 – NetApp Cloud Sync w/ Kubeflow, Jupyter
AI as a Service를 실현할 수 있는, NetApp AI Data Control Plane

MiniKF(MiniKube + Kubeflow)와 ONTAP을 이용한 심플 테스트
Kubeflow Pipelines w/ ONTAP

테스트 구성 환경
VMWare Workstation 구성
구분 쿠브플로우 서버 넷앱 스토리지
공통
▪ VM on VMWare Workstation
▪ IP: 192.168.232.160
▪ OS: Ubuntu 18.04
▪ hostname: MiniKF
▪ 8코어, 16GB, 120GB HDD
▪ VM on VMWare Workstation
▪ IP: 192.168.232.150, 151
▪ OS: ONTAP 9.7
▪ Cluster: ONTAP97
Role ▪ MiniKF(MiniKube, Kubeflow), NetApp Trident ▪ 스토리지

구성 수순 #1
가상 머신 생성 및 필요 패키지 설치
1. 호스트용 가상 머신 생성
• VMware Workstation
• Ubuntu 18.04
• 16GB 메모리, 8 코어 CPU, 120GB 디스크
• MiniKF 시스템 요구 규격 이상으로 구성 필요
2. 필요 패키지 설치
• MiniKF 구성을 위해서는 vagrant와 VirtualBox 필요
• 아래 사이트를 참고하여 최신 버전 다운로드 설치
• Ubuntu 18.04 VM에서 수행
• Vagrant: VMWare, VirtualBox, KVM같은 하이퍼바이저를 백엔드로
하여, 가상 머신을 생성 및 관리해주는 툴
• Oracle VirtualBox: 오라클사의 오픈소스 하이버파이저
• dpkg 및 apt 명령을 이용하여 설치
https://www.vagrantup.com/
https://www.virtualbox.org/
3. Vagrant를 이용한 MiniKF 가상 머신 생성
• Kubeflow 사이트 참조
https://www.Kubeflow.org/docs/started/workstation/getting-started-
minikf/
seungyong@MiniKF:~$ mkdir MiniKF
seungyong@MiniKF:~$ cd MiniKF/
seungyong@MiniKF:~/MiniKF$ vagrant init arrikto/minikf
• 정상 완료가 되면, $HOME/MiniKF 에 필요 파일 생성 됨
seungyong@MiniKF:~/MiniKF$ vagrant up
• 지정된 VirtualBox 디렉토리에 가상 머신이 생성되고 부팅 됨
seungyong@MiniKF:~$ cd MiniKF/
seungyong@MiniKF:~/MiniKF$ vagrant ssh
• 해당 디렉토리에 Vagrantfile이 있기 때문에, 디렉토리 들어가서 실행

구성 수순 #2
MiniKF 프로비저닝
4. MiniKF 프로비저닝
------------------------------
Welcome to MiniKF!
Type "minikf" to ensure everything is up and running.
------------------------------
vagrant@minikf:~$ minikf
• 필요한 컨테이너 이미지, minikube, kubeflow, rok를 자동으로
다운로드 하고 구성해 줌
• 프로비저닝이 정상 완료 되면 77개의 POD를 k9s에서 확인 가능
• NetApp Trident POD이 2개 추가 되면 79개, 그 외에 노트북
서버등을 만들면 늘어남
• MiniKF 20200305.1.0 버전 기준

구성 수순 #3
NetApp Trident 및 K9s 설치
5. NetApp Trident 및 K9s 설치
• 최신 버전 다운로드 설치
• K9s: 단일 화면에서 k8s 클러스터를 모니터링하고 관리하는 툴
vagrant@minikf:~$ wget
https://github.com/derailed/k9s/releases/download/v0.21.2/k9s_Linux_
x86_64.tar.gz
vagrant@minikf:~$ tar zvxf k9s_Linux_x86_64.tar.gz
vagrant@minikf:~$ sudo mv k9s /usr/local/bin
vagrant@minikf:~$ k9s
vagrant@minikf:~$ wget
https://github.com/NetApp/trident/releases/download/v20.04.0/trident-
installer-20.04.0.tar.gz
vagrant@minikf:~$ tar zvxf trident-installer-20.04.0.tar.gz
vagrant@minikf:~$ kubectl create namespace trident
vagrant@minikf:~$ cd trident-installer
vagrant@minikf:~/trident-installer$ ./tridentctl install -n trident
vagrant@minikf:~/trident-installer$ ./tridentctl obliviate alpha-
snapshot-crd
• Trident 설치 시에 에러가 발생하면 트러블 슈팅 문서 참고
https://netapp-
trident.readthedocs.io/en/latest/kubernetes/troubleshooting.html
vagrant@minikf:~/trident-installer$ sudo cp tridentctl /usr/local/bin
vagrant@minikf:~$ tridentctl create backend -f backend.json -n trident
vagrant@minikf:~$ kubectl create -f storageclass.yaml
https://github.com/derailed/k9s
https://github.com/NetApp/trident

구성 수순 #3
샘플 backend.json, storageclass.yaml
• backend.json
{
"version": 1,
"storageDriverName": "ontap-nas",
"backendName": "ONTAP97",
"managementLIF": "192.168.232.150",
"dataLIF": "192.168.232.151",
"svm": "MiniKF",
"username": "admin",
"password": "xxxxxxxxxx"
}
• storageclass.yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: ontap97-basic-sc
provisioner: csi.trident.netapp.io
parameters:
backendType: "ontap-nas"

구성 확인 #1
MiniKF POD 구성 확인
vagrant@minikf:~$ k9s
• K9s에서 MiniKF POD 구성 확인
• Trident 설치 후에 79개 POD

구성 확인 #2
MiniKube 구성 확인
• Namespace 확인
• StorageClass 확인
• PVC 확인
• PV 확인

구성 확인 #3
NetApp Trident 구성 확인
• Trident Backend 확인
• Trident StorageClass 확인
• Trident Volume 확인

Kubeflow Pipelines 테스트 #1
Kubeflow Central Dashboard
• Kubeflow Central Dashboard

Notebook Server 프로비저닝
• Notebook Servers
• +NEW SERVER

• 노트북 이름 지정
• 나머지는 기본값으로 진행

• 기본으로 생성된 볼륨 확인
• CONNECT 메뉴로 연결

파이프라인 작성 및 실행
• 주피터 노트북 생성

파이프라인 작성 및 실행
• 테스트 코드 작성 및 실행
• 실험 및 런 링크 확인

파이프라인 실행 결과 확인
• 실험 실행 결과 확인

• 볼륨 생성 결과 그래프 및 로그 확인

• 볼륨 마운트 그래프 및 볼륨 확인

• 명령어 실행 그래프 및 볼륨 확인

• 명령어 실행 그래프 및 로그 확인

파이프라인 실행 결과 확인(Optional)
• 파이프라인에 사용된 POD 확인

• StorageClass 확인
• PVC 확인
• PV 확인

• Trident Backend 확인
• Trident StorageClass 확인
• Trident Volume 확인

• 스토리지 볼륨 확인

• 실 데이터 확인

테스트 환경 삭제
1. Kubeflow Central Dashboard의
UI에서 노트북을 삭제하면 해당
POD가 삭제 됨
2. 파이프라인에 사용된 POD 삭제 →
attachstorage-xxx-xxx를 모두 삭제
3. 사용된 PVC를 삭제하면, PV와
스토리지의 물리적인 볼륨까지
자동으로 모두 삭제가 됨(볼륨
Reclaim 정책에 따라 달라짐)
4. StorageClass도 필요시 수동 삭제

NetApp AI Control Plane

More Related Content

What's hot (18)

Similar to NetApp AI Control Plane (20)

NetApp AI Control Plane