이번 2부에서는 1부 말미에 다뤘던 NVIDIA DGX 제품 라인업을 자세히 소개하고, 일반 기업들이 AI를 위해 왜 NVIDIA DGX 시스템을 사용해야 하는지, 그리고 NVIDIA가 바라는 AI의 미래를 소개합니다.평소 NVIDIA DGX 시스템에 대해 궁금하셨던 분들께 도움이 되길 바라며, 주요 아젠다는 아래와 같습니다.
아젠다 |
|
이 콘텐츠는 NVIDIA 국내 총판 BayNex의 지원으로 제작되었습니다.
1. NVIDIA DGX 제품 라인업 소개
NVIDIA DGX 제품 라인업은 크게 DGX Station A100, DGX A100, DGX A100 SuperPOD으로 나눌 수 있습니다. 모두 NVIDIA A100 GPU를 장착했다는 공통점이 있는 반면, A100 GPU가 사용된 수량은 각기 다릅니다. 당연히 A100 GPU 수량이 많은 쪽이 더 고성능이겠죠? 이 순서에 따라 제품을 소개하겠습니다.
1) 가장 손쉽게 AI를 경험할 수 있는 시스템, NVIDIA DGX Station A100
먼저 소개할 제품은 NVIDIA DGX Station A100입니다. A100 GPU 카드가 4장이 장착되어 GPU Memory는 최대 320GB까지 지원됩니다. A100 GPU 카드가 GPU Memory 80GB, 40GB 모델로 나눠지기에, DGX Station A100역시 이에 맞춰서 2가지 모델이 제공되고요. 상세 사양은 아래와 같습니다.
DGX Station A100은 장착되는 GPU 카드의 GPU Memory만 다를 뿐 나머지 사양은 동일합니다. CPU는 Epyc 7742 64 코어 CPU가, System Memory는 512GB, Storage는 NVMe SSD로 OS는 1.92TB, Data는 7.68TB까지 사용할 수 있고, 이를 통해 2.5 petaFLOPS의 성능을 발휘합니다. 보통 하이엔드급 GPU들의 성능이 teraFLOPS 단위인데 반해, DGX Station A100은 A100 GPU 4장을 장착해, 워크스테이션이 아닌 데이터 센터의 서버 급 성능을 제공한다고 보시면 되겠습니다.
DGX Station A100의 가치는 이 장표 한장으로 정리가 될 것 같습니다. 워크스테이션 폼팩터에 앞서 소개한 사양의 부품들로 구성된 DGX Station A100은 전원 케이블과 모니터 연결 케이블 2개만 연결하면 사용 준비가 끝납니다. 게다가 수냉식 쿨러 시스템을 갖춰 소음도 거의 없는 것이 특징입니다.
덕분에, 기업은 AI를 시작하기 위해 데이터 센터에 고성능 GPU 서버와 스토리지를 갖추지 않아도 됩니다. AI 개발자 혹은 데이터 과학자의 사무실 책상 아래에 DGX Station A100을 가져다 놓고, 모니터와 연결한 다음 전원 버튼을 누르는 것만으로 AI 학습을 바로 시작할 수 있습니다. DGX Station A100과 모니터, 키보드와 케이블 2개만 있으면 집에 있는 내 방이 AI 연구소가 될 수도 있겠죠?
그렇다면 DGX Station A100은 누가 사용하면 좋을까요? 이제 막 AI 알고리즘을 개발해 보유한 데이터를 학습시키며 알고리즘을 고도화하려는 AI 연구원, 각종 이미지와 영상 데이터를 기반으로 다차원 분석 및 시뮬레이션을 해야 하는 엔지니어, 방대한 지리 정보를 바탕으로 실시간으로 지도에 각종 데이터를 시각화할 필요가 있는 데이터 과학자 등 AI 학습과 HPC 업무를 단 시간에 바로 시작하기를 원하는 사람들이 사용하면 좋습니다.
2) 본격적으로 AI를 연구하고 비즈니스에 활용할 수 있는 시스템, NVIDIA DGX A100
이미 AI에 대한 경험이 있고, 자사 데이터 센터에 AI 학습에 활용할 데이터도 충분히 저장하고 있으며, 관련 인력도 보유하고 있다면 DGX A100이 적격입니다. A100 GPU 8장을 장착한 이 GPU 서버는 DGX Station A100으로 부족한 AI 워크로드 처리 성능을 2배로 향상시켰습니다.
GPU Memory가 40GB인 A100 GPU 카드 8장으로 구성된 DGX A100은 AMD Epyc 7742 128 코어 CPU에 System Memory와 Storage는 Station A100 대비 2배입니다. 그리고 성능도 5 petaFLOPS를 발휘해 Station A100 대비 2배 성능을 제공합니다.
그렇다면 이전 세대인 V100과 비교하면 어떨까요? 위에 있는 차트를 보시면, 이전 세대 대비 6배의 성능 향상이 있음을 확인할 수 있습니다. 그리고 아래에 있는 차트는 CPU만을 활용한 성능과 GPU를 활용한 성능 비교인데요. 무려 3,000개의 CPU를 한데 묶은 CPU 클러스터 대비 겨우 4대의 DGX A100 만으로 13배나 높은 성능을 제공합니다.
그리고 DGX A100은 42U 표준랙에 최대 4대를 설치할 수 있습니다. 즉, 방금 언급한 4대의 DGX A100이 하나의 랙으로 구성되어 데이터 센터 내 상면 공간도 적게 차지합니다. 작은 공간에서 대규모 데이터 학습이 가능한 AI 인프라를 DGX A100으로 간편하게 구현할 수 있다는 것입니다.
3) 초 고성능 워크로드를 위한 슈퍼컴퓨터, NVIDIA DGX A100 POD & SuperPOD
이미 AI에 대한 경험이 많고 보유한 데이터도 엄청나게 많은 기업 혹은 기관이라면, AI를 위한 슈퍼컴퓨터가 필요합니다. NVIDIA는 이러한 수요를 충족시키기 위해 DGX A100 4대를 설치한 하나의 랙을 다수 연결해 거대한 AI 인프라를 구성할 수 있는 DGX POD을 제공합니다.
NVIDIA DGX SuperPOD 아키텍처는 위와 같습니다. DGX A100 4대가 설치된 랙 5개와 네트워크 랙이 하나의 SU(Scalable Unit)가 되며, 여기에 관리 서버 랙과 스토리지를 더하는 구조이고요. 이 SU를 2대 ~ 7개까지 추가할 수 있습니다. 이렇게 구성된 DGX SuperPOD의 DGX A100 노드는 최소 20대에서 최대 140대까지 구성할 수 있으며, 사용되는 GPU 수는 무려 1,120개입니다. 이를 통해 발휘되는 성능은 7 SU DGX SuperPod 기준 최대 336 petaFLOPS까지 확장됩니다.
이렇게 거대한 AI 인프라를 구성하기 위해서는 무엇보다 네트워크 성능이 중요합니다. 다수의 GPU를 하나의 클러스터로 구성한 것이기 때문에 각각의 GPU가 성능 손실 없이 최대 성능을 발휘하기 위해서는 고성능의 네트워크 장비가 필요하죠. 그래서 NVIDIA는 이 분야의 선도업체인 Mellanox를 2019년 3월에 인수했고, NVIDIA DGX A100에 200GB /s 성능을 Mellanox ConnectX-6 인피니밴드 어댑터 9개(8x Single-Port for Computing, 1s Dual-Port for Storage)가 장착됩니다.
NVIDIA DGX A100과 DGX SuperPOD의 성능을 비교한 표입니다. 동일한 벤치마크에서 단일 A100 GPU 대비 SuperPOD의 성능이 최소 8배에서(첫 번째 줄 Recommendation : DLRM) 최대 480배(두 번째 줄 NLP : BERT) 빠릅니다.
1부에서 AI의 경쟁력은 얼마나 많은 데이터를 학습해서 알고리즘 정확도를 끌어올리느냐에 달려있다고 말씀드렸죠? 하지만 시간은 무한하지 않기 때문에 한정된 시간 내에 보다 많은 데이터를 학습하는 것이 곧 AI의 경쟁력 향상이라고 볼 수 있습니다. 이런 측면에서 생각해보면, 보다 많은 데이터를 학습시키기 위해 더 높은 성능의 인프라를 마련하는 것이 왜 중요한지 알 수 있습니다. 높은 AI 경쟁력 = 높은 품질의 AI 서비스로 이어질테니까요.
<이미지 출처 : NVIDIA Blog, NVIDIA Breaks 16 AI Performance Records in Latest MLPerf Benchmarks>
NVIDIA DGX SuperPOD의 어마어마한 성능은 각종 AI 성능 벤치마크 지표를 갈아치웠습니다. 위와 같이 8개 항목에서 NVIDIA A100으로 구성된 SuperPOD은 이전 세대인 V100 SuperPOD 대비 성능이 더 뛰어남은 물론, 경쟁사인 Google TPU와 과 Huawei Ascend의 AI 클러스터를 멀찌감치 따돌리고 있습니다. 이렇듯 DGX SuperPOD은 업계 최고의 AI 인프라로 봐도 무방할 것입니다.
4) A100을 뛰어넘는 차세대 GPU, NVIDIA H100과 DGX H100
2022년 3월, NVIDIA는 GTC(GPU Technology Conference) 2022에서 Ampere 다음의 차세대 GPU 아키텍처인 Hopper를 발표했습니다. 7나노 공정의 Ampere 아키텍처에서 4나노 공정으로 개선됐고, Tensor Core와 NVLink, MIG(Multi Instance GPU) 모두 진화했습니다.
A100과 H100의 사양을 비교하면 위와 같습니다. SXM 폼팩터 기준 성능이 3배 정도 향상된 것을 확인할 수 있고요. 물론 전력도 그만큼 많이 필요하지만 이전 세대 대비 AI 워크로드 성능에 있어서 괄목할만한 향상임은 분명해 보입니다. 여기에 새롭게 추가된 AI 학습 가속화를 위한 트랜스포머 엔진, 데이터가 처리되는 동안에도 보호할 수 있는 컨피덴셜 컴퓨팅, 동적 프로그래밍 가속화를 위한 DPX 명령어가 추가되어 보다 진화된 AI 인프라를 구현할 수 있도록 돕습니다.
Hopper 아키텍처에 대한 자세한 설명은 이번 콘텐츠의 주제는 아니기에 생략하고요. 추후 기회가 되면 다뤄보겠습니다. 해당 내용이 궁금하신 분들은 Hopper 아키텍처에 대해 자세히 다룬 NVIDIA Developer Technical Blog를 참고하시기 바랍니다.
H100을 간단히 살펴봤으니 이제 이 H100이 장착된 서버, DGX H100을 알아볼 차례겠죠? DGX A100과 마찬가지로 DGX H100은 H100 GPU가 8장 장착된, AI를 위한 단일 시스템입니다. GPU Memory, System Memory, Data를 위한 Storage 용량 모두 2배씩 증가했습니다. 그리고 설치된 인피니밴드 네트워크 어댑터의 대역폭 역시 400GB/s로 2배 증가했고요. 덕분에 HPC 성능은 6배 ~ 7배, 네트워크 처리 속도는 2배 향상됐습니다.
DGX A100과 마찬가지로 DGX H100도 POD 및 SuperPOD 구성이 가능합니다. DGX A100 기반의, AI를 위한 슈퍼컴퓨터를 더욱 뛰어난 성능의 DGX H100으로 구현할 수 있다는 것입니다. 하지만 H100이 발표된 지 얼마 되지 않았기에 DGX H100 기반 레퍼런스 아키텍처에 대한 자료는 아직 공개되지 않았습니다. DGX H100 기반의 POD 및 SuperPOD은 2022년 말부터 지원 예정이라고 하니 참고하시기 바랍니다.
2. AI 인프라를 위한 NVIDIA만의 강점, 그리고 NVIDIA가 그리는 슈퍼컴퓨터와 AI의 미래
1) AI 인프라를 위해 NVIDIA DGX 시스템을 사용해야 하는 이유
■뛰어난 하드웨어 사양을 넘어, AI를 위한 소프트웨어 스택까지 제공
지금까지 NVIDIA DGX 제품 라인업을 각 제품 별 특징 위주로 간단히 살펴봤습니다. NVIDIA DGX 시스템으로 구현하는 AI 인프라의 가치는 단순히 뛰어난 하드웨어 사양만이 아닌 하드웨어부터 소프트웨어까지, AI를 위한 모든 것을 턴키로 제공한다는 것에 있습니다.
앞서 소개한 NVIDIA DGX Station A100부터 DGX A100 및 H100은 모두 위의 NGC(NVIDIA GPU Cloud) Software Stack으로 구동됩니다. 다수의 하드웨어 자원을 하나의, 가상의 공용 자원으로 묶어 효율적으로 사용할 수 있도록 하는 것은 물론, 이 자원 위에서 운영되는 각종 AI를 위한 프레임워크와 애플리케이션, 그리고 사전 학습된 AI 알고리즘 모델까지, NVIDIA는 NGC Software Stack으로 제공합니다. 덕분에 기업은 DGX 시스템을 도입한 순간 바로 AI를 시작할 수 있습니다.
그리고 MIG(Multi Instance GPU) 기술은 하나의 GPU 자원을 최대 7개까지 물리적으로 나눠서 사용할 수 있도록 합니다. 덕분에 DGX Station A100으로도 위와 같이 최대 7명의 개발자, AI 연구원, 데이터 과학자들이 각자의 업무에 맞는 AI 워크로드를 운영할 수 있습니다.
게다가 국내 기업인 Lablup의 컨테이너 기반 GPU 자원 분할 솔루션인 Backend.AI를 사용하면 0.1개 단위로 GPU 자원을 나눌 수 있습니다. 이 얘기인 즉슨, 할당된 GPU 자원을 보다 탄력적으로 운영할 수 있다는 것이며, 더욱 많은 알고리즘을 동시에 훈련시킬 수 있습니다.
■NVIDIA DGX 시스템 전문가, DGXperts
기업이 DGX 시스템을 도입하면 간편하게 AI를 시작할 수 있습니다만, DGX가 AI 경험이 없는 기업을 AI 전문가 집단으로 바로 탈바꿈시켜주지는 못합니다. NVIDIA가 제공하는 DGX 하드웨어와 NGC 소프트웨어 스택을 충분히 활용해서 만족할만한 성과를 내기 위해서는 전문가의 도움이 필요하죠. 이를 위해 NVIDIA는 DGXerts라는 전문가 집단을 통해 기업이 NVIDIA의 플랫폼을 잘 활용할 수 있도록 돕습니다.
16,000명 이상의 AI 전문가 집단인 NVIDIA DGXperts는 기업의 AI 실무자가 가지고 있는 아이디어를 DGX 시스템과 NGC를 통해 실제 서비스로 구현할 수 있도록 지원합니다. AI 알고리즘 모델 디자인, 기획, 개발 및 테스트, 배포, 운영, 그리고 모니터링까지 DGX 시스템과 NGC 소프트웨어 스택을 통해 구현되는 기업 고유의 AI가 고성과를 낼 수 있도록 일선에서 지원하는 조력자 역할을 한다고 보시면 됩니다. 그리고 DGX 시스템 사용 중 발생하는 오류를 누구보다 빨리 해결해 줄 수 있는 소중한 자원이기도 합니다.
만약 AI 인프라를 NVIDIA DGX가 아닌 기업이 자체적으로 공수한 하드웨어 인프라로 구축하고, 그 위에서 구동할 OS, 프레임워크와 각종 라이브러리와 같은 소프트웨어를 설치해서 AI 워크로드를 운영하고 있다고 해봅시다. 이때 AI 개발자, 데이터 과학자, 엔지니어와 같은 AI 담당 실무자는 이상하게 오늘 알고리즘 모델의 성능이 어제 보다 훨씬 느리다는 것을 알게됐다면, 어떻게 해야 할까요?
일단 이 문제에 대해 AI 인프라 관리자에게 문의를 하겠죠? 그럼 관리자는 성능 하락 원인을 찾기 위해 AI 프레임워크와 라이브러리를 제공하는 오픈소스 커뮤니티에 질문을 남기고, 하드웨어 인프라 공급사에도 문의를 남깁니다. GPU, 서버, 네트워크, 스토리지와 같은 하드웨어 별 공급사도 다르고, OS와 AI 프레임워크 및 라이브러리 커뮤니티도 제각각일 확률이 높기 때문에 장애 원인을 파악하기 위해 확인해야 할 포인트가 너무도 많습니다. 이는 곧 문제 해결까지 오랜 시간이 걸린다는 것을 의미하며, 결과적으로 기업의 AI 모델의 학습 시간을 더디게 만들어 AI 경쟁력 저하를 야기시킬 수 있습니다.
하지만 NVIDIA DGX 시스템 DGXperts가 있다면 다릅니다. NVIDIA가 제공하는 올인원 AI 인프라 위에서 이미 검증이 끝난 NGC 소프트웨어 스택 기반으로 구동되는 AI 워크로드에 성능 문제가 발생할 경우, 인프라 관리자는 DGXperts의 도움을 받아 즉각 원인 파악 및 해결 방안을 얻어 자사 인프라에 반영할 수 있습니다. DGX 시스템과 NGC 소프트웨어 스택에 대해 누구보다 잘 알고 있는 DGXperts 덕분에, 기업은 항상 최상의 환경에서 AI를 개발, 운영할 수 있게 됩니다.
■AI 인프라 구현 시간 단축
AI 인프라는 일반적인 데이터 센터보다 구현 난이도가 높습니다. 프로젝트마다 다를 수 있겠지만, 통상 AI 인프라를 직접 기획하고 적합한 제조사의 하드웨어를 공수하고, 오픈소스 소프트웨어를 통해 AI 개발 및 운영 환경을 구축하고, 이어서 준비된 데이터를 학습시키고, 데이터가 증가함에 따라 AI 학습 성능 향상을 위해 인프라 규모를 확장하는 데에 3개월이 소요된다고 가정해 봅시다. 데이터 과학자와 같은 실무자 입장에서는 이미 준비된 데이터가 있기에 빠르게 직접 개발한 AI 알고리즘을 학습시키고 싶지만, 일반적인 구축 방법론으로는 AI 인프라 준비에 너무도 오랜 시간이 소요됩니다.
그러나 NVIDIA DGX 시스템을 도입하면 이 시간을 대폭 단축시킬 수 있습니다. 앞서 장표에서 보셨던 총 9단계가 단 3단계로 줄어듭니다. AI 인프라를 위해 어떤 프레임워크와 라이브러리를 사용해야 하는지 결정할 필요가 없고, 이에 알맞은 하드웨어와 소프트웨어를 공수해 설치하고 최적화 시키는 데에 시간과 노력을 들이지 않아도 됩니다. AI 인프라 규모가 확장되더라도 기 구축한 소프트웨어를 다시 최적화할 필요도 없고요. 그저 이미 사전에 충분히 검증된 소프트웨어들이 최상의 성능을 발휘하는 하드웨어에 설치되어 공급되는 NVIDIA DGX 시스템을 도입하면 끝입니다.
더 많은 데이터 학습을 위해 AI 인프라 규모를 확장해야 할 경우, 소프트웨어 최적화 없이 그냥 DGX 시스템을 스케일 아웃으로 확장해 나가면 되니 AI 실무자를 위한 인프라 구현이 단 1주일만에 끝낼 수 있습니다. 제가 AI의 경쟁력은 한정된 시간에 얼마나 많은 데이터를 학습시킬 수 있느냐에 달렸다고 여러번 말씀드렸죠? NVIDIA DGX 시스템을 도입한 기업이라면, 직접 AI 인프라를 위해 하드웨어와 소프트웨어를 공수해 구축한 기업보다 이미 한 두 발짝은 앞서 나가고 있다고 봐도 무리는 아닐 것입니다. AI 인프라 구현 시간이 이렇게나 많이 단축되기 때문입니다.
2) NVIDIA가 바라는 AI의 미래
<이미지 출처 : HPCwire, Nvidia Announces ‘Eos’ Supercomputer>
2022년 3월 22일 GTC 2022에서 NVIDIA는 Hopper 아키텍처 기반의 H100을 발표하면서 또 하나의 놀랄만한 소식을 전합니다. H100 GPU 4,608개가 집적된 슈퍼컴퓨터 'EOS'를 발표했습니다. DGX A100 소개 부분에서 AI 성능이 5 petaFLOPS라고 말씀드렸는데요. EOS의 AI 성능은 18.4 exaFLOPS라고 합니다. 1 petaFLOPS의 1,024배가 1 exaFLOPS이니, 18.4 exaFLOPS를 petaFLOPS로 환산하면 18,841.6 petaFLOPS이며, 이는 DGX A100보다 3,768배 높은 성능입니다.
이렇게 표현하니 감이 잘 안오시죠? 일본에서 규모가 가장 큰 슈퍼컴퓨터이자 계산속도가 전 세계 슈퍼컴퓨터중에서 가장 빠른 '후가쿠'보다 AI 성능이 4배나 높다고 합니다. AI 성능에 있어서는 현존 세계 최고 성능의 슈퍼컴퓨터를 발표한 것이라고 볼 수 있겠습니다.
NVIDIA가 슈퍼컴퓨터를 위한 인프라를 제공하는 것을 넘어 자체적인 슈퍼컴퓨터를 개발하는 이유는 무엇일까요? NVIDIA CEO 젠슨 황은 지구 전체를 디지털 트윈으로 구현해 실시간으로 변화하는 지구의 기후 변화에 대응하는 체계를 갖추는 것이 목표라고 밝혔습니다. 그리고 이를 위해서는 현존하는 슈퍼컴퓨터 성능보다 10억배가 더 뛰어난 성능이 필요하다고 했고요.
실존하는 사물, 공간을 가상 세계에 똑같이 구현하는 기술인 디지털 트윈은 스마트 팩토리, 도시 공학쪽에서 활발하게 사용되고 있습니다. 이 때 필요한 연산을 빠르게 수행하기 위해 GPU가 필요하고, 디지털 트윈에서 변화하는 상황을 실시간으로 분석해 미래에 어떤 모습이 될 지 예측하기 위해서는 AI가 필요하겠죠. 그리고 이 분야에서 가장 앞서가고 있는 NVIDIA가 구상하는 미래는, 단순히 고성능의 AI 인프라를 제공하는 것을 넘어, 지구 전체를 디지털 트윈으로 구현해 지구 온난화로 인한 기후 문제를 해결하려는 데에 있습니다.
하지만 NVIDIA 혼자서 이런 원대한 목표를 달성할 수는 없습니다. 지구를 디지털 트윈으로 구현하기 위한 AI 인프라 성능 향상은 NVIDIA의 몫이지만, 궁극적으로 AI 저변 확대를 통해 AI 관련 산업과 기술이 발전하고, 전문 인력이 많아지고, AI 연구가 더욱 활발해 져야만 지구를 디지털 트윈으로 구현할 수 있는 슈퍼컴퓨터를 만나볼 수 있는 시간도 앞당겨지지 않을까요?
AI 저변 확대, 저는 NVIDIA DGX 시스템의 가치는 여기에 방점을 두고 있다고 생각합니다. 단순한 아이디어를 AI로 구현하기 위한 가장 쉬운 출발점인 DGX Station A100부터, DGX A100과 SuperPOD, 나아가 차세대 아키텍처 기반의 DGX H100 하드웨어에 NGC 소프트웨어 스택이 더해진 DGX 시스템은 기업이 쉽게 AI를 시작하고 AI를 마음껏 연구할 수 있는 토대가 될 것입니다.
쉽게 시작할 수 있는 AI 환경, 얼마든지 확장할 수 있는 AI 인프라, 그리고 동시에 현존 최고의 성능과 안정성을 보장하는 NVIDIA DGX 시스템을 통해 많은 기업들이 AI를 시작하고, 연구하고, 비즈니스에 적극 활용해 세상이 좀 더 풍요로워지는 데에 기여했으면 좋겠습니다. 10년 안에 지구를 디지털 트윈할 수 있는 날이 오기를 기대하며, 이 콘텐츠가 AI 인프라 구축에 고민이 많으신 분들께 조금이나마 도움이 되셨기를 바랍니다.
마지막으로, 아래와 같이 NVIDIA DGX 시스템에 대한 설문조사 이벤트도 진행하고 있으니 관심 있으신 분들의 많은 참여 부탁드립니다.
끝!
1개의 댓글이 있습니다.
NVIDIA AI미래 기대해봅니다.
Reply댓글 남기기
댓글을 남기기 위해서는 로그인이 필요합니다.
로그인 회원가입