인공지능(AI) 시장과 기술 살펴보기 AI 시장 규모와 트렌드, 그리고 AI 인프라에 GPU와 NPU가 중요한 이유

상황 1. 

쇼핑몰에서 필요한 물건들을 보고 장바구니에 담아둡니다. 그리고 결제를 위해 장바구니로 이동하면? 하단에 이 물건을 구매한 분들이 많이 구매한 것이라며 다른 물건들이 나타나는군요. 어디보자 하는 마음에 그 물건을 클릭해 상세페이지를 쭉 보다보면 또 하단에 이 물건을 본 사람들이 함께 구매하게나 많이 봤던 물건들이 또 잔뜩 나타납니다. 이후 장바구니로 이동해보면 결제할 때에는 생각하지 않았던 물건들도 담겨있지만 만족스러운 쇼핑을 했다는 생각이 듭니다.

상황 2. 

요즘 자주 허리 통증이 느껴져 등을 두드리니 동료가 왜 그러냐고 묻습니다. 과거 수술했던 허리 디스크가 다시 재발한 것은 아닌가 걱정이다는 이야기를 나누며 점심을 먹으러 나갑니다. 자리에 돌아온 뒤, 잠깐 짬을 내어 Youtube에 접속했는데 맞춤 동영상에 허리 디스크, 허리 건강 관련 영상이 나타납니다. 깜짝 놀람과 동시에 스마트폰이 내 대화 내용을 듣고 구글 -> Youtube로 보낸게 틀림없다고 생각합니다.

상황 3.

모처럼 주말에 가족들과 교외 나들이를 나왔습니다. 며칠 전부터 벼르고 있던 맛집에 갔는데, 좀 애매한 시간에 왔나봅니다. 브레이크 타임에 걸려 버렸네요. 실망하고 있기에는 배가 너무 고프니 빨리 대안을 생각해봅니다만 마땅히 떠오르는 것이 없습니다. 생각나는 지역 맛집이 없으니 검색해 볼 수도 없고,  답답한 마음에 스마트폰의 내비게이션 앱에 있는 음성 검색 버튼을 눌러 '여기 근처 한정식 맛집 좀 찾아줘'라고 주변의 한정식집이 리스트에 뜹니다. 급한 마음에 대충 얘기했는데, 제대로 알아듣고 원하는 결과를 보여준 네비게이션이 고마울 따름입니다.

앞서 예시로 든 3가지 상황은 실제 제가 겪은 것들입니다. 이런 것이 가능한 이유는 바로 AI 덕분이라고 할 수 있는데요. 이러한 상황 외에도 AI는 우리 실생활에 이미 깊숙이 침투해 있습니다. 그리고 우리가 사용하는 상당히 많은 서비스들에는 AI 기술이 녹아들어가 있죠. 

<이미지 출처 : 한국수출입은행 I 해외경제연구소 / 인공지능산업 현황 및 주요국 육성 정책 보고서>

그동안 AI는 위와 같은 주요 IT 테크 기업들의 전유물로 여겨져 왔습니다. 실제로 우리는 위 차트의 기업들이 제공하는 상당 수의 AI 기반 서비스를 이미 잘 활용하고 있죠. 국내의 네이버, 카카오, 삼성전자, SKT와 같이 AI를 많이 활용하는 기업들 역시 IT 기업들입니다.

<이미지 출처 : AI타임즈, "AI채팅으로 피자 주문"…피자업계에도 부는 AI 바람>

하지만 이제 AI는 IT 테크 기업이 아닌 기업들도 AI를 적극적으로 자사 비즈니스에 활용하는 시대가 되었습니다. 위와 같이 도미노피자는 자사 앱에 AI기능을 탑재, 채팅으로 피자를 간편하게 주문할 수 있게 했습니다. 나아가 도미노피자는 실제 사진에서 본 모습 그대로 자신이 주문한 피자가 제조되었는지를 AI 카메라로 감별할 수 있는 기능도 추가했고요. 특별한 이벤트를 통해, 고객들이 언제 어디에서 어떤 피자를 먹는지에 대한, 즉 다양한 유형에 따른 고객의 취향을 알 수 있는 방대한 이미지 데이터도 수집했습니다.

이렇게 수집된 데이터는 도미노피자가 향후 내놓을 다양한 서비스에 AI를 활용할 수 있는 기반이 될 것입니다. 주문 장소, 모임, 연령대에 따른 피자 추천도 가능할 것이고, 주문한 피자가 언제 준비되어 고객에게 전달될 수 있는지에 대한 데이터도 예측할 수 있어 매장 운영 효율성도 향상시킬 수 있을 것입니다.

이렇듯 AI는 디지털 트랜스포메이션의 흐름을 타고 AI 테크 기업뿐만 아니라 일반 기업들을 포함해 다양한 분야에 활용되고 있습니다. AI가 활용되고 있는 대표적인 분야를 정리해보면 아래와 같습니다.

• ●컨텐츠 및 광고: 컨텐츠 추천(틱톡, 넷플릭스 등), 상품 추천(네이버 쇼핑, 아마존 등)

• ●금융: 유망기업(주식) 발굴, 투자 어드바이저, 은행서비스 자동화 등

• ●헬스케어: 병리학, 영상의학, 개인건강관리, 의약품개발

• ●모빌리티: 자율주행, 주행이상 탐지 등 

• ●제조 및 유통: 스마트팩토리, 각종 IoT 기기, 신제품 설계

• ●환경문제(기후변화, 희귀종보호), 범죄예방(지능형 CCTV)

<이미지 출처 : 한국수출입은행 I 해외경제연구소 / 인공지능산업 현황 및 주요국 육성 정책 보고서>

하지만 이렇게 많은 분야에서 다양하게 활용되는 AI를 실제 기업 업무에 적용하는 것은 쉽지 않습니다. 위와 같이 AI산업 가치사슬을 보면, 데이터 구축 -> 데이터 전처리 -> AI 개발 -> AI 적용이라는 4단계를 거쳐야 하는데, 1단계와 2단계에서 AI가 학습할 데이터 준비를 위한 인프라를 갖추는 것도 만만한 작업이 아닙니다. 그래도 AI를 고민하는 기업들이라면 이미 방대한 데이터를 기업 내부의 시스템에 잘 쌓고 있을 확률이 높죠. 데이터가 여러군데에 분산되어 있다면? 한 곳으로 모으기만 하면 됩니다.

데이터가 준비됐다면 이 데이터를 학습시킬 시스템이 필요하겠죠? 데이터가 많을 수록 AI의 정확도는 올라가기 마련입니다만, 학습할 데이터가 많다는 것은 그만큼 학습시간도 길어질 수 있다는 것을 의미합니다. 따라서, 위 가치사슬 3단계인 AI 개발 단계에서는, AI의 데이터 학습 시간을 단축시키기 위해 매우 고성능의 시스템을 갖춰야 합니다. 그리고 데이터 학습을 위한 AI 알고리즘 개발 환경도 구현해야 하고요.

4단계에 다다라야 비로소 AI를 기업 비즈니스에 적용해 볼 수 있는데, 3단계까지 오는 과정이 너무도 험난합니다.1~2단계는 어찌어찌 해결했다 하더라도 3단계인 AI 개발 단계는 완전히 다른 영역이라 전문업체의 도움을 받아야 하죠. 아니면 자체적인 AI 연구소를 설립해야 합니다만 대기업이 아니고서는 매우 어려운 일입니다. 그리고 AI 연구소와 같은 전문인력은 일단 제쳐두고, 관련 인프라인 하드웨어와 소프트웨어를 갖추는 것 역시 어디서부터 어떻게 준비해야 하는지, 어느 업체들의 도움을 받아야 하는지 찾는것도 큰일입니다.

이제는 AI 분야에서 빼놓을 수 없는 기업이자 전 세계 AI 업계를 선도하고 있다고 봐도 이상하지 않을 기업인 NVIDIA는 앞서 언급한, AI를 시작하기 위한 환경 구축마저도 엄두를 내기 어려운 기업들을 위해 DGX 서버 제품군을 제공하고 있습니다. 간편하게 전원만 연결하면 바로 AI 개발을 시작할 수 있는 제품부터, NVIDIA의 최신 아키텍처가 적용된 강력한 성능의 GPU를 다수 장착한 GPU 서버, 그리고 이 서버들을 여러대로 구성한 GPU 랙과, 이 랙을 수십~수백대 연결한 슈퍼컴퓨터까지 AI를 위한 광범위한 포트폴리오를 갖췄습니다.

그래서 이번 콘텐츠에서는 AI 업계의 트렌드와 시장 규모 및 전망, 그리고 NVIDIA가 제공하는 AI를 위한 맞춤 솔루션, DGX 제품군에 대해 자세히 살펴보려고 합니다. 퍼블릭 클라우드 서비스가 아닌, 자사의 데이터를 직접 활용해 AI 모델을 개발하고 비즈니스에 적용하기를 원하는 기업들에게 적합한 솔루션이라고 할 수 있습니다. 내용이 다소 길어 1부와 2부로 나눴고요. 1부의 주요 아젠다는 아래와 같습니다.

이 콘텐츠는 NVIDIA 국내 총판 BayNex의 지원으로 제작되었습니다.

​

1. AI 시장 규모, AI 산업 및 기술 현황

 1) AI 시장 규모

<이미지 출처 : 한국수출입은행 I 해외경제연구소 / 인공지능산업 현황 및 주요국 육성 정책 보고서>

먼저 AI 시장 전망부터 살펴봅시다. 유수의 글로벌 시장조사기관들이 조사한 결과는 위와 같습니다. 이 중 가장 긍정적으로 전망하고 있는 기관은 IDC인데요. 2021년 IDC의 최신 조사결과를 보면, 글로벌 AI 시장은 2020년에 2,813억 달러(약 323조원)을 기록했고, 2023년까지 연평균 17.5% 성장해 4,598억 달러(약 525조원)에 이를 것으로 예측되고 있습니다.

IT 분야에서 가장 성장이 두드러진 분야는 클라우드라고 할 수 있을 텐데요. IDC가 예측한 올해, 2022년 글로벌 클라우드 시장 규모가 4820억 달러(약 593조원)인 것을 감안하면, AI 시장 규모가 꽤 크다는 것을 알 수 있습니다.

<이미지 출처 : 한국IDC, 국내 인공지능(AI) 시장 연평균 성장률 15.1% 증가하며 2025년까지 1조 9,074억원 규모 전망>

그렇다면 국내 시장은 어떨까요? 2022년 3월 22일에 발표된 한국IDC의 보고서에 따르면, 국내 AI 시장은 연평균 15.1%씩 성장하여 2022년 1.1조원, 2025년에는 1.9조원에 다다르 것으로 예측하고 있습니다. 앞서 언급한바와 같이, 국내 IT 업계에서 최근 가장 성장폭이 큰 분야인 클라우드의 연평균 성장률이 16%이고 2022년 기준 약 7조원의 시장을 형성할 것으로 예측됩니다. 글로벌 시장 전망과 마찬가지로, 국내  AI 시장 역시 꽤 크고 탄탄한 성장률을 보이고 있는, 유망한 분야라고 봐도 전혀 이상하지 않습니다. 

 2) AI 산업 및 기술 현황

<이미지 출처 : AI타임스, [스페셜리포트]②AI로 상장한 스타트업은?...국내 인공지능(AI) 스타트업 현황>

유망한 시장이라는 것은 그 업계에 뛰어드는 새로운 기업들, 스타트업들의 진출이 활발하다는 의미이기도 합니다. NIA(한국지능정보사회진흥원)에서 2020년 말에 발표한 국내 AI 스타트업 조사 결과를 보면, 조사에 응한 153개 AI 스타트업을 산업별, 그리고 기술별로 구분해서 정리했는데요. 먼저 산업별 비중부터 보겠습니다.

가장 높은 비중을 차지하고 있는 분야는 AI 플랫폼입니다. 이 산업에 속한 AI 스타트업들은 일반 기업들이 AI를 좀 더 쉽게 활용할 수 있는 상태계를 제공하는 기업들이라고 볼 수 있습니다. 그리고 이 분야에 몸담고 있는 기업들이 가장 많은 투자를 받았고요. 아무래도 AI라는 것이 진입장벽이 다소 높은 만큼, 이를 낮춰주는 역할을 함과 동시에 AI 저변확대를 위해 애쓰는 기업들에게 투자가 몰리고 있다고 봐도 될 것 같습니다. AI 플랫폼 다음으로는 헬스케어, 보안, 유통 및 물류 산업에 속한 AI 스타트업들이 많았습니다.

<이미지 출처 : AI타임스, [스페셜리포트]②AI로 상장한 스타트업은?...국내 인공지능(AI) 스타트업 현황>

이번엔 기술별 비중을 봅시다. 시각인식이 29%, 언어이해가 26% 학습 및 추론이 24%로 이 세 기술이 79%의 비중을 차지하고 있습니다. 시각인식은 이미지, 영상을 보고 어떤 사물 혹은 인물인지 파악하는 기술을 뜻하며 주로 이미지 데이터를 분류하는 작업이 이 기술에 속합니다. OCR로 여기에 속한다고 할 수 있겠군요. 

언어이해의 경우 단어가 아닌 문장과 어휘를 이해함으로써 사람의 질문에 제대로 응답할 수 있도록 하는 기술이며,  챗봇, 검색, 실시간 번역 및 자막 서비스를 예로 들 수 있습니다. 학습 및 추론 기술에 속하는 대표적인 서비스로는  방대한 데이터 속에서 의미있는 결과를 도출해 내는 분석 서비스가 있습니다. 

이렇듯 글로벌 시장 뿐만 아니라 국내 시장 역시 AI는 떠오르는, 가장 유망한 분야라고 할 수 있습니다. 시장 규모도 크고, 성장률도 탄탄하고, 국내외 많은 스타트업들의 대규모 투자를 유치하며 기술 개발에 매진하고 있습니다. 여기에, AI를 자사 비즈니스에 활용할 방법을 찾고 있는 일반 기업들도 점차 증가하고 있는 추세입니다만, 문제는 AI 진입장벽이 여전히 높다는 데에 있습니다. 

​

2. AI 시스템의 핵심 GPU와 NPU, 그리고 NVIDIA Tensor Core

 1) AI 시스템의 핵심, GPU와 NPU

<이미지 출처 : 한국수출입은행 I 해외경제연구소 / 인공지능산업 현황 및 주요국 육성 정책 보고서>

서론에서 보여드렸던 도표를 다시 가져왔습니다. 일단 AI를 시작하기 위해서는 위의 4가지 단계를 거쳐야 한다고 말씀드렸는데요. 퍼블릭 클라우드에서 제공하는 AI 서비스를 활용하기 위해서도 위 4단계는 반드시 거쳐야 합니다. AI 학습에 활용할 데이터를 클라우드에 두느냐, 온프레미스에 두느냐만 다를 뿐, AI를 시작하기 위한 허들은 결코 낮지 않습니다. 그렇다면, 클라우드를 활용하는 것은 어떨까요?

<이미지 출처 : PCMag, 10 Steps to Adopting Artificial Intelligence in Your Business>

앞서 언급한, AI 스타트업의 경우 시작부터 클라우드를 활용하는 것이 일반적입니다. 데이터 수집 및 저장, 가공에 필요한 인프라에 투자하기 보다는, 그 비용을 AI 알고리즘 개발에 투자하는 것이 더 효율적이니까요. 하지만 스타트업이 아닌 대다수의, 이미 오랫동안 자신들의 영역에서 비즈니스를 수행해온 일반 기업들은 다릅니다. 이미 수십년동안 비즈니스를 하면서 보유한 데이터를 학습시키기 위해 클라우드로 데이터를 이관하는 것도 큰일인데, AI 인공지능 모델을 개발해 학습 시킬때마다 소요되는 클라우드 서비스 사용 요금 역시 부담으로 다가올 수 있을테니까요.

따라서, 다른 선택지가 필요합니다. AI를 위한 데이터 수집을 위해 별도의 데이터 레이크를 구축하고, 데이터를 분류, 가공할 수 있는 시스템을 마련하고, 여기서 넘어온 데이터셋을 자체 개발한 AI 알고리즘으로 학습시킬 고성능 서버를 온프레미스 환경에 갖추어야 합니다. 여기서 핵심은 AI 학습을 빠른 시간 내에 처리해 줄 수 있는 시스템입니다. 

<이미지 출처 : Samsung Semiconstory, 인간의 뇌를 닮은 차세대 반도체, 신경망처리장치 NPU>

AI 알고리즘은 다수의 데이터를 반복적으로 학습합니다. 즉, 단순 작업을 많이 한다는 의미입니다. 서버의 핵심 부품인 CPU는 복잡한 작업을 빠르게 처리할 수 있지만 직렬처리 방식이기 때문에 다수의 작업을 처리하는 데에는 적합하지 않습니다. 반면 GPU는 덜 복잡한, 단순한 작업을 빠르게 처리할 수 있어 다수의 작업을 동시에 수행하는 병렬처리에 적합합니다. 그래서 AI 학습 시스템에 GPU를 활용하기 시작했는데, 문제는 높은 성능을 구현할 수록 비용 역시 많이 소요된다는 것입니다.

AI의 핵심 경쟁력은 높은 계산 능력, 즉 빠르게 데이터를 학습할 수 있는 능력입니다. 이를 위해서는 많은 GPU가 필요했지만 비용이 많이 드는 문제가 있었죠. 이를 해결하기 위해서 탄생한, 순수하게 AI 학습에만 집중할 수 있는 하드웨어가 바로 NPU(Neural Processing Unit)입니다. 따라서, 현재의 AI 학습 시스템은 NPU 성능에 달렸다고 볼 수 있습니다.

NPU 활용 예시로, Google은 TPU(Tensor Processor Unit)를 개발해 자사 클라우드에서 AI 학습에 최적화된 서비스를 제공하고요. Apple은 Neural Engine이라는 NPU를 자사의 모바일 AP인 A시리즈, 그리고 애플 실리콘 M시리즈에 다수 탑재해 아이폰과 아이패드, 맥북에서 다양한 AI 서비스를 제공하고 있습니다. 이 외에도 많은 프로세서 개발 회사들이 자체적인 NPU를 개발해 제공하고 있죠.

<이미지 출처 : Info Tech News, Graphics add-in board market: Nvidia increased market share to 80%>

그런데, 앞서 NPU가 탄생하기 전 AI 시스템의 핵심 부품은 GPU였다고 말씀드렸습니다. 그리고 이 GPU는 CPU 내장형이 아닌 외장형, 분리형(Discrete) GPU를 뜻합니다. 이 분야의 주요 제조사는 NVIDIA와 AMD이고요. 위와 같이 둘의 점유율은 꽤 차이가 많이 납니다. 2014년에는 차이가 62:38까지 좁혀졌지만 최근 2021년 2분기 기준으로는 80:20까지 벌어졌습니다.

물론 이 차트는 데스크톱 PC에 장착하는 외장형 GPU 라인업 전체를 포함하는 점유율입니다. AI 시스템, HPC, 워크스테이션과 같은 고성능을 요구하는 시스템에 장착되는 하이엔드 GPU(NVIDIA Quadro, Tesla vs AMD Pro)만 따로 떼어 놓고 측정한 점유율은 아니긴 합니다만, NVIDIA가 앞서가고 AMD가 따라가는 모양새로 해석해도 크게 무리는 없을 것입니다. 

그래서, 지금부터는 NVIDIA의 GPU와 NPU에 대해 좀 더 자세히 알아보겠습니다.

 2) NVIDIA Tensor Core

<이미지 출처 : NVIDIA Tensor Core GPUs Accelerate World’s Fastest Supercomputers>

NVIDIA는 2017년 5월 Volta 아키텍처 기반의 GPU를 발표했는데, 이 GPU에 NVIDIA의 NPU인 Tensor Core가 탑재됩니다. 기존에도 높은 성능의 GPU를 통해 AI 학습 시스템의 중추적인 역할을 해왔던 NVIDIA는 Tensor Core를 추가로 탑재함으로써 AI 학습 성능을 더욱 끌어올릴 수 있었습니다. 그리고 이 Tensor Core는 2018년 8월에 Turing 아키텍처 기반의 GPU에서 2세대, 2020년 5월에 Ampere 아키텍처 기반의 GPU에서 3세대 Tensor Core로 발전합니다.

NVIDIA의 Tensor Core가 장착된 GPU는 AWS, Azure 및 여타 유명 클라우드 서비스 기업들이 제공하는 AI 학습 서비스의 핵심입니다. 심지어 TPU라는 자체 NPU를 개발한 Google도 NVIDIA GPU 기반의 AI 학습 서비스를 제공합니다. 즉, NVIDIA GPU가 AI 학습 시스템의 중추적인 역할을 하고 있다도 봐도 될것입니다. 

NVIDIA는 2020년 5월, Ampere 아키텍처 기반의 GPU인 A100을 발표했습니다. 이 GPU는 3세대 Tensor Core를 탑재했고 이전 세대인 Volta 아키텍쳐 기반의 GPU인 V100 대비 AI 워크로드 처리 성능이 2.2배에서 최대 4.2배 향상되었고, 이 외에도 HPC 및 데이터 분석 워크로드에서도 이전 세대 대비 장족의 발전을 이루었습니다.(자세한 사항은 여기를 참고해 주세요.) 따라서 A100은 NVIDIA가 제시하는 AI 시스템의 핵심이라고 볼 수 있습니다. 그리고 많은 클라우드 서비스 기업들이 자사의 AI 학습 서비스를 위한 GPU에 A100을 비롯한 다양한 NVIDIA GPU를 옵션으로 제공하고 있고요.

그렇다면, NVIDIA의 Tensor Core가 장착된 최신 GPU인 A100 기반의 AI 시스템을 사용하기 위해서는, 앞서 언급한 유명 클라우드 서비스를 사용해야만 할까요? 그렇지 않습니다. NVIDIA는 클라우드가 아닌 자체 데이터 센터에, 온프레미스 기반의 AI 학습 환경을 구현하려는 기업들을 위해 DGX, HGX라는 두 가지 GPU 서버 기반의 시스템을 제공합니다. 

DGX는 NVIDIA가 제공하는 CPU보드, GPU보드, NVLink 백플레인이 통합된 일체형 서버이고 HGX는 CPU보드가 없고, SXM 폼팩터의 A100에 NVLink, 인피니밴드 네트워크가 통합된 보드 플랫폼으로 탑재된 GPU 개수에 따라 SXM A100 4개, 8개, SXM A100 8개 x 2의 세 종류로 제공됩니다.

1부의 내용은 여기까지고요.  아래와 같이 NVIDIA DGX 시스템에 대한 설문조사 이벤트도 진행하고 있으니 관심 있으신 분들의 많은 참여 부탁드립니다. 

• ●설문 참여 바로가기

위 배너에서 언급된 NVIDIA DGX 시스템은 이어지는 2부에서 소개합니다. NVIDIA Ampere 기반 GPU인 A100이 탑재된, NVIDIA의 자체적인 일체형 AI 시스템, DGX 제품 라인업에 대해 자세히 소개해 드릴게요. 더불어 기업이 AI 인프라를 위해 왜 NVIDIA DGX 시스템을 사용해야 하는지, NVIDIA가 바라는 AI의 미래가 궁금하신 분들은 2부 콘텐츠 놓치지 마세요. 끝!