AI를 위한 신개념 인프라, 엣지 데이터센터

“GPU 서버를 돌릴 데가 없다는 게 무슨 말이에요? 널리고 널린 게 IDC인데요?” 

어렵게 GPU 서버를 구했더라도, 정작 사내 전산실에서는 돌릴 수 없습니다. 왜 그럴까요? GPU 서버는 기존 전산실이 감당하기 힘든 수준의 전력과 냉각 인프라를 요구하기 때문입니다. 지금까지 대부분의 IDC는 웹사이트나 ERP, 이메일 서버처럼 상대적으로 부하가 적은 x86 기반 서비스를 위한 공간으로 설계되어 운영되어왔죠. 그래서 일반적인 IDC의 랙당 평균 전력 공급량은 약 2.2kW에 불과합니다.

그런데 NVIDIA DGX-H100 같은 최신 GPU 서버는 어떨까요? 예를 들어, H100 GPU 8개가 탑재된 서버는 GPU만으로 약 5.6kW의 전력을 소비하고, 여기에 CPU, 메모리, 스토리지 등 전체 구성까지 포함하면 총 전력 소비량이 7kW를 넘습니다. 심지어 DGX-H100은 2.8kW급 파워 서플라이 6개(4+2 이중화) 구성을 전제로 최대 14kW 전력 공급까지 고려해 설계됐죠. 즉, GPU 서버 한 대가 일반 랙 6~7개의 전력을 혼자서 쓰는 셈입니다.

<이미지 출처: The AI Boom Could Use a Shocking Amount of Electricity | Scientific American>

기존 IDC는 보통 한 층에 수백 대의 랙을 배치할 수 있지만, GPU 서버가 들어오는 순간 상황이 달라집니다. GPU 서버에 전력을 몰아주다 보면 다른 랙에는 전기를 공급할 수 없어 공간이 남아도 사용을 못 하는 ‘상면 낭비’ 현상이 생기죠. 이로 인해 운영 효율은 급감하고, 전력 증설 공사비와 공실로 인한 손실까지 더해집니다.

더 큰 문제는 냉각입니다. GPU는 CPU보다 훨씬 더 많은 열을 발생시키기 때문에, AI 학습처럼 고부하 상태가 지속되는 작업에서는 훨씬 더 높은 냉각 성능이 요구되죠. 기존 IDC의 냉각 시스템만으론 이를 감당하기 어렵고, 성능 저하나 심할 경우 장비 손상의 위험까지 생길 지도 모릅니다.

이처럼 기존 IDC는 전력과 냉각 면에서 GPU 서버 운영에 비효율적일 수밖에 없습니다. 하지만 AI 도입은 이미 본격화되고 있고, GPU 인프라 수요도 빠르게 증가하고 있죠. 이런 상황에서 기존 IDC 대비 5~10배의 전력을 감당하면서도, 수도권 내에서 물리적 접근성까지 갖춘 데이터센터가 있다면 어떨까요? 

그래서 이번 콘텐츠에서는 두 편에 걸쳐 이런 요구를 충족할 수 있는 데이터센터가 어떤 형태인지, 어떤 장점이 있는지, 그리고 어떤 기업에 적합한지를 자세히 살펴보겠습니다. 첫 번째 글의 목차는 아래와 같습니다.

​

1. “GPU는 있는데 전기가 없다” – 수도권 AI 인프라의 현실

<이미지 출처: The Economist, Data centres improved greatly in energy efficiency as they grew massively larger>

“우린 장비도 있고 예산도 있는데, 한전이 전기를 못 준대요.”

수도권에 AI 전용 데이터센터를 직접 짓고 싶어도, 가장 먼저 마주치는 현실적인 벽은 바로 ‘전력’입니다. 특히 10MW 이상의 전력을 사용하는 설비는 반드시 ‘전력개통영향평가’를 거쳐야 하거든요. 이 평가는 해당 시설이 전력망에 어떤 영향을 주는지를 분석하는 절차로, 한국전력이 공급 가능하다고 판단해야 전기를 받을 수 있습니다. 실제로 KT는 용인지사에 60MW급 데이터센터를 계획했지만, 한전으로부터 “현재는 30MW까지만 가능하고, 나머지 30MW는 2030년 이후에야 공급할 수 있다”는 통보를 받았다고 합니다. 예산이 있어도, 당장 전기를 공급받지 못하는 일이 벌어질 수 있다는 겁니다.

이런 상황에서, 스타트업이 대규모 투자를 유치해 수도권에 AI 특화 데이터센터를 짓는다고 해도 문제는 여전합니다. 전력 인프라를 새로 구축하려면 수년이 걸리고, 전용 변전소를 세우기 위해 인허가와 부지 확보 등 복잡한 과정을 거쳐야 하죠. 결국 이때문애 센터 완공까지 3~5년이 소요되는 경우가 발생합니다. 그런데 문제는, 기술은 그 사이 가만히 있지 않는다는 겁니다. GPU의 전력 수요는 빠르게 증가하고 있고, 최첨단 인프라를 계획한 센터가 막상 오픈 시점엔 시대에 뒤처질 가능성도 배제할 수 없습니다.

<이미지 출처: Forbes, Could Lack Of DOGE Hamper Countries From Capturing The AI Bounty?>

결국 문제는 ‘공간’보다 ‘위치’와 ‘전기’라고 할 수 있습니다. 한국의 AI 생태계는 수도권에 집중돼 있죠. AI 스타트업은 강남, 마곡, 성수에, 연구소와 R&D 센터는 판교, 서초, 관악 등에 몰려 있습니다. 그런데 이들이 GPU 서버를 돌릴 센터가 부족하고, 전기 인입 문제로 인해 입주조차 쉽지 않다면? 이것은 단순한 불편을 넘어, 수도권에서 AI 자체를 구동할 수 없는 구조적인 리스크입니다. 그래서 많은 팀들이 어쩔 수 없이 클라우드 서비스를 비싼 비용을 감수하면서 이용하고 있는 실정입니다.

GPU는 확보했지만, 돌릴 공간이 없다? AI 인재는 수도권에 몰려 있는데, 인프라는 없다? 이건 한국 AI 산업의 자립성과 경쟁력을 위협할 수 있는 심각한 문제가 될 수 있습니다. 그래서 지금 필요한 것은 새로운 방식입니다. 3~4년이 걸리는 초대형 센터도 아니고, 수도권 외곽의 값비싼 시설도 아닌, 이미 전력이 확보된 도심 내 건물을 빠르게 리모델링해 GPU 수십 대라도 당장 안정적으로 돌릴 수 있는 센터. 현실적이고 유연한 인프라. 이것이 바로 ‘AI 엣지 데이터센터(Edge Data Center)’입니다.

​

2. 도심 한복판에 AI 인프라를 만드는 법 - AI 엣지 데이터센터

“센터 짓는 데 4~5년 걸린다는데... 우리는 GPU를 지금 돌려야 하거든요.”

하이퍼스케일급 데이터센터가 AI 시대의 핵심 인프라로 주목받고 있는 건 사실입니다. 하지만 GPU 서버를 직접 운영하려는 모든 기업이나 기관에 꼭 맞는 해답은 아닐 수 있죠. 무엇보다 수도권은 전력 인입에 제약이 크고, 센터 하나를 짓는 데만 해도 몇 년이 걸리는 게 현실이니까요. 그렇다면 이런 상황에서 AI 인프라를 확보할 수 있는 가장 현실적인 대안은 무엇일까요? 지금 시점에서는 단연 ‘AI 엣지 데이터센터(AI Edge Data Center)’라고 할 수 있겠습니다.

<이미지 출처: Sunbird DCIM, What is an Edge Data Center?>

• ■AI 엣지 데이터센터란?

AI 엣지 데이터센터는 지방 외곽에 대규모로 조성되는 전통적인 센터가 아닙니다. 서울 및 수도권 내에 있는 유휴 공간, 예를 들어 물류창고, 공장, 상업용 건물을 5~8개월 내에 빠르게 리모델링해 GPU 서버 운용에 최적화된 환경으로 바꾼 센터입니다. 마곡의 물류창고 한 동, 삼성역 인근의 오피스 건물 한 층을 개조해 GPU 수백 대를 가동할 수 있는 공간으로 전환하는 식이죠.

• ■비용도 절감된다, 하이퍼스케일 대비 50~60% 수준

AI 엣지 데이터센터는 ‘꼭 필요한 구성’만 갖추고, 불필요한 설비는 과감히 덜어냅니다. 덕분에 다음과 같은 영역에서 비용을 절감할 수 있습니다: 

• ●기존 건물 리모델링 → 부지 비용 절감 항온항습

• ●출입 통제 → 실용 수준만 적용

• ●전력, 냉각 시스템 → 발열 지점 중심의 집중 설계 

이런 전략을 통해 하이퍼스케일 센터 대비 절반 수준의 비용으로도 충분한 AI 인프라를 구축할 수 있습니다. 중소, 중견기업이나 스타트업 입장에서는 매우 현실적인 선택지가 될 수 있다는 겁니다.

• ■엣지는 단지 ‘작은 센터’가 아니다 

AI 엣지 데이터센터는 수도권 도심에 위치하며, 구축 속도가 빠르고, 고전력 GPU 서버를 수용할 수 있는 역량을 갖추고 있습니다. 게다가 전력 규제에 유연하게 대응할 수 있고, 고객이 직접 방문해 장비를 설치하거나 점검할 수 있는 환경까지 제공합니다. 즉, 위치, 속도, 전력, 규제 대응, 비용이라는 AI 인프라 시대의 5가지 핵심 조건을 모두 충족하는, 전략적이고 실용적인 해법이라 할 수 있습니다.

​

3. 고가용성보다 중요한 것 - AI 워크로드를 위한 인프라의 본질은?

“GPU 서버도 당연히 고가용성이 제일 중요하지 않나요?”

그럴 수 있습니다만 AI 인프라에서는 조금 다른 기준이 적용됩니다. AI 모델 학습은 ERP처럼 실시간 서비스를 제공하는 시스템이 아니거든요.보통 몇 시간에서 며칠간 연산을 돌리는 배치형 작업이기 때문에, 중간에 잠시 멈췄다가도 체크포인트 기능을 통해 이어서 다시 학습을 진행할 수 있죠. 그래서 이 분야에서는 무중단 가용성보다는 고용량 전력을 안정적으로 공급할 수 있느냐가 더 중요하게 여겨집니다.

<이미지 출처: Claudio Lima blog, Sorry Mr. AI, But We’re Out of Power: The Looming Energy Crisis for Generative AI-at-Scale>

• ■GPU는 전기를 일정하게 쓰지 않는다

AI 워크로드는 작업 단계마다 GPU의 부하와 전력 소모가 크게 달라집니다. 일반적인 웹 서비스처럼 고르게 전력을 사용하는 게 아니라, 학습 프로세스의 특정 구간에서는 전력 소비가 급격히 늘었다 줄었다를 반복합니다. 예를 들어

• ●모델 초기화 단계: 메모리 로딩 및 가중치 초기화 과정에서 GPU가 한꺼번에 활성화되며 전력 소비가 급증합니다. 일종의 “시동 거는 구간”이죠.

• ●첫 번째 에폭(Epoch): 전체 데이터셋이 GPU를 처음 통과하는 구간으로, 연산량이 가장 많고 GPU가 풀로드 상태로 돌면서 전력 피크에 도달합니다. 

• ●데이터 로딩, 통신 대기 구간: 배치 대기나 분산 학습의 동기화 과정에서는 일시적인 유휴 상태가 발생하며 전력 소모가 급감합니다. 

• ●하이퍼파라미터 튜닝: 여러 모델을 병렬로 실험하면서 GPU 활용도가 다시 상승하고, 전력 사용량도 다시 급격히 증가합니다. 

따라서 GPU 서버 운영을 위한 데이터센터는 단순히 총 몇 MW의 전력을 공급할 수 있느냐가 아니라, 급격한 전력 변화에 얼마나 안정적으로 대응할 수 있는가를 주안점에 두고 설계해야 합니다.

<이미지 출처: AIInvest, AI, Power Consumption, Tariffs: 3 Market Themes for 2025>

• ■AI는 고객마다, 워크로드마다 완전히 다르다 

GPU를 쓰는 목적도, 구조도, 중요시하는 요소도 제각각입니다: 

• ●A사: 대규모 언어모델 학습 → 전력 밀도 + 고속 네트워크 

• ●B사: 실시간 추론 서비스 → 안정적 네트워크와 이중화(Redundancy) 

• ●C사: 기존 장비에 GPU 카드 장착 → 부분 전력 인입 + 열 제어

• ●D사: 초기부터 수냉식 GPU 서버 도입 원함

이처럼 AI 인프라를 도입하는 기업들은 스타트업, 중견기업, 대기업 R&D 부서, 대학 연구소 등 매우 다양합니다. 따라서 정해진 ‘표준 설비’로는 대응하기 어렵고, 고객마다 다른 요구에 맞춘 맞춤형 설계가 필요합니다. 게다가 AI 기술 자체가 빠르게 진화하는 만큼, 고정된 구조보다 유연하고 확장 가능한 인프라가 훨씬 중요하다고 할 수 있겠습니다.

이처럼 AI 인프라를 위한 데이터센터는 모든 면에서 일반적인 센터와 달라야 합니다. 그런데 문제는, 이런 까다로운 기업의 AI 인프라 요구 조건을 수용할 수 있는 센터를 수도권 근처에서 찾아보기 어렵다는 겁니다. 이미 수도권 지역의 데이터센터는 포화 상태라서 새로운 GPU 서버를 운영할 공간이 턱없이 부족하고, 설상 가상으로 앞서 언급했던 전력 문제로 인해 스타트업이나 연구소들이 자체적인 GPU 서버를 운영할 만한 공간을 수도권에서 찾기도 어렵습니다. 그럼, 이런 기업들은 어떻게 해야 할까요? 

<이미지 출처: DCP 홈페이지, DCP에서 운영 중인 수도권 및 지방의 GPU 전용 AI 엣지 데이터센터>

이런 고민에 실질적인 해결책을 제시하고 있는 곳이 바로 DCP입니다. DCP는 수도권에서 AI 워크로드를 위한 전력 설계, 냉각, 랙 구성, 네트워크 구조를 전부 고객 맞춤형으로 설계하고 구축해서 운영하고 있는데요. GPU 서버 운영에 특화된 AI 엣지 데이터센터를 수도권에서 제공하고 있는 기업입니다. 그렇다면, DCP의 데이터센터는 일반 IDC와 뭐가 다를까요? 어떻게 도심에서도 안정적으로 GPU 서버를 돌릴 수 있는 공간을 제공할 수 있는 것일까요? 다음 글에서 DCP AI 엣지 데이터센터의 차별화된 특징들을 좀 더 구체적으로 살펴보겠습니다.

끝!