국내 데이터 센터 중 AI 워크로드를 실제로 감당할 수 있는 시설은 전체의 5%도 안 됩니다. 이 수치를 처음 접했을 때 저는 솔직히 "그래도 설마 그 정도는 아니겠지" 싶었는데, 관련 자료들을 따라가다 보니 오히려 5%도 후하게 잡은 숫자일 수 있겠다는 생각이 들었습니다. AI 투자 포트폴리오를 처음 구성할 때 반도체 종목만 담았다가 소프트웨어 기업들이 훨씬 빠르게 오르는 걸 눈앞에서 지켜봤던 기억이 납니다. 그때 깨달은 게 있습니다. 하드웨어를 만드는 것과, 그 위에서 돌아가는 지능을 만드는 것은 완전히 다른 게임이라는 사실이었습니다.
병목 경쟁력: 지금 한국이 쥔 카드의 진짜 무게
최태원 SK그룹 회장이 국회 강연에서 AI 경쟁력을 좌우하는 네 가지 제약 요인을 꼽았습니다. 자본, 에너지, GPU, 그리고 메모리 칩입니다. 이 네 가지 중 하나라도 부족하면 AI 시스템을 제대로 구축하고 운영할 수 없다는 논리인데, 단순해 보여도 꽤 강력한 프레임입니다.
여기서 핵심은 '병목(bottleneck)'이라는 개념입니다. 병목이란 전체 시스템의 속도를 결정하는 가장 느린 구간을 뜻합니다. 공급이 가장 부족한 자원이 전체 AI 산업의 확장 속도를 제한한다는 의미입니다. 지금 그 병목이 바로 메모리 칩, 그중에서도 HBM(High Bandwidth Memory)입니다. HBM이란 기존 DRAM보다 데이터 전송 속도가 수십 배 빠른 고대역폭 메모리로, GPU와 함께 대규모 AI 모델을 구동하는 데 필수적인 핵심 부품입니다. 삼성전자와 SK하이닉스가 전 세계 HBM 시장에서 압도적인 점유율을 유지하고 있는 지금, 이 병목 구간의 주도권을 한국이 쥐고 있다는 것은 단순한 수출 실적 이상의 전략적 의미를 갖습니다.
제가 직접 AI 관련 기업들의 실적 자료를 들여다봤을 때도, 엔비디아가 발주하는 HBM 물량이 매 분기마다 가파르게 늘어나고 있다는 사실이 보였습니다. 수요가 공급을 초과하는 구간에서 공급자의 가격 협상력은 자연히 올라갑니다. 지금이 그 구간입니다.
AI 경쟁력의 네 가지 병목 요인을 정리하면 다음과 같습니다.
- 자본: 대규모 데이터 센터 구축과 운영에 필요한 초기 투자 재원
- 에너지: AI 연산에 소모되는 막대한 전력 공급 능력
- GPU: 대규모 언어 모델 학습과 추론을 처리하는 연산 가속기
- 메모리 칩(HBM): GPU와 함께 AI 연산을 뒷받침하는 고대역폭 메모리
강연에서 언급된 엔비디아의 전략도 눈여겨볼 만합니다. 완벽한 제품을 기다리기보다 먼저 시장에 진입해 생태계를 장악하고, 이후 완성도를 높이는 방식입니다. AI 시장에서는 타이밍이 완성도보다 먼저라는 뜻인데, 저는 이게 투자 관점에서도 그대로 적용된다고 봅니다. 제 경험상 이건 좀 다릅니다. 완벽한 시점을 기다리다 진입 타이밍을 놓친 경우가 투자에서도, 사업에서도 더 큰 손실로 이어지는 경우가 많았습니다.
국내 AI 인프라 현황에 대한 진단도 냉정하게 봐야 합니다. 1GW 규모의 AI 전용 데이터 센터를 짓는 데 약 73조 원이 필요합니다. 여기서 데이터 센터란 AI 모델을 학습하고 추론하는 연산 자원을 집약한 시설로, 단순한 서버실이 아니라 AI 지능을 생산하는 인프라 공장에 해당합니다. 국내 전력 예비율은 충분한 편이지만, 송전 효율이 낮아 필요한 곳에 전기를 효과적으로 보내지 못하는 구조적 한계가 있습니다. 분산 발전(Distributed Generation) 방식이 대안으로 거론되는 이유입니다. 분산 발전이란 중앙에서 대규모로 전력을 생산해 멀리 전송하는 대신, 소비 지점 근처에서 직접 전력을 생산하는 방식입니다. 데이터 센터 인근에서 전력을 자체 생산하면 송전 손실을 줄이고 공급 안정성도 높일 수 있습니다.
국내 데이터 센터 투자 현황에 대해 과학기술정보통신부는 AI 데이터 센터 확충을 국가 전략 과제로 명시하고 관련 지원 정책을 추진하고 있습니다(출처: 과학기술정보통신부).
AI 인프라와 한일 협력: 대담한 제안, 현실적인 온도차
강연에서 가장 파격적인 제안은 한일 경제 통합이었습니다. 한국과 일본의 GDP를 합산하면 약 6조 달러 규모로, 이는 중국 GDP의 약 3분의 1 수준에 해당합니다. 이 정도 경제 블록이 형성되면 미중 패권 경쟁에서 어느 한쪽에 일방적으로 끌려가지 않고 독자적인 외교·경제 레버리지(leverage)를 행사할 수 있다는 논리입니다. 레버리지란 작은 힘으로 큰 결과를 이끌어내는 지렛대 효과를 의미하며, 여기서는 협상력과 국제 발언권을 뜻합니다.
첫 단계로 전력망 연결을 제안한 것은 비교적 현실적인 접근입니다. 에너지를 함께 생산하고 나누면 양국 모두 비용 효율이 높아지고, 절감된 자원을 AI 인프라 투자로 전환할 수 있다는 계산입니다. 하지만 저는 여기서 솔직히 온도차를 느낍니다. 전력망 연결 하나만 해도 수십 년에 걸친 외교적 합의와 대규모 인프라 투자가 필요합니다. 한일 관계의 역사적 변수와 국내 정치적 민감성을 고려하면 단기 시나리오로 보기는 어렵습니다.
그럼에도 이 제안이 의미 있는 이유는 방향성 때문입니다. 한국 혼자 AI 인프라 격차를 메우기에는 자본과 에너지 조달 모두 한계가 있습니다. 일본은 전력 인프라와 자본 조달 능력에서 보완적 강점을 가지고 있습니다. 제가 직접 글로벌 AI 인프라 투자 흐름을 살펴봤을 때도, 단일 국가 단위로 AI 생태계를 완결하려는 시도보다 지역 내 협력을 통해 인프라를 분담하는 모델이 실제로 빠르게 확산되고 있었습니다. 유럽이 AI 공동 데이터 인프라 구축을 논의하는 것도 같은 맥락입니다.
결국 이 강연의 핵심 메시지는 하나로 수렴됩니다. 한국의 성장 모델을 물리적 상품 수출에서 AI 지능 수출로 전환해야 한다는 것입니다. 반도체라는 하드웨어를 만드는 것에서 그 위에 올라가는 AI 모델과 서비스, 즉 지능 자체를 수출 경쟁력으로 키워야 한다는 방향입니다. 제 경험상 이건 투자자 입장에서도 유효한 프레임입니다. 하드웨어 공급망을 쥔 기업이 단기 수혜를 가져가지만, 지능을 만드는 플랫폼을 장악한 기업이 장기 수익을 가져가는 구조는 PC 시대부터 스마트폰 시대까지 반복됐습니다.
한국의 AI 경쟁력에 관한 연구도 같은 방향을 지목합니다. 한국과학기술기획평가원(KISTEP)은 국내 AI 기술 경쟁력 분석에서 하드웨어 분야의 강점을 소프트웨어 및 서비스 영역으로 확장하는 전략이 필수적이라고 진단했습니다(출처: 한국과학기술기획평가원).
지금 메모리 칩이라는 병목 구간에서 한국이 가진 경쟁력은 분명히 실재합니다. 하지만 이 우위는 영구적이지 않습니다. 병목이 이동하면, 우리가 서 있는 자리의 가치도 달라집니다. 지금 이 타이밍에 AI 인프라 투자를 가속하고, 지능 수출이라는 다음 단계를 준비하는 것이 단순한 선택이 아니라 생존 전략에 가깝다는 게 저의 판단입니다. 관심이 있으신 분이라면 국내 AI 데이터 센터 인프라 투자 방향과 HBM 공급망 변화 흐름을 함께 추적해 보시길 권합니다.
이 글은 개인적인 경험과 의견을 공유한 것이며, 전문적인 투자 조언이 아닙니다.