전략 자산으로 떠오른 GPU, 해법은 NPU에서 찾아야

현지 시간으로 10월 24일, 백악관이 「인공지능 분야에서 미국의 리더십을 강화하고, 국가 안보 목표를 달성하기 위해 인공지능을 활용하고, 인공지능의 안전성과 보안성, 신뢰성을 강화하기 위한 각서 」를 발표했다. 각서의 주제는 ▲ 인공지능의 활용 ▲ 국가 안보를 위한 정보 ▲ 안정성 및 보안 강화 ▲신뢰성이며, 미국 정부 전체에서 활용하는 AI 모델과 기반 기술에 대한 활용 원칙, 그리고 미국의 국가 안보에 위험을 초래하는 적대적 AI 사용에 대한 대응을 담고 있다.

백악관이 지난 10월 24일(현지 시각) ‘인공지능 분야에서 미국의 리더십을 강화하고, 국가 안보 목표를 달성하기 위해 인공지능을 활용하며, 인공지능의 안전성 및 보안성, 신뢰성을 강화하기 위한 각서’를 발표했다 / 출처=백악관

성명은 ‘기술적 변화의 예측은 불가능하나, 최근 AI의 발전은 약화될 조짐이 거의 없다. 여기에는 지속적인 알고리즘 개선, 더 효율적으로 발전하는 컴퓨팅 하드웨어, 산업계의 연구개발 및 투자 증가, 학습 데이터 셋 확장이 포함된다. 현재 상황에서 AI는 더 강력하고 범용적으로 발전할 것이고, 앞으로는 과거에 필요했던 것 이상의 자원, 인프라, 역량, 작업이 필요해질 것’이라는 내용을 담고 있다. 업계에서는 미 정부가 공식적으로 인공지능을 국가 안보의 중대 사항으로 인정했다고 본다.


“지난 50년 간 발전보다 다음 10년의 기술이 더 빠를 것”

미국은 지금도 AI 생태계를 주도하는데, 완전히 미국 중심의 패권주의를 추구하겠다는 의지를 내비쳤다. 앞으로는 연방 정부 차원에서 AI 관련법 제도 정비와 기술적 표준화, 유관 기관의 협력 및 지원, 인적 자원 확보 및 보호 등을 진행하게 된다. 또한 최첨단 기술을 보호하고, 인프라의 해외 유출을 방지해야 한다며, 사실상 GPU 등 최신 AI 반도체를 관리하겠다는 내용도 담았다.

제이크 설리번 미 국가안보보좌관이 24일 워싱턴DC 국방대학에서 각서 내용을 소개했다 / 출처=포브스

지금까지 미국이 AI 산업을 주도한 배경은 구글, 메타, 마이크로소프트 등의 빅테크 기업들 덕분이었다. 하지만 이 기업들이 모두 AI 기술을 개발할 수 있었던 배경에는 엔비디아의 공이 절대적이다. 업계에서는 ‘구글, 메타가 광산을 개척하는 사업을 한다면, 엔비디아는 삽과 곡괭이를 팔고 있다’고 말한다. 삽과 곡괭이가 없다면 광산을 개척할 수도, 밭을 개간할 수도 없으니 이를 가능하게 돕는 엔비디아의 역할이 그만큼 크다는 말이 된다.


엔비디아 AI 반도체 점유율 98%, 시장 상황은?

시장조사기관 테크인사이츠가 집계한 2023년 글로벌 데이터센터용 GPU 출하량은 385만 개다. 2022년 267만 개에서 약 44% 증가했다. 이중 엔비디아가 출하한 데이터센터용 GPU는 376만 개로 시장 수요의 전체에 가깝다. AMD는 1월 초 인스팅트 MI300 시리즈를 내놨고, 인텔은 이제 막 가우디 가속기를 내놓은 시점이지만 두 기업의 판매량을 합쳐도 9만 개에 불과하다. 시장 규모는 2029년까지 3550억 달러(약 490조 원)까지 성장할 전망인데, 이변이 없다면 엔비디아의 점유율은 계속 높게 유지될 것이다.

젠슨 황 엔비디아 최고경영자가 현지시간으로 10월 24일 뭄바이에서 열린 엔비디아 AI 서밋에서 발표 중이다 / 출처=엔비디아

엔비디아가 AI 반도체 점유율을 독점하는 이유는 이 시장 자체를 엔비디아가 만들었기 때문이다. 엔비디아는 2006년 게이밍 그래픽 생성 등에 쓰이던 부동소수점 연산 처리 성능을 범용 계산 용도로 쓰는 GPGPU(General-Purpose computing on Graphics Processing Units) 개념을 제안했고, 20여 년 간 GPGPU를 고연산 작업에 활용할 수 있도록 쿠다 플랫폼 및 API 생태계를 만들어왔다.
이후 시간이 지나 인공지능과 컴퓨터 기술이 발전했고, AI 모델을 대중적으로 쓸 수 있게 되며 엔비디아의 영향력은 더욱 커졌다. 엔비디아는 사전 훈련된 딥러닝 프레임워크가 엔비디아 GPU에서 구동될 수 있도록 돕는 텐서RT 소프트웨어 개발 도구, 쿠다 기반으로 딥러닝 네트워크를 구동하는 cuDNN 등의 생태계 등을 구성해 시장에 제공했고, 시장에서는 엔비디아 GPU로 AI를 개발하는 것이 표준으로 자리 잡았다.


GPU, AI 개발에서 어떤 역할 하나?

현재 AI 개발 환경에서 GPU가 쓰이지 않는 분야는 거의 없다. 인공지능 모델은 대규모 데이터셋을 가공해 특정 기능을 하도록 만든 것이다. 이 과정을 ‘학습(Training)’이라 하며, 연산 처리에 GPU의 부동소수점 처리 성능이 동원된다. 이미지를 인식하거나 자연어를 처리하고, 목소리 등을 분석하는 AI 모델이 모두 GPU 하드웨어로 만들어진다. 연산 처리가 가능하다면 어떤 하드웨어든 가능하지만, 지금으로는 엔비디아 GPU가 가장 효과적이다.

엔비디아 NVIDIA GB200 NVL72 기반 서버, 36개의 엔비디아 그레이스 CPU와 72개의 블랙웰 GPU가 NV링크로 연결된다 / 출처=엔비디아

게다가 엔비디아 GPU는 NV링크라는 GPU 연결 기술을 토대로 수십에서 수만 대의 GPU를 가속 컴퓨팅으로 연결할 수 있다. 이를 통해 기상, 유통, 생물학, 화학, 천문학 등 대규모 데이터를 분석하고 시각화하는 작업에도 활용한다. 3D 모델링이나 물리 시뮬레이션 등을 활용해 영상 제작, 게임, 건축 등의 분야에서도 쓰인다.

한편 엔비디아 GPU의 품귀 현상으로 인해 갈수록 제품의 단가는 올라가고, 수급은 어려워지고 있다. 특히나 간단한 AI 모델 구축에도 GPU를 활용해야 하는데, 제품 단가나 높은 전력 소비량이 발목을 잡고 있다. 이 때문에 엔비디아 GPU를 대체하기 위해 AMD 인스팅트 MI 300 시리즈나 인텔 가우디 3 AI 가속기 같은 GPU나 퓨리오사AI, 세레브라스, 시마.ai 등의 NPU가 대체제로 떠오르는 것이다.


NPU, GPU로 진행하는 AI 추론의 대체제

이 내용까지가 2024년 10월까지의 일이고, 앞으로는 미국 정부가 나서서 AI 하드웨어를 관리하기 시작한다. AI 가속기 수급에 어려움을 겪는 국가는 노선을 전면 수정해야 할 수 있고, AI 동맹국가 역시 자생력을 확보해야 하는 상황이 됐다. 곡괭이를 안 팔면 광산도 개척할 수 없다.

퓨리오사AI의 2세대 NPU 레니게이드(RNGD)의 시스템 온 칩(SoC) / 출처=퓨리오사AI

앞으로도 AI 훈련이나 대규모 데이터 처리에 GPU 이외의 대안은 마땅치 않지만, AI 전용 반도체인 NPU가 성능을 높이면서 대안으로 산업적 대체제로 쓰이기 시작했다. GPU의 경우 부동 소수점 연산에 최적화돼 있고, 텍스처 및 그래픽 렌더링에 강하다. 그래서 AI 가속기로 활용하면 전력 효율이 크게 떨어진다. 반면 NPU는 신경망 연산에 최적화된 설계고, 정수 연산이나 저정밀 부동 소수점 연산 처리에 특화됐다. AI 가속기로의 피크 성능(최대치)은 다소 떨어지지만, 전력 효율은 훨씬 뛰어나다.

메모리 측면에서도 GPU는 대량의 데이터를 다루기 위해 캐시 구조가 복잡하고, 빠른 대역폭이 더 중요하므로 고성능 메모리를 높은 용량으로 써야 한다. 반면 NPU는 데이터 접근 패턴을 예측할 수 있고, 필요한 데이터만 가져올 수 있어서 상대적으로 용량이 적어도 효율이 좋다.


퓨리오사AI, 2세대부터 GPU 넘보기 시작

NPU가 GPU의 대체제로 떠오르면서 국산 NPU 기업들의 행보도 중요해졌다. 퓨리오사AI가 지난 21년 공개한 1세대 칩 워보이(WARBOY)는 64TOPS(초당 64조 회 연산)의 성능을 제공했고, 비전인식이나 음성 분석, 엣지 컴퓨팅 등 저성능 GPU의 추론 작업을 일부 대체하는 용도로 사용됐다.

퓨리오사AI RNGD와 엔비디아 H100, L40S GPU간의 주요 성능 비교 / 출처=퓨리오사AI

올해 출시된 2세대 반도체 ‘레니게이드(RNGD) NPU부터는 수준이 한층 올랐다. RNGD는 총 48GB의 HBM3 메모리와 400억 개의 트랜지스터가 내장된 5nm 시스템 온 칩(SoC)로 구성됐다. SoC는 메모리 내 데이터를 재사용하는 텐서 축약 프로세서(TCP) 기술이 적용돼 전력 효율을 최적화했고, 작업 속도도 더 끌어올렸다. 열 설계 전력도 150W 수준으로 낮아 데이터 서버의 냉각 소비전력을 줄이는 데 일조한다.

사우디아라비아 리야드에서 열린 글로벌 AI 서밋(GAIN)에서 아마드 알코웨이터 아람코 기술혁신 담당 수석 부사장이 연설 중이다 / 출처=아람코

AI 업계에서는 발 빠르게 도입하는 추세다. 퓨리오사AI는 지난 21일, RNGD 소프트웨어 스택을 활용해 메타 Llama 3.1 70B 등 중간 규모의 LLM 모델 구동을 시연했고, 인공지능 산업 클러스터 기관(AICA)와 국가정보통신산업진흥원(NIPA)의 데이터센터에도 제품을 설치했다. 또한 사우디 아람코와 양해각서를 체결하고 슈퍼컴퓨팅 및 AI 분야의 협업을 모색한다. GPU의 높은 단가와 낮은 전력 소모 환경에 대한 한계를 NPU에서 찾기 시작한 것이다.


AI 반도체 경쟁 격화··· 시장 가능성 지원해야

최근 퓨리오사AI는 2세대 RNGD 기반 서버를 고객사에 제공하기 시작했다 / 출처=퓨리오사AI

백악관의 발표에는 ‘AI 개발의 현재 추세는 계산 리소스에 크게 의존한다. AI에서 선두를 유지하려면 미국은 세계에서 가장 정교한 AI 반도체를 계속 개발하고, 가장 진보된 AI 전용 계산 인프라를 구축해야 한다’라는 내용이 있다. 따라서 미국은 앞으로 고성능 AI 반도체 개발을 우선순위로 둘 것이고, 후발 주자인 우리나라 기업과 정부도 미국의 반도체 우선 주의를 꾸준히 염두에 두고 시장을 형성해야 한다.

특히나 2022년 발효된 미국 반도체 및 과학법을 통해, 우리는 미국이 자국의 이익을 위해 주요 동맹국도 압박한다는 점을 확인했다. 앞으로 엔비디아를 비롯한 미국산 AI 반도체의 활용 가치가 커질수록, 수급이 어렵거나 제품 등급에 차등을 두는 일 등이 벌어질 가능성이 크다. 이런 경우에 대비해서라도 퓨리오사AI를 비롯한 NPU 기업의 성장 가능성을 지원하고, 더 나아가 NPU 산업이 AI 시장의 새로운 가능성으로 자리 잡도록 생태계가 구축되어야 할 것이다.

IT동아 남시현 기자(sh@itdonga.com)