엔비디아 Blackwell·AMD MI350 로드맵 총정리: 성능 포인트, 출시 타임라인, 투자 체크리스트(2025)
블랙웰 vs MI350, 2025 AI 가속기 판도 싹 정리
2025년 기준, 데이터센터 AI 가속기의 판이 다시 짜이고 있습니다. Blackwell의 FP4·NVLink 도메인과 MI350의 CDNA 4·ROCm 생태계가 각자의 해답을 들고 나왔죠. 핵심 스펙과 일정, 그리고 투자 관점의 체크리스트를 한 번에 정리했습니다.
안녕하세요. 실무 데이터를 바탕으로 AI 인프라 투자 포인트를 해석해 드리는 안내자입니다. 복잡한 숫자와 약어가 쏟아지는 시장일수록, 구조를 먼저 잡아야 리스크가 줄어듭니다. 오늘은 엔비디아 Blackwell(B200·GB200 NVL72)과 AMD Instinct MI350(CDNA 4)의 2025 로드맵을 성능·공급·생태계 3축으로 정리하고, 실제 조달·TCO 관점에서 무엇을 비교해야 하는지까지 짚어보겠습니다. 특히 표와 차트로 핵심만 보이도록 구성했으니, 바쁜 분들은 요약 박스와 체크리스트부터 보셔도 좋습니다.
• Blackwell: GB200 NVL72는 72 GPU NVLink 도메인·FP4 도입으로 초거대 모델 실시간 추론을 겨냥.
• MI350: CDNA 4·ROCm 강화, MI350X/MI355X 플랫폼으로 FP8 성능 대폭 향상 및 2025년 가용성 확대.
• 투자 관점: 성능/전력/냉각/리드타임/소프트웨어 5요소를 묶어 TCO로 비교하는 것이 핵심입니다.
• 2025-02: HPE가 Blackwell 기반 GB200 NVL72 출하 발표, 수랭 레퍼런스 랙 확산 신호.
• 2025-06~09: AMD MI350 시리즈 공개 확대, FP8 성능 수치와 파트너 레퍼런스 속속 공개.
• 추론 체감: DGX B200 단일 노드가 1,000 TPS/user 돌파 등 실사용 지표 부상.
1) Blackwell 핵심: NVLink 도메인+FP4가 바꾼 추론 스택
Blackwell 세대의 관전 포인트는 개별 GPU의 산술 성능보다도, 랙 스케일에서 72개 GPU가 하나의 거대 NVLink 도메인으로 동작하는 GB200 NVL72 설계입니다. 동일 랙에서 36 Grace CPU와 72 Blackwell GPU가 직접 수랭 기반으로 묶이며, 초거대 파라미터 모델의 지연 시간을 줄이는 데 초점을 맞췄습니다. 또한 2세대 Transformer Engine과 FP4 지원이 결합되어, 대규모 언어 모델 실시간 추론 성능을 대폭 개선하는 것이 설계 목표입니다. 엔비디아는 NVL72 기준으로 ‘실시간 LLM 추론 30배’ 개선을 제시하며, 이는 저정밀도 마이크로스케일링과 5세대 NVLink 대역폭, 커널 최적화의 합이 만들어 낸 결과라는 메시지를 강조합니다. 2025년에는 서버 OEM의 수랭 레퍼런스가 확산되며, 노드 단위가 아니라 랙 단위로 구매·운영을 설계하는 추세가 빠르게 일반화되고 있습니다. 공급망 관점에서도 전력·열 설계, NVLink 스위치, 수랭 부품의 선주문이 핵심 병목으로 부상하고 있습니다.
NVL72는 “단일 거대 GPU처럼 동작”한다는 전제를 활용할수록 지연이 큰 MoE 라우팅과 대맥락 추론의 체감 향상이 큽니다. 모델 병렬성 설계 때 NVLink 도메인 경계를 최소화하세요.
2) MI350 핵심: CDNA 4·ROCm·플랫폼 스케일의 삼각편대
AMD MI350 시리즈는 CDNA 4 아키텍처를 기반으로, 추론 성능에서 전세대 MI300 대비 대폭 개선을 전면에 내세웁니다. 공개 자료에서는 FP8 기준의 플랫폼 성능 지표와 함께, ROCm 스택의 최적화 범위가 학습·추론 전주기에 걸쳐 확대되었음을 강조합니다. 특히 MI350X(공랭 8GPU)와 MI355X(수랭 고집적) 등 플랫폼 변형을 통해 랙 효율과 전력 밀도를 맞춤 설계할 수 있도록 했습니다. 주요 CSP·OEM 파트너십도 동시에 발표되며, 조달 루트와 레퍼런스 아키텍처가 빠르게 정비되는 모습입니다. 실무에서는 PyTorch·JAX·ONNX 런타임과의 통합 수준, 핵심 커널의 힙 메모리 사용과 통신 스택 최적화가 성능 체감에 크게 작용하기 때문에, ROCm 업데이트 주기와 드라이버 안정성을 함께 보는 것이 중요합니다. 2025년 중반 이후 베어메탈·클라우드 옵션이 확대되면서, 워크로드에 따라 학습/추론 분리 조달 전략을 세우는 사례가 늘고 있습니다.
ROCm 기반으로 전환할 때는 핵심 커널(Attention, GEMM, AllReduce) 프로파일을 우선 점검하세요. 작은 커널 몇 개의 레이턴시 개선이 전체 지표를 좌우합니다.
3) 스펙·플랫폼 비교 표: 무엇이 실제로 다른가
아래 표는 공인 자료와 업계 브리핑을 바탕으로, 2025년 레퍼런스 플랫폼에서 실무자가 실제로 비교하는 항목만 추려 정리한 것입니다. NVLink 도메인 구조와 FP4 지원, FP8 플랫폼 성능, 냉각·집적도, 소프트웨어 스택의 성숙도와 배포 채널이 핵심 차이입니다. 수치는 벤더 제시값과 공개 테스트를 혼합해 정리했으며, 실제 성능은 모델·배치·통신 토폴로지에 따라 달라질 수 있습니다.
| 항목 | 엔비디아 Blackwell (GB200 NVL72 / B200) | AMD Instinct MI350 (MI350X / MI355X) |
|---|---|---|
| 아키텍처 / 정밀도 | Blackwell, 2세대 Transformer Engine, FP4/FP8 지원 | CDNA 4, FP8 최적화, ROCm 최적화 스택 |
| 플랫폼 하이라이트 | NVL72: 36 Grace CPU + 72 GPU, 단일 NVLink 도메인(랙 스케일 수랭) | MI350X(공랭 8GPU), MI355X(수랭 고집적) 등 선택형 플랫폼 |
| 추론 성능 메시지 | 초거대 LLM 실시간 추론 30배 개선(벤더 공표) | MI300 대비 추론 성능 최대 35배(벤더 공표) |
| 플랫폼 FP8 성능 예시 | DGX B200 단일 노드 추론 1,000+ TPS/user 기록(소프트 최적화 포함) | MI350X 8GPU 73.8 PFLOPS FP8, MI355X 80.5 PFLOPS FP8(벤더 수치) |
| 소프트웨어 | CUDA, TensorRT, NCCL, Triton, 모범사례·에코시스템 풍부 | ROCm, MIGraphX, RCCL, 오픈소스 친화·빠른 커버리지 확대 |
| 공급 현황(2025) | 주요 OEM 출하 개시, 수랭 레퍼런스 확산 | 파트너 출하·클라우드 온보딩 확대 |
| 운영 고려 | 전력/수랭·NVLink 스위치·랙 통합 조달 필요 | FP8 최적화·ROCm 튜닝·플랫폼 선택에 따른 집적도 차이 |
표의 수치는 벤더 발표·공개 테스트 기준입니다. 동일 모델이라도 배치/컨텍스트 길이/통신 토폴로지에 따라 성능·전력·열 특성이 크게 달라질 수 있습니다.
4) 출시·공급 타임라인: 2025년 분기별 체크포인트
2025년은 양 진영 모두 “플랫폼”의 해입니다. Blackwell은 2월 HPE를 포함한 주요 OEM이 GB200 NVL72 출하를 공식화하며 랙 스케일 참조 설계가 시장에 안착하기 시작했습니다. 상반기에는 CSP·하이퍼스케일러의 전력·수랭 인프라 증설 계획과 함께, NVLink 스위치·쿨링 부품의 리드타임이 주요 변수로 떠올랐습니다. 하반기에는 DGX B200 및 파생 시스템의 소프트웨어 최적화 성과가 외부 벤치와 사례로 공개되며, 추론 체감 지표(TPS/user)의 상향이 확인됐습니다. 한편 AMD는 2024년 말 MI325X로 시작된 전환을 바탕으로, 2025년 MI350 시리즈 가용성을 파트너 채널과 클라우드에서 단계적으로 확대했습니다. 8GPU 공랭 플랫폼(MI350X)과 수랭 고집적(MI355X)의 병행 제안은, 동일 랙 대비 성능 밀도를 조율하려는 고객 수요에 부합합니다. 결론적으로 2025년의 조달 관건은 ‘누가 더 빨리 더 많이 공급하느냐’가 아니라, ‘우리 워크로드에 맞는 플랫폼을 얼마나 빠르게 통합·운영에 올리느냐’로 이동했습니다.
타임라인 합의 시 전력/냉각 인프라 공사와 NVLink·RCCL 통신 토폴로지 검증을 선행 조건으로 명시하면, 설치 후 병목으로 인한 일정 지연을 크게 줄일 수 있습니다.
5) 소프트웨어·생태계: CUDA vs ROCm, 마이그레이션 비용
소프트웨어는 성능 그 자체입니다. CUDA는 커널·툴체인의 성숙도, 레퍼런스 모델, 운영도구(Triton, TensorRT, NCCL)까지 두텁게 쌓인 생태계가 강점입니다. 반면 ROCm은 오픈소스 친화와 빠른 커버리지 확대, 커뮤니티 기반 최적화가 장점으로 부상했습니다. 실제 마이그레이션 비용은 ‘모델·프레임워크·런타임’의 3계층 호환성과, 커널 최적화에 필요한 엔지니어링 공수로 환산됩니다. 학습 워크로드는 통신 병목(Ring/Tree AllReduce)과 체크포인트 I/O가 병행되므로, NCCL↔RCCL의 성능 특성을 미리 파일럿으로 확인해야 합니다. 추론 워크로드는 TensorRT·MIGraphX 등 엔진의 최적화 수준, 그리고 KV 캐시 관리·동적 배치·스펙큐레이티브 디코딩 같은 기법의 유무가 관건입니다. 운영 관점에서는 관측성(프로파일러, 텔레메트리)과 서빙 스택의 자동 확장성, 모델 레포 재현성을 체크하세요. 결국 플랫폼을 바꾸는 결정은 소프트웨어 전환의 기회비용과 벤더 종속 리스크를 동시에 줄이는 방향이어야 합니다.
벤치마크는 실제 트래픽 패턴(컨텍스트 길이·동시접속·SLA)을 반영한 워크로드 리플레이로 진행하세요. 합성 벤치로는 운영 변수를 포착하기 어렵습니다.
6) 숫자로 보는 퍼포먼스 인사이트(차트)
벤더 공표 수치이긴 하지만, ‘세대 간 추론 향상 폭’을 한눈에 보면 선택이 쉬워집니다. Blackwell NVL72는 “실시간 LLM 추론 30배”를, MI350은 “MI300 대비 추론 35배”를 각각 제시합니다. 절대 비교가 아니라 “세대 내 개선률” 비교라는 점을 감안해야 하며, 실제 체감 성능은 모델 구조·배치·엔진 최적화(예: TensorRT, speculative decoding, 통신 커널 개선)에 크게 좌우됩니다. 아래 막대그래프는 세대별 추론 성능 개선률을 단순화해 시각화한 것입니다.
막대값은 벤더 발표 기준의 상대지표입니다. 동일 워크로드에서의 교차 비교가 아니므로, 파일럿 테스트로 우리 모델에서의 실제 TPS·지연·전력/열을 반드시 검증하세요.
7) 투자 체크리스트: 조달부터 TCO까지
첫째, 성능/전력/냉각을 묶어 보세요. 같은 성능을 내는 데 필요한 전력과 냉각 CAPEX·OPEX가 다릅니다. 둘째, 리드타임·설치입니다. 랙 스케일 NVL72나 수랭 플랫폼은 부품·시공 리드타임이 길 수 있습니다. 셋째, 소프트웨어 비용입니다. CUDA→ROCm 혹은 그 반대 전환에는 커널 최적화 공수와 운영팀 러닝 커브가 포함됩니다. 넷째, 공급 다변화입니다. 단일 벤더 종속을 줄이는 포트폴리오가 가동률 유지에 유리합니다. 다섯째, 서비스 수준입니다. 추론 SLA(지연·가용성·토큰 처리량)과 학습 주기(시간·성능 안정성)를 계약·모니터링 항목으로 명문화하세요. 마지막으로 TCO는 하드웨어 가격이 아니라, 3년 주기의 전력·냉각·공간·엔지니어링·다운타임 비용까지 합산한 비용/토큰 혹은 비용/스텝으로 비교하는 것이 실무에 가장 유효합니다.
계약서에 성능 성취 조항(예: 지정 워크로드 기준 TPS/지연 달성 시 검수 완료)과 마이그레이션 지원(드라이버/프레임워크 버전 호환) 항목을 포함하면 리스크가 크게 줄어듭니다.
FAQ
Q1. Blackwell의 FP4는 어디에 효과적일까요?
A. 초거대 LLM 추론에서 메모리 대역폭과 연산량을 동시에 줄여 지연을 낮추는 데 효과적입니다. 혼합정밀과 스케일링으로 품질 저하를 최소화하는 것이 핵심입니다.
Q2. MI350의 “35배 추론 향상”은 어떻게 이해해야 하나요?
A. 전세대 MI300 대비 상대지표로, 모델·배치·엔진 최적화에 따라 실제 체감은 달라질 수 있습니다. FP8 최적화와 플랫폼 스케일의 합산 효과로 보는 게 합리적입니다.
Q3. NVL72와 8GPU 노드 중 무엇부터 도입할까요?
A. 지연 민감한 대맥락 추론·대형 MoE면 NVLink 도메인 이점이 큽니다. 반대로 소규모·수평 확장이 쉬운 워크로드는 8GPU 노드가 운영 편의성이 높습니다.
Q4. CUDA에서 ROCm으로 전환 시 주의할 점은?
A. 우선순위 커널(Attention/GEMM/AllReduce) 성능을 파일럿으로 검증하고, 프레임워크 버전·드라이버 호환·모델 리포 재현성 체크리스트를 마련하세요.
Q5. 전력·냉각 설계에서 자주 놓치는 부분은?
A. 수랭 루프의 누수 감지·정지 절차, 랙 레벨의 차압·유량 모니터링, 유지보수 시 서비스 윈도우를 설계 단계에 포함하지 않아 다운타임이 길어지는 경우가 많습니다.
Q6. 2025년 투자 타이밍은 언제가 적절할까요?
A. 인프라 공사 리드타임을 감안해 분할 조달이 유리합니다. 1차 랙으로 파일럿을 돌리고, 성능/전력 데이터를 바탕으로 2~3차 증설을 결정하세요.
참고 자료 & 출처
- NVIDIA GB200 NVL72 제품 페이지(실시간 추론 30배, NVLink 도메인, FP4)
- HPE, Blackwell 기반 NVL72 출하 발표(2025-02-20)
- B200 세대 성능·정밀도 개요(Exxact, 2024-07)
- DGX B200 1,000+ TPS/user 기록(2025)
- AMD MI350 2025 가용성·MI300 대비 추론 35배 공표(2024-06)
- MI350X/MI355X·ROCm 스택(AMD Blog, 2025-06)
- MI350X 73.8 PF8·MI355X 80.5 PF8 수치(2025-09)
- GB200 아키텍처·폼팩터 흐름(Semianalysis, 2024)
사용 중인 모델·SLA·전력/냉각 조건을 알려주시면, 맞춤 파일럿 벤치 플랜과 TCO 계산 시트를 함께 드립니다.
결론
2025년 AI 가속기 선택의 본질은 “절대 성능” 경쟁이 아니라 “우리 워크로드에 맞춘 플랫폼·소프트웨어·운영 설계의 합”입니다. Blackwell NVL72는 초거대 모델의 실시간 추론 지연을 낮추는 데 특화되어 있고, MI350은 FP8 최적화·플랫폼 선택권·ROCm 생태계로 비용 효율과 유연성을 제시합니다. 정답은 한쪽이 아니라, 파일럿 데이터로 입증한 분할 조달 + 다변화 포트폴리오입니다. 성능·전력·냉각·리드타임·소프트웨어를 하나의 TCO 지표로 묶어 비교하면, 리스크를 통제하면서도 경쟁력을 확보할 수 있습니다.
