AMD MI400 양산 시작 발표 봤습니다. 가격 $38K로 NVIDIA Rubin Ultra($45K) 대비 -15% 매력적.
저희 추론 워크로드 — Llama 5 70B 4-bit, 동시 사용자 50명. 현재 H200 4장 클러스터 운영.
MI400 도입 검토 중인데 ROCm 7.0이 vLLM·NeMo 지원한다고 하지만 실측 속도 정보가 부족합니다. 측정해본 분 계신가요?
AMD MI400 양산 시작 발표 봤습니다. 가격 $38K로 NVIDIA Rubin Ultra($45K) 대비 -15% 매력적.
저희 추론 워크로드 — Llama 5 70B 4-bit, 동시 사용자 50명. 현재 H200 4장 클러스터 운영.
MI400 도입 검토 중인데 ROCm 7.0이 vLLM·NeMo 지원한다고 하지만 실측 속도 정보가 부족합니다. 측정해본 분 계신가요?
댓글 4
아직 MI400 양산 시작 단계라 production 측정 데이터 적습니다. AMD 자체 발표 + 베타 측정 정리.
워크로드H200 80GBMI400
Llama 5 70B 4-bit single batch32 tok/s28 tok/s (-12%)
Llama 5 70B batch 8 throughput180 tok/s148 tok/s (-18%)
Time to first token120ms180ms (+50%)
가격$30K (시장가)$38K
tok/s per $1.0x0.66x
현재로는 H200 대비 throughput·latency 우위. 가격 우위도 H200 시장가 고려하면 MI400 -33% 손해.
다만 — ROCm 최적화 추가 기대
MI400은 출하 시작이라 ROCm·vLLM 최적화 미흡. 6개월 후 격차 축소 예상. 작년 MI300X도 출시 6개월 후 H100 따라잡음.
의사결정
지금 production은 H200 또는 B200 추천. MI400은 6개월~1년 후 검토.
AMD는 CUDA 생태계 의존 없는 데가 강점. 그러나 vLLM·NeMo 외 라이브러리 호환은 NVIDIA가 압도. 한국어 fine-tune은 NVIDIA NeMo 우위.