Microsoft는 AI 슈퍼컴퓨팅에 최적화된 최신 Azure 가상 머신인 ND H200 v5 시리즈를 출시했습니다.
AI 환경이 빠르게 진화함에 따라 확장 가능하고 고성능의 인프라에 대한 요구 사항이 기하급수적으로 증가하고 있습니다. Microsoft 고객은 혁신적인 AI 기반 솔루션을 개발하기 위해 Azure AI 인프라를 사용하고 있으며, 이것이 바로 Microsoft에서 Azure ND H200 v5 시리즈 가상 머신(VM)으로 구축된 새로운 클라우드 기반 AI 슈퍼컴퓨팅 클러스터를 제공하는 이유입니다. 이러한 VM은 현재 정식 출시되었으며 기본 모델 학습부터 생성 추론에 이르기까지 고급 AI 워크로드의 증가하는 복잡성을 처리하도록 맞춤화되었습니다.
ND H200 v5의 가장 흥미로운 측면 중 하나는 연결된 메모리 및 메모리 대역폭보다 훨씬 빠른 속도로 GPU의 원시 컴퓨팅 성능이 향상됨으로써 발생하는 병목 현상을 해결할 수 있다는 것입니다. ND H200 v5 시리즈 VM은 고대역폭 메모리(HBM) 용량과 대역폭을 크게 향상시켜 GPU가 모델 매개변수에 더 빠르게 액세스할 수 있도록 합니다. 그 결과 전체 애플리케이션 대기 시간이 단축되며, 이는 대화형 에이전트와 같은 실시간 애플리케이션에 매우 중요합니다.
또한 ND H200 v5 VM은 단일 VM의 메모리 내에 더 복잡한 대규모 언어 모델(LLM)을 수용할 수 있습니다. 따라서 여러 VM에서 분산 작업을 실행할 필요가 없으므로 성능이 향상되고 복잡성이 줄어듭니다.
마지막으로 ND H200 v5는 Azure Batch, Azure Kubernetes Service, Azure OpenAI Service, Azure Machine Learning과 같은 Azure 서비스와 사전 통합되어 있습니다. 이러한 통합을 통해 기업은 새로운 VM을 쉽게 사용할 수 있으므로 AI 슈퍼컴퓨팅의 이점을 활용하려는 조직에 매력적인 선택입니다.
