この記事の3行まとめ
- 「Microsoft Azure ND H100 v5 VM」の一般提供が開始に
- 生成AI向けに設計された「NVIDIA H100 Tensor Core GPU」が搭載
- LLMの推論で、旧世代のインスタンスと比較して最大2倍のスピードアップを達成
生成AIやハイパフォーマンス・コンピューティング（HPC）向けに設計されたNVIDIAの第9世代データセンターGPUである「NVIDIA H100 Tensor Core GPU」が搭載されたMicrosoft Azureの仮想マシン（Virtual Machine、以下VM）、「Microsoft Azure ND H100 v5 VM」の一般提供が2023年8月7日に開始されました。
「Microsoft Azure ND H100 v5 VM」には、NVIDIA H100 Tensor Core GPUとNVIDIA Quantum-2 InfiniBandネットワーキングが使用されており、生成AIのトレーニングやデプロイなどの活用が想定されております。なお、「Microsoft Azure ND H100 v5 VM」の提供開始時点では米国東部および米国中南部のAzureリージョンで利用可能です。
NVIDIA H100 Tensor Core GPU（H100）とは、生成AIやハイパフォーマンス・コンピューティング（HPC）向けに設計されたNVIDIAの第9世代データセンターGPUです。
H100は前世代のNVIDIA A100 Tensor コア GPU（A100）よりもStreaming Multiprocessor（SM）の性能・効率を向上させています。また、H100はTransformer Engineを内蔵したNVIDIA Hopper GPU コンピューティング アーキテクチャをベースとしており、A100と比較して、LLM（Large Language Models、大規模言語モデル）のAIトレーニングを最大9倍、AI推論を最大30倍もの速さで実行します。さらにGPUが900GB/秒で相互に通信できる最新のNVLinkテクノロジーなども導入されています。
「Microsoft Azure ND H100 v5 VM」は1つのVMと8つのNVIDIA H100 Tensor Core GPUを最小構成として、最大数千ものGPUを拡張させることができます。
GPUだけでなく、ネットワークとして3,200Gbpsのクロスノード帯域幅を持つNVIDIA Quantum-2 CX7 InfiniBandを搭載することで、大規模なGPU間のシームレスなパフォーマンスが保証され、世界的にトップクラスの性能を誇るスーパーコンピュータの能力に匹敵するスペックになるとNVIDIAのブログで述べられています。
「Microsoft Azure ND H100 v5 VM」は、BLOOM 175BモデルのようなLLMの推論において、旧世代のインスタンスと比較して最大2倍のスピードアップを達成し、AIアプリケーションをさらに最適化できるとうたっています。
「Microsoft Azure ND H100 v5 VM」の詳細については、Microsoft Azureに関するドキュメントをご覧ください。
NVIDIA H100 Tensor Core GPU Used on New Microsoft Azure Virtual Machine Series Now Generally Available | NVIDIA BlogND H100 v5 シリーズ - Azure Virtual Machines | Microsoft Learn
