「NVIDIA H100 Tensor Core GPU」が搭載されたVM、「Microsoft Azure ND H100 v5 VM」の一般提供が開始。生成AIアプリケーションのさらなる最適化へ

生成AIやハイパフォーマンス・コンピューティング（HPC）向けに設計されたNVIDIAの第9世代データセンターGPUである「NVIDIA H100 Tensor Core GPU」が搭載されたMicrosoft Azureの仮想マシン（Virtual Machine、以下VM）、「Microsoft Azure ND H100 v5 VM」の一般提供が2023年8月7日に開始されました。

「Microsoft Azure ND H100 v5 VM」には、NVIDIA H100 Tensor Core GPUとNVIDIA Quantum-2 InfiniBandネットワーキングが使用されており、生成AIのトレーニングやデプロイなどの活用が想定されております。なお、「Microsoft Azure ND H100 v5 VM」の提供開始時点では米国東部および米国中南部のAzureリージョンで利用可能です。

NVIDIA H100 Tensor Core GPU（H100）とは、生成AIやハイパフォーマンス・コンピューティング（HPC）向けに設計されたNVIDIAの第9世代データセンターGPUです。
H100は前世代のNVIDIA A100 Tensor コア GPU（A100）よりもStreaming Multiprocessor（SM）の性能・効率を向上させています。また、H100はTransformer Engineを内蔵したNVIDIA Hopper GPU コンピューティング アーキテクチャをベースとしており、A100と比較して、LLM（Large Language Models、大規模言語モデル）のAIトレーニングを最大9倍、AI推論を最大30倍もの速さで実行します。さらにGPUが900GB/秒で相互に通信できる最新のNVLinkテクノロジーなども導入されています。

「Microsoft Azure ND H100 v5 VM」は1つのVMと8つのNVIDIA H100 Tensor Core GPUを最小構成として、最大数千ものGPUを拡張させることができます。

GPUだけでなく、ネットワークとして3,200Gbpsのクロスノード帯域幅を持つNVIDIA Quantum-2 CX7 InfiniBandを搭載することで、大規模なGPU間のシームレスなパフォーマンスが保証され、世界的にトップクラスの性能を誇るスーパーコンピュータの能力に匹敵するスペックになるとNVIDIAのブログで述べられています。

「Microsoft Azure ND H100 v5 VM」は、BLOOM 175BモデルのようなLLMの推論において、旧世代のインスタンスと比較して最大2倍のスピードアップを達成し、AIアプリケーションをさらに最適化できるとうたっています。

「Microsoft Azure ND H100 v5 VM」の詳細については、Microsoft Azureに関するドキュメントをご覧ください。