NVIDIA、大規模言語モデルの性能を最大4倍高速化する「TensorRT-LLM」をオープンソースでリリース。「Stable Diffusion」用Webアプリに使える拡張機能も併せて公開

2023.10.30
ニュースAI
この記事をシェア!
Twitter Facebook LINE B!
Twitter Facebook LINE B!

この記事の3行まとめ

  • NVIDIA、「TensorRT-LLM」をリリース
  • NVIDIAのGPUを使用し、大規模言語モデルの推論を高速化
  • 「Stable Diffusion web UI」の生成速度を向上させる拡張機能も公開

NVIDIAは、大規模言語モデル(LLM)の推論を高速化するオープンソースライブラリ「TensorRT-LLM」をApache License 2.0でリリースしました。

(画像は公式ブログより引用)

TensorRT-LLMは、NVIDIAのGPUを使用して高速化を行います。同社は、LLMのパフォーマンスが最大で4倍高速化できたとしています。

また、パフォーマンス向上のほか、Retrieval-Augmented GenerationRAG)(※)などの手法をLLMに導入するのにも有用とのこと。
※ 学習データには含まれていない情報をプロンプトとして与えることで、より正確な回答を生成させる手法

NVIDIA公式ブログでは、Metaが開発するLLM「Llama2」と、TensorRT-LLMを利用しRAGを組み込んだLlama2の性能を比較。より正確かつ高速に回答を生成できたと報告しています。

「NVIDIA ACEはどのように感情的な反応を生み出すのか」という質問に対し、TensorRT-LLMを利用した場合(右)、利用しない場合(左)よりも正確な回答を出力している(画像は公式ブログより引用)

併せて、画像生成AI「Stable Diffusion」を使うWebアプリ「Stable Diffusion web UI」のパフォーマンスを、TensorRT-LLMで向上させる拡張機能「TensorRT Extension for Stable Diffusion Web UI」もMITライセンスでリリースされました。

PyTorchと比較して2倍のパフォーマンスを実現(画像はNVIDIA サポートページより引用)

TensorRT-LLMは、NVIDIA DeveloperGitHubからダウンロード可能です。

詳細はNVIDIA Developerおよび公式ブログをご確認ください。

「NVIDIA TensorRT」NVIDIA Developer『Striking Performance: Large Language Models up to 4x Faster on RTX With TensorRT-LLM for Windows』NVIDIA 公式ブログ

関連記事

NVIDIA、AIがゲームプレイをサポートする「Project G-Assist」を発表
2024.06.03
「次世代のAI PC」向けアプリの開発キット「Snapdragon Dev Kit for Windows」、Microsoft Buildで発表
2024.05.22
AI活用の最適化を掲げる「Copilot+ PC」、Microsoftが発表。行動履歴から目的の情報を探し出せる「Recall」などを利用可能
2024.05.21
Unity上でセリフの音声合成ができる「A.I.VOICE for GAMES」でリップシンクが可能に。キャラの口がセリフに合わせて自然に動く
2024.04.26
AIはイテレーションを回すために活用すべし!中割りの生成やリアルなエフェクトのアニメ調変換など、エフェクト制作へのAI活用を模索したR&Dの苦労と展望をインタビュー【CAGC2024】
2024.04.16
AIによる高解像技術「XeSS 1.3」、Intelがリリース。AIモデルの改善などによりパフォーマンスが向上し、ゴーストやモアレも軽減
2024.04.10

注目記事ランキング

2024.06.07 - 2024.06.14
VIEW MORE

連載・特集ピックアップ

イベントカレンダー

VIEW MORE

今日の用語

フレームレート(Frame Rate)
フレームレート 1秒あたり何回フレームを表示するかを示す数値。フレームレートの単位のことをFPS(frames per second)と呼ぶ。
VIEW MORE

Twitterで最新情報を
チェック!