NVIDIA、大規模言語モデルの性能を最大4倍高速化する「TensorRT-LLM」をオープンソースでリリース。「Stable Diffusion」用Webアプリに使える拡張機能も併せて公開

NVIDIA、大規模言語モデルの性能を最大4倍高速化する「TensorRT-LLM」をオープンソースでリリース。「Stable Diffusion」用Webアプリに使える拡張機能も併せて公開

2023.10.30
ニュースAI
この記事をシェア!
Twitter Facebook LINE B!
Twitter Facebook LINE B!

この記事の3行まとめ

  • NVIDIA、「TensorRT-LLM」をリリース
  • NVIDIAのGPUを使用し、大規模言語モデルの推論を高速化
  • 「Stable Diffusion web UI」の生成速度を向上させる拡張機能も公開

NVIDIAは、大規模言語モデル(LLM)の推論を高速化するオープンソースライブラリ「TensorRT-LLM」をApache License 2.0でリリースしました。

(画像は公式ブログより引用)

TensorRT-LLMは、NVIDIAのGPUを使用して高速化を行います。同社は、LLMのパフォーマンスが最大で4倍高速化できたとしています。

また、パフォーマンス向上のほか、Retrieval-Augmented GenerationRAG)(※)などの手法をLLMに導入するのにも有用とのこと。
※ 学習データには含まれていない情報をプロンプトとして与えることで、より正確な回答を生成させる手法

NVIDIA公式ブログでは、Metaが開発するLLM「Llama2」と、TensorRT-LLMを利用しRAGを組み込んだLlama2の性能を比較。より正確かつ高速に回答を生成できたと報告しています。

「NVIDIA ACEはどのように感情的な反応を生み出すのか」という質問に対し、TensorRT-LLMを利用した場合(右)、利用しない場合(左)よりも正確な回答を出力している(画像は公式ブログより引用)

併せて、画像生成AI「Stable Diffusion」を使うWebアプリ「Stable Diffusion web UI」のパフォーマンスを、TensorRT-LLMで向上させる拡張機能「TensorRT Extension for Stable Diffusion Web UI」もMITライセンスでリリースされました。

PyTorchと比較して2倍のパフォーマンスを実現(画像はNVIDIA サポートページより引用)

TensorRT-LLMは、NVIDIA DeveloperGitHubからダウンロード可能です。

詳細はNVIDIA Developerおよび公式ブログをご確認ください。

「NVIDIA TensorRT」NVIDIA Developer『Striking Performance: Large Language Models up to 4x Faster on RTX With TensorRT-LLM for Windows』NVIDIA 公式ブログ

関連記事

NVIDIA、直近でアップデートしたAI関連技術のまとめを公開。UE公式の大型イベント「Unreal Fest Orlando 2025」にあわせて
2025.06.03
画像やテキストから3Dモデルを自動生成できるAIツール「Tripo Studio」、ベータ版が一般公開。公式Webサイトにて無償提供中
2025.06.02
UE向けゲーム開発支援AIツール「Aura」、早期アクセスが7/1に開始予定。6月開催の「Unreal Fest Orlando 2025」でツールが展示される
2025.05.28
「Unity 6.2 Beta」リリース。従来のAIツール「Unity Muse/Sentis」は廃止され、新機能「Unity AI」に置き換わる
2025.05.16
リギングを自動化できるAIツール「UniRig」がオープンソース化。人型キャラクターや動物など、幅広い3Dモデルでスケルトン生成・スキニングが可能
2025.04.22
「GitHub Copilot」各AIモデルの強みや運用方法をGitHubが分析。GPT、Gemini、Claudeの効果的な使い分け方をブログ記事で解説
2025.04.22

注目記事ランキング

2025.06.09 - 2025.06.16
VIEW MORE

連載・特集ピックアップ

イベントカレンダー

VIEW MORE

今日の用語

マーケットプレイス(Market Place)
マーケットプレイス
  1. インターネット上で売買を行う仕組みやウェブサイト自体を示す。
  2. Epic Games LauncherやアンリアルエンジンのWebサイトからアクセスできる、アンリアルエンジン用のオンラインストア。アセットやプラグインなどの販売・購入が可能。
VIEW MORE

Xで最新情報をチェック!