NVIDIA、大規模言語モデルの性能を最大4倍高速化する「TensorRT-LLM」をオープンソースでリリース。「Stable Diffusion」用Webアプリに使える拡張機能も併せて公開

2023.10.30
ニュースAI
この記事をシェア!
twitter facebook line B!
twitter facebook line B!

この記事の3行まとめ

  • NVIDIA、「TensorRT-LLM」をリリース
  • NVIDIAのGPUを使用し、大規模言語モデルの推論を高速化
  • 「Stable Diffusion web UI」の生成速度を向上させる拡張機能も公開

NVIDIAは、大規模言語モデル(LLM)の推論を高速化するオープンソースライブラリ「TensorRT-LLM」をApache License 2.0でリリースしました。

(画像は公式ブログより引用)

TensorRT-LLMは、NVIDIAのGPUを使用して高速化を行います。同社は、LLMのパフォーマンスが最大で4倍高速化できたとしています。

また、パフォーマンス向上のほか、Retrieval-Augmented GenerationRAG)(※)などの手法をLLMに導入するのにも有用とのこと。
※ 学習データには含まれていない情報をプロンプトとして与えることで、より正確な回答を生成させる手法

NVIDIA公式ブログでは、Metaが開発するLLM「Llama2」と、TensorRT-LLMを利用しRAGを組み込んだLlama2の性能を比較。より正確かつ高速に回答を生成できたと報告しています。

「NVIDIA ACEはどのように感情的な反応を生み出すのか」という質問に対し、TensorRT-LLMを利用した場合(右)、利用しない場合(左)よりも正確な回答を出力している(画像は公式ブログより引用)

併せて、画像生成AI「Stable Diffusion」を使うWebアプリ「Stable Diffusion web UI」のパフォーマンスを、TensorRT-LLMで向上させる拡張機能「TensorRT Extension for Stable Diffusion Web UI」もMITライセンスでリリースされました。

PyTorchと比較して2倍のパフォーマンスを実現(画像はNVIDIA サポートページより引用)

TensorRT-LLMは、NVIDIA DeveloperGitHubからダウンロード可能です。

詳細はNVIDIA Developerおよび公式ブログをご確認ください。

「NVIDIA TensorRT」NVIDIA Developer『Striking Performance: Large Language Models up to 4x Faster on RTX With TensorRT-LLM for Windows』NVIDIA 公式ブログ

関連記事

カプコン製『EXOPRIMAL』では収録音声とAI合成音声をハイブリットに活用。仕様変更とイテレーションに強いワークフローと、膨大な音声の動的ミキシング手法を徹底解説【CEDEC2023】
2023.11.30
Wonder Studio、「Maya」「Blender」向けの新たなアドオンを導入。3Dモデルデータの互換性をローカル環境で検証
2023.11.17
Qualcomm、生成AIの実行速度を大きく向上させるノートPC向けチップセット「Snapdragon X Elite」、モバイル向けチップセット「Snapdragon 8 Gen 3」を発表
2023.11.03
AIは怖くない。機械学習のイロハから、ゲームで利用するためのアプローチまでを学ぶ【CEDEC2023】
2023.10.27
NVIDIA、AIで動画をアップスケールする「RTX Video Super Resolution」がバージョン1.5に。RTX 20シリーズのGPUでも利用可能
2023.10.23
UE×AIや、UE5.0以降のブループリントなどをテーマに講演。『Unreal Engine Meetup in Osaka Vol.01』で使われた資料が公開
2023.10.19

注目記事ランキング

2023.11.26 - 2023.12.03
1
【2022年5月版】今から始めるフォートナイトの「クリエイティブ」モードープレイ開始から基本的な操作方法まで解説
2
『フォートナイト』で動く本格的なゲームが作れるツール「UEFN」とは?従来のクリエイティブモードから進化したポイントを一挙紹介!
3
フォートナイト クリエイティブとUEFNで使える仕掛け一覧
4
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.1「アイテム系」
5
【CHALLENGE1】「クリエイター ポータル」を使って、UEFNで作成した島を世界中に公開する
6
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.5「島の設定」
7
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.4「ゲームシステム系」
8
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.10「UI系」Part1
9
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.2「ユーティリティ系」
10
【STEP2】UEFNの基本的な使い方を覚えよう
11
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.7「NPC系」Part1
12
【CHALLENGE2-1】フレンドと一緒にゲームを作ろう――UEFNプロジェクトをチームメンバーとリアルタイムで共同編集する
13
フォートナイトとUEFNがv26.30にアップデート。ロビー画面が一新され、クリエイターが島ごとにロビー背景を自由にカスタムできるように
14
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.10「UI系」Part2
15
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.3「プレイヤー系」
16
フォートナイトとUEFNがv27.10にアップデート。プレイヤーに与える武器のマガジン内に入っている初期弾薬量を設定するオプションが追加
17
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.6「チーム・対戦系」Part1
18
日産自動車、UEFNで作られたマップ『Electrify the World』を期間限定公開。EVコンセプトカーが登場する世界を楽しめる
19
『フォートナイト』で建築ビジュアライゼーション!?UEFNでオリジナルの世界観をどう作り上げたか、その手法を解説【UNREAL FEST 2023 TOKYO】
20
【CHALLENGE3】UEFNの機能「ランドスケープ」を使ってオリジナルの地形を作る
21
【STEP4-2】リスポーンとチェックポイントの仕組みを作る
22
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.7「NPC系」Part2
23
【フォートナイト クリエイティブ】ドリフトボードで駆け巡る!タイマー付きのレースゲームを作ってみよう
24
フォートナイト上にオリジナルゲームを開発・公開できるPC専用エディタ『Unreal Editor For Fortnite(UEFN)』、ついにリリース!
25
まるで『マイクラ』?ボクセル地形を生み出す無料アセット「VoxelPlugin Free」で”地形を掘ったり積み重ねたり”して遊んでみよう
26
【STEP3】オリジナルのアスレチックコースを作ろう
27
「UEFN」って実際どうなの? 編集部が3時間で「みんなで遊べるアクションゲーム(?)」を作ってみた
28
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.8「ゾーン系」
29
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.9「建築物系」Part1
30
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.9「建築物系」Part2
VIEW MORE

イベントカレンダー

VIEW MORE

今日の用語

リグ(Rig)
リグ 3Dモデルを動かす場合に、すべてのボーンを編集するのではなく、少ない編集箇所で直感的に動作などを付けるために作られたコントローラーやコントロールする仕組み。 またスケルトン自身をリグと呼ぶ場合もある。
VIEW MORE

Twitterで最新情報を
チェック!