3Dスキャンアプリを提供するLuma AI、3D Gaussian Splatting対応のライブラリ「Luma WebGL Library」を公開。Three.jsやReact-Three-Fiberと連携して使用可能

Luma AIは2023年12月7日（木）、3D Gaussian Splatting（※）に対応したWebGLライブラリ「Luma WebGL Library」を公開しました。

※　2023年8月に発表された3DCG技術。静止画をベースに3Dモデルを生成可能で、生成精度の高さに対して高速にレンダリングできる点などを特徴としている

It’s time for photorealistic 3D to be everywhere on the web! Announcing our @threejs & React-Three-Fiber library for #GaussianSplatting! Capture from your phone, integrate anywhere, customize to match your brand, and build shaders/effects. Available now 👉 https://t.co/j3ullgdgc4… pic.twitter.com/4rIL0YbUv8

— Luma AI (@LumaLabsAI) December 6, 2023

Luma AIは、iOS向け3Dスキャンアプリ『Luma AI』を提供しています。

機械学習モデル「NeRF」を利用した3Dモデル生成のほか、2023年10月には3D Gaussian Splattingにも対応しており、スマートフォンを用いて手軽にフォトリアルな3Dモデルを生成できます。

また、生成したオブジェクトはプラグインを用いることでUnreal Engine 5へインポートできます。

このたび公開された「Luma WebGL Library」は、Webブラウザ上で3DCGを描画する「Three.js」や、Three.jsを「React」と統合する「React-Three-Fiber」と連携するWebGLライブラリです。

3D Gaussian Splattingにも対応しており、Luma WebGL Libraryを活用することでフォトリアルかつインタラクティブな3ＤモデルをWeb上に公開できます。

（画像は公式Xより引用）

3Dシーンはレイヤー化が可能。背景とモデルを分割して処理することで、背景を削除できます。

背景の除去前（左）と背景の除去後（右）の比較（画像は公式ドキュメントより引用）

また、3Dモデルのシェーダーを調整してマテリアルを透過させることも可能です。

エフェクトの追加にも対応しており、空間モデルに霧をかけるなど、幅広い表現ができます。

透過を用いて、球体の外側と内側で描画する景色を変える様子（画像は公式Xより引用）

空間モデルに霧をかけている様子。本来は快晴のモデル（画像は公式Xより引用）

その他、3Dモデルを同一シーン内に複数配置し、片方のみを移動できる表示や、XR機能を有効にし、VR画面として表示することなども可能です。

「Luma WebGL Library」のWebページでは、インストール手順や各機能の説明、デモが用意されています。

詳細は、Webページをご確認ください。