近所の公園にて娘ちゃんを撮影　エモい

3D Gaussian Splattingに興味を持ち始めたが環境構築が厳しそうだったのでLuma AIを使うところからチャレンジしている。

GitHub - graphdeco-inria/gaussian-splatting: Original reference implementation of "3D Gaussian Splatting for Real-Time Radiance Field Rendering"

Original reference implementation of "3D Gaussian Splatting for Real-Time Radiance Field Rendering" ...

github.com

Luma Dream Machine: New Freedoms of Imagination

Ideate, visualize, create videos, and share your dreams with the world, using our most powerful imag...

lumalabs.ai

ビデオをキャプチャするときに HDR を無効にします
ループを回ってシーンまたはオブジェクトをキャプチャします
理想的には、3 つの高さからループでキャプチャします。携帯電話を胸の高さで前方を見ながら、
電話機を頭より少し上に置き、シーンの中心を少し下に向けます。
最後に膝の高さから少し上を向きます。
ブレを軽減するためにゆっくり撮影します
通常/魚眼/正距円筒図法ビデオ、またはビデオの zip をアップロードできます。
ビデオの最大サイズは 5 GB です

実際にやってみた

ソース（ブログ掲載用にGif化しているが、実際は1080x1920 mp4 8.14MB 9秒)


出来たもの

気づき

3Dメッシュでダウンロードしてみてみるとなんか違う

gltfでダウンロードして表示してみた

※3Dビューワーはこちら（41MB)
結構ボコボコ、そして対象物のみしかメッシュ化されていない
つまりあれだけ表示がきれいなのはメッシュではなく点群データをうまく使ってるからな気がする


PLY形式でSCENEとしてもダウンロードできるのでやってみた

※3Dビューワーはこちら（276MB 自己責任)
開けるplyと開けないplyがあってなかなか難しい
Gaussian > SplatをクリックしてDLされたzipを展開して出てきたgaussiansplattingpoint_cloud.plyがPlayCanvas Viewerで表示できた。
さっきよりはLuma AIビューワーの見た目に近づいたけれどノイズが目立つ
やはり表示側の工夫が必要だと思う（手前の点群は表示しない、distans max/minの設定などなど）

これがLuma AIだけでなくPlayCanvasでしかもEditorから使えるようになると、空間コンピューティングやデジタルツインなんかは革命がおきそう

参考

https://zenn.dev/yushimatenjin/articles/playcanvas-model-viewer

3D Gaussian SplattingのWindows環境構築手順を解説 | taziku / AI × クリエイティブ | 東京・名古屋

NeRFとはまた異なるRadiance Field（輝度フィールド）技術、3D Gaussian Splatt...

taziku.co.jp

3D Gaussian Splattingの使い方 (Windows環境構築)

NeRFとは異なる、新たなRadiance Fieldの技術「3D Gaussian Splatting for Real-Time Radiance Field Rendering」の使い方、環境構...

lilea.net