近所の公園にて娘ちゃんを撮影　エモい

3D Gaussian Splattingに興味を持ち始めたが環境構築が厳しそうだったのでLuma AIを使うところからチャレンジしている。

GitHub - graphdeco-inria/gaussian-splatting: Original reference implementation of "3D Gaussian Splatting for Real-Time Radiance Field Rendering"

Original reference implementation of "3D Gaussian Splatting for Real-Time Radiance Field Rendering" ...

github.com

Luma AI | AI Video Generation with Ray2 & Dream Machine | Luma AI

Create, animate & innovate with Luma’s AI. Use text, images, or video to generate realistic motion c...

lumalabs.ai

ビデオをキャプチャするときに HDR を無効にします
ループを回ってシーンまたはオブジェクトをキャプチャします
理想的には、3 つの高さからループでキャプチャします。携帯電話を胸の高さで前方を見ながら、
電話機を頭より少し上に置き、シーンの中心を少し下に向けます。
最後に膝の高さから少し上を向きます。
ブレを軽減するためにゆっくり撮影します
通常/魚眼/正距円筒図法ビデオ、またはビデオの zip をアップロードできます。
ビデオの最大サイズは 5 GB です

実際にやってみた

ソース（ブログ掲載用にGif化しているが、実際は1080x1920 mp4 8.14MB 9秒)


出来たもの

気づき

3Dメッシュでダウンロードしてみてみるとなんか違う

gltfでダウンロードして表示してみた

※3Dビューワーはこちら（41MB)
結構ボコボコ、そして対象物のみしかメッシュ化されていない
つまりあれだけ表示がきれいなのはメッシュではなく点群データをうまく使ってるからな気がする


PLY形式でSCENEとしてもダウンロードできるのでやってみた

※3Dビューワーはこちら（276MB 自己責任)
開けるplyと開けないplyがあってなかなか難しい
Gaussian > SplatをクリックしてDLされたzipを展開して出てきたgaussiansplattingpoint_cloud.plyがPlayCanvas Viewerで表示できた。
さっきよりはLuma AIビューワーの見た目に近づいたけれどノイズが目立つ
やはり表示側の工夫が必要だと思う（手前の点群は表示しない、distans max/minの設定などなど）

これがLuma AIだけでなくPlayCanvasでしかもEditorから使えるようになると、空間コンピューティングやデジタルツインなんかは革命がおきそう

参考

https://zenn.dev/yushimatenjin/articles/playcanvas-model-viewer

3D Gaussian SplattingのWindows環境構築手順を解説 | taziku / AI × クリエイティブ | 東京・名古屋

NeRFとはまた異なるRadiance Field（輝度フィールド）技術、3D Gaussian Splatt...

taziku.co.jp

3D Gaussian Splattingの使い方 (Windows環境構築)

NeRFとは異なる、新たなRadiance Fieldの技術「3D Gaussian Splatting for Real-Time Radiance Field Rendering」の使い方、環境構...

lilea.net