3D Gaussian Splatting で遊んでみる

2023年10月18日(水) 14時5分18秒 | 263 view |


近所の公園にて娘ちゃんを撮影 エモい

3D Gaussian Splattingに興味を持ち始めたが環境構築が厳しそうだったのでLuma AIを使うところからチャレンジしている。




Luma AIを使うと無料でスマホで撮影した動画をアップロードするだけで3Dアセット化してくれる。

動画ファイル撮影時の注意点は以下

ビデオをキャプチャするときに HDR を無効にします
ループを回ってシーンまたはオブジェクトをキャプチャします
理想的には、3 つの高さからループでキャプチャします。携帯電話を胸の高さで前方を見ながら、
電話機を頭より少し上に置き、シーンの中心を少し下に向けます。
最後に膝の高さから少し上を向きます。
ブレを軽減するためにゆっくり撮影します
通常/魚眼/正距円筒図法ビデオ、またはビデオの zip をアップロードできます。
ビデオの最大サイズは 5 GB です


実際にやってみた

ソース(ブログ掲載用にGif化しているが、実際は1080x1920 mp4 8.14MB 9秒)


出来たもの



短めの動画で、周囲を回ったものでなくても問題なく生成できている
2Dデータだけで奥行きが完璧にデータ化出来ているのがすごい

気づき

3Dメッシュでダウンロードしてみてみるとなんか違う

gltfでダウンロードして表示してみた

※3Dビューワーはこちら(41MB)
結構ボコボコ、そして対象物のみしかメッシュ化されていない
つまりあれだけ表示がきれいなのはメッシュではなく点群データをうまく使ってるからな気がする


PLY形式でSCENEとしてもダウンロードできるのでやってみた

※3Dビューワーはこちら(276MB 自己責任)
開けるplyと開けないplyがあってなかなか難しい
Gaussian > SplatをクリックしてDLされたzipを展開して出てきたgaussiansplattingpoint_cloud.plyがPlayCanvas Viewerで表示できた。
さっきよりはLuma AIビューワーの見た目に近づいたけれどノイズが目立つ
やはり表示側の工夫が必要だと思う(手前の点群は表示しない、distans max/minの設定などなど)

これがLuma AIだけでなくPlayCanvasでしかもEditorから使えるようになると、空間コンピューティングやデジタルツインなんかは革命がおきそう

参考

https://zenn.dev/yushimatenjin/articles/playcanvas-model-viewer