近所の公園にて娘ちゃんを撮影 エモい
3D Gaussian Splattingに興味を持ち始めたが環境構築が厳しそうだったのでLuma AIを使うところからチャレンジしている。
Original reference implementation of "3D Gaussian Splatting for Real-Time Radiance Field Rendering" ...
github.com
Create, animate & innovate with Luma’s AI. Use text, images, or video to generate realistic motion c...
lumalabs.ai
ビデオをキャプチャするときに HDR を無効にします
ループを回ってシーンまたはオブジェクトをキャプチャします
理想的には、3 つの高さからループでキャプチャします。携帯電話を胸の高さで前方を見ながら、
電話機を頭より少し上に置き、シーンの中心を少し下に向けます。
最後に膝の高さから少し上を向きます。
ブレを軽減するためにゆっくり撮影します
通常/魚眼/正距円筒図法ビデオ、またはビデオの zip をアップロードできます。
ビデオの最大サイズは 5 GB です
ソース(ブログ掲載用にGif化しているが、実際は1080x1920 mp4 8.14MB 9秒)
出来たもの
3Dメッシュでダウンロードしてみてみるとなんか違う
gltfでダウンロードして表示してみた
※3Dビューワーはこちら(41MB)
結構ボコボコ、そして対象物のみしかメッシュ化されていない
つまりあれだけ表示がきれいなのはメッシュではなく点群データをうまく使ってるからな気がする
PLY形式でSCENEとしてもダウンロードできるのでやってみた
※3Dビューワーはこちら(276MB 自己責任)
開けるplyと開けないplyがあってなかなか難しいGaussian > Splat
をクリックしてDLされたzipを展開して出てきたgaussiansplattingpoint_cloud.ply
がPlayCanvas Viewerで表示できた。
さっきよりはLuma AIビューワーの見た目に近づいたけれどノイズが目立つ
やはり表示側の工夫が必要だと思う(手前の点群は表示しない、distans max/minの設定などなど)
これがLuma AIだけでなくPlayCanvasでしかもEditorから使えるようになると、空間コンピューティングやデジタルツインなんかは革命がおきそう
https://zenn.dev/yushimatenjin/articles/playcanvas-model-viewer
NeRFとはまた異なるRadiance Field(輝度フィールド)技術、3D Gaussian Splatt...
taziku.co.jp
NeRFとは異なる、新たなRadiance Fieldの技術「3D Gaussian Splatting for Real-Time Radiance Field Rendering」の使い方、環境構...
lilea.net
キミを探す、夏 開発秘話
2021年11月5日(金) 22時43分0秒 | 483 viewiPad ProからWindows 11ProのHyper-V上のWindows10 Pro VMにリモートデスクトップする
2023年2月16日(木) 3時33分4秒 | 306 viewphpを使ってimagekit.ioにREST API経由でbase64形式の画像をアップロードする
2021年1月15日(金) 7時46分53秒 | 208 viewChatGPTへのアクセスを簡単にする方法
2023年4月6日(木) 8時18分33秒 | 120 viewNCMBのスクリプト機能はGETでいいなと思ってもPOSTで設定しておこう
2021年3月6日(土) 18時29分49秒 | 46 view