Fotóból és videóból valós idejű 3D – LichtFeld Studio

Ebben a videóban bemutatom, hogyan telepítheted és használhatod a LichtFeld Studiot – a Postshot nyílt forráskódú alternatíváját, amellyel 3D Gaussian Splatting jeleneteket hozhatsz létre. Akár fotogrammetriával, neurális rendereléssel vagy mesterséges intelligencia alapú 3D rekonstrukcióval dolgozol, ez az oktatóanyag segít a nulláról elindítani a programot.

A következőket fogjuk áttekinteni:
- Mi a LichtFeld Studio, és miért az egyik legjobb ingyenes Gaussian Splatting eszköz
- Teljes körű beállítási és építési útmutató Windows rendszeren
- Hogyan konvertáljunk át egy videót a lehető legjobb minőségű forrás képekké
- Hogyan készítsünk elő egy adathalmazt a RealityScan segítségével, és exportáljuk COLMAP formátumba
- Hogyan tanítsuk be és rendereljük saját 3D jeleneteinket (egy valós példával!)

A LichtFeld-Studio célja, hogy lehetővé tegye a valós fényképekből való 3D tartalom létrehozását, szerkesztését és valós idejű renderelését helyben, asztali számítógépen, anélkül hogy fizetős, zárt szoftvereket vagy felhőszolgáltatásokat kellene használni.

Fő funkciók és előnyök

1. 3D Gaussian Splatting implementáció
A szoftver a 3D Gaussian Splatting nevű modern neurális renderelési módszert valósítja meg C++ és CUDA segítségével, ami hatékonyabb és gyorsabb lehet bizonyos rekonstrukciós feladatoknál, mint a hagyományos volumetrikus neurális hálómodellek.

2. Teljes körű szerkesztési és vizualizációs eszköz
A projekt nem csak betanítást (training), hanem valós idejű interaktív megjelenítőt és szerkesztő felületet is tartalmaz, amely lehetővé teszi a splattek mozgatását, forgatását, skálázását, maszkolását stb.

3. Gyorsabb teljesítmény
A nyílt forrású megoldást úgy optimalizálták, hogy jelentősen gyorsabb rasterizációt és megjelenítést biztosítson, például GPU-architektúrák kihasználásával (CUDA), ezzel segítve az interaktív használatot és a kutatási munkát.

4. 100% ingyenes és nyílt forráskódú
A projekt GPL-3.0 licenc alatt elérhető, tehát szabadon tanulmányozható, módosítható és felhasználható kutatási vagy saját projektekben, licencdíjak nélkül.

5. Offline működés
Mivel a teljes feldolgozás helyben történik, a képek és modellek nem kerülnek felhőbe, ami adatvédelmi és biztonsági előnyöket ad, valamint gyorsabb prototípuskészítést tesz lehetővé.

0. Forrás megkeresése
1. LichtFeld Studio feltelepítése
2. Sharp Frames
A Sharp Frames egy böngészőben futó eszköz, amely:
- Kiváló minőségű képkockákat tud kinyerni videókból.
- Képmappákat is képes elemezni.
- Élesség- és elmosódás‑detektálást használ, hogy csak a legjobb, legélesebb képeket válassza ki.
- Kifejezetten hasznos 3DGS és NeRF datasetek előkészítéséhez.
- Minden feldolgozás helyben, a böngésződben történik – a videóid és képeid nem kerülnek feltöltésre, nem látják és nem tárolják őket.

📦 További részletek
- Videóméret-határ: kb. 1.9 GB (a böngésző memóriájától függően)
- Támogatott kodekek: H264, HEVC, VP8, VP9, AV1
- Chrome böngésző ajánlott a legjobb teljesítményhez
- Ha szeretnéd elkerülni a böngészős korlátokat, használhatod a SharpFrames Python verziót vagy a Windows alkalmazást (béta)

🎬 Használat
- Videó húzása a felületre (MP4, MOV, WebM)
- Vagy egy képmappa kiválasztása
- A rendszer automatikusan kiválogatja a legélesebb, legjobb képkockákat
3. RealityScan használata
Az Align Images lépés arra való, hogy a program kitalálja, hol volt a kamera és merre nézett minden egyes képkockán, különben a képek csak különálló fotók maradnának, nem lesz belőlük 3D.
A COLMAP export az Align Images eredménye. Ebben van leírva, hogy melyik képkocka honnan készült és merre nézett a kamera. Ezt használják fel a NeRF és a Gaussian Splatting módszerek, mert ezek nem tudnak dolgozni kameraadatok nélkül.
Exportálási beállítások
Max count of pixels: 2000000
Export images: Igen (mivel átméretezi őket)
Customize image path: ugyanaz mint az export location

4.LichtFeld Studio
Bedobjuk a fotók mappáját és elkezdjük a tanítást

*Linkek*
LichtFeld Studio: https://github.com/MrNeRF/LichtFeld-Studio
postshot: https://www.jawset.com/
RealityScan: https://www.realityscan.com/en-US/download
Car video: https://www.pexels.com/video/a-wrecked-car-on-the-street-3974558/
Sharp frames: https://sharp-frames.reflct.app/
SuperSplat Editor: https://superspl.at/editor

Ez a videó bemutatja a mesterséges intelligencia alkalmazását. Az AI (mesterséges intelligencia) rengeteg területen könnyíti és segíti az életünket.