PSHuman: élethű 3D-ember egyetlen bemeneti képből

A PSHuman egy különleges keretrendszer fotorealisztikus és identitástartó 3D emberi rekonstrukcióhoz egyetlen képből. Ez a projekt rendkívül gyors, képes részletes geometriát és valósághű 3D emberi megjelenést létrehozni különböző pózokban, körülbelül 1-3 perc alatt.

A PSHuman projekt számos jelentős előnnyel rendelkezik a meglévő módszerekkel szemben:
- A PSHuman egy nyílt forráskódú (open-source) projekt
- Lehetővé teszi az identitást megőrző, fotorealisztikus emberi digitalizálást egyetlen képből.
- A projekt kiemelkedik a geometria részletek, a textúra hűsége és az általánosítási képesség terén.
- A teljes rekonstrukciós folyamat körülbelül 1-3 percet vesz igénybe. Ez jelentősen gyorsabb, mint az optimalizáció alapú SOTA (State-Of-The-Art) módszerek, amelyek akár hat órát is igénybe vehetnek.
- Sikeresen kezeli a bonyolult testhelyzeteket és a laza ruházatot, kiküszöbölve az olyan problémákat, mint a hiányzó testrészek vagy a torzult ruházat, amelyekkel a meglévő módszerek gyakran küzdenek.
- Nagyon konzisztens megjelenést biztosít új nézőpontokból, beleértve a hátulsó területek természetes és valósághű rekonstrukcióját.
- A kereszt-skálás diffúziós modellnek köszönhetően részletesen és identitástartóan rekonstruálja az arcokat, ami más módszerek hiányossága.
- Képes megbirkózni a nem látható részekkel, pontos emberi struktúrát feltételezve még nehéz körülmények között is.
- A HDR térképekkel történő képzés révén ellenáll a változó fényviszonyoknak.
- Mivel a Stable Diffusion modellre épül, kiválóan alkalmazható animált vagy kézzel rajzolt karakterekre is.

*Linkek*
PSHuman: https://penghtyx.github.io/PSHuman/
Paper: https://arxiv.org/pdf/2409.10141
GitHub: https://github.com/pengHTYX/PSHuman
Hugging Face model: https://huggingface.co/pengHTYX/PSHuman_Unclip_768_6views/tree/main
Hugging Face demo: https://huggingface.co/spaces/fffiloni/PSHuman
Hugging Face tokens: https://huggingface.co/settings/tokens
RunPod: https://runpod.io?ref=2pdhmpu1
RunPod template: https://console.runpod.io/deploy?template=u7cxr0ahuu&ref=2pdhmpu1