Új hozzászólás Aktív témák

• #7 XMI csendes tag Akula #4

  Új Válasz 2019-01-10 22:09:49 #7

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  XMI

  csendes tag

  válasz Akula #4 üzenetére

  Úgy állítja elő, hogy
  1. vesznek jónéhány natív 8k-s, jóminőségű minta videoanyagot. Lehetőleg minél többféle tartalomból válogatnak mintákat, majd lentebb kiderül ez miért kulcsfontosságú.
  2. leskálázzák 4k-ra, vagy 1080p-re
  3. egy neurális hálót úgy tréningeznek, hogy a leskálázott anyag megy a bemenetre, az eredeti 8k-s referenciaanyag megy az elvárt kimenetre és addig optimalizálják az együtthatókat, amíg valami minimális maradékhibát sikerül elérni. Ezt a gyártó csinálja meg, borzasztóan számításigényes feladat, még dedikált gyorsítókkal is.
  4. a gyártó által így tréningezett háló együtthatóit a TV firmware-be becsomagolják / firmware update-ekkel letöltik
  5. a kisfelbontású inputot megkapja a háló, a tanultak alapján megpróbál kisebb-nagyobb képelemeket felismerni belőle és "megtippelni" a hozzátározó nagyfelbontású kimenő képet - ez relative kisebb erőforrásigényű (de azért valós időben már dedikált gyorsítóhardvert igénylő) feladat.

  Ha esetleg a Nvidia DLSS antialiasing technikájáról olvastad a cikkeket - na ez gyakorlatilag ugyanaz. Ott is 2.5k-n renderel a kártya (antialiasing nélkül), ezt 4k-ra skálázza fel és egyúttal próbálja az élsimítást is betippelni, több-kevesebb sikerrel. Ott annyival jobb a helyzet, hogy a neurális hálót minden játékra külön-külön tréningezik fel, tehát elvileg mindig csak egyféle vizuális "stílus"-ra kell optimalizálni.

  Megjöttek az első független összehasonlítások a DLSS-ről

  De így is látható, hogy ez nem csodaszer. Bizonyos eseteket elég jól lekezel (ferde, de tömör felülethatárokon a pixeles lépcsőházat) - ez ugyanis elég jellegzetes, mással össze nem keverhető vizuális elem.
  Viszont a nagyon vékony (szubpixeles vékonyságú) vonalakkal nem tud mit kezdeni, azok szétesnek különálló pixelekre - ilyenkor egész egyszerűen nincs elég infó a bemeneten, hogy fel tudja ismerni és értelmes becslést tudjon adni. A másik kifejezetten problémás eset a periodikus mintázatoknál (pl, sűrű kerítés) van, ezeknél több lehetséges képtartalmat is egyszerre felismer és nem tudja eldönteni, hogy folyamatos színátmenet vagy egy pixel-felbontásnál sűrűbb rács van.

  A te példádra visszatérve - nyilván, a nagyon apró - néhány pixeles - objektumokat a neurális háló nem fogja tudni semmilyen megtanult mintázattal azonosítani - hiszen rendkívül sokféle tárgy néz ki ugyanúgy, ha pár pixel méretre le van kicsinyítve - nem egyértelmű, hogy mit kéne rajzolni. Tehát ezt valószínűleg életlenül fogja felskálázni, kb úgy mint egy mostani bilineáris felskálázó szűrő. Kivéve, ha a háló betanítását elcseszték - túl kevésféle tartalommal tanították vagy nem volt statisztikailag kiegyensúlyozott a tanító halmaz, ilyenkor úgymond "túltanul" a háló, túlságosan ráoptimalizálják egyfajta mintára és mindenbe azt az alakzatot fogja belelátni, ami a tanítás során felülreprezentált volt. Vagyis ha hangyabolyt ábrázoló videóval tanították, akkor egy mákostésztát ábrázoló bemenő képre is apró hangyákat fog rajzolni a mákszemek helyére.

  [ Szerkesztve ]

Új hozzászólás Aktív témák