Ismeretes, hogy a Disney Studios a szemkápráztató, lélegzetelállító látványvilág megteremtésének nagymestere. A napi munka túlhevült tempójában sajnos nem minden projektre jut elég idő és számítási kapacitás, így a nagy film- és sorozatgyártási láz eredményeként számos olyan számítógép által generált grafika és mozgókép lát napvilágot, melyeket már a kétezres években is közröhej tárgyaként ünnepelt volna a nagyérdemű.
Az Arc-varázs történet a Jégvarázshoz hasonlóan csodával határos képességeket mutat be, Elza hercegnő szerepét azonban mesterséges intelligencia megoldások veszik át, a fagy és jég manipulálása helyett a digitális illúziók árnyékában szerepüket játszó színészek életkorának mesterséges intelligencia általi változtatása kerül középpontba.
Szakavatott körökben ismert tény, hogy 3D modellezési megoldásokkal elképesztő jó minőségben lehet a színészek arcának minden jellemzőjét manipulálni. A legkorszerűbb, megbízható megoldások azonban rettentő idő- és erőforrás igényesek, ezért, jellemzően „csak” a képernyőidőt dominánsan birtokló személyen alkalmazzák – a „hős mozik”.
Szükség van egy idő- és energiagazdaságos középútra, ami 2D képeken képes a színészek életkorának változtatására. Itt ismét teszünk egy rövid kitérőt a gyerek-felnőtt időskálán történő változtatásra, szintén van megoldás, de azt 2D formátumra rádolgozni egy teljesen másik projekt.
Meg is kaptuk az Arc-varázs forgatókönyvének központi témáját: 18-65 év közötti színészek életkorának változtatása, mesterséges intelligencia megoldások segítségével. Ejh! Nem nagy dolog: itt van a telefonomon mindjárt három alkalmazás, öregít – fiatalít – szépít. Kérdezhetnénk, mi ebben a kihívás? A kérdés precízen megválaszolható pár ezer oldalnyi szakmai anyag áttekintésével, de sajnos több kérdést vet fel, mint amennyit megválaszol, és innen már nem elég szakmai anyagokat elolvasni, kísérletezni kell. Ezen tanulmányozás és kísérletezés, boszorkányos összetettségű mesterséges intelligencia programozás eredménye a Disney Studio FRAN rendszere. A rendszer kialakításának kihívásait összegyűjtve kaphatunk egy frappáns forgatókönyv vázlatot az Arc-varázs történetünkhöz.
Csapó 01 – „Tiéd ez a fénykép 2053-ból?”
A tanuló mesterséges intelligencia algoritmusoknak adat kell. Így 2022-ben lehetetlen 4k minőségben egy 30 éves színészről 18 éves korából fotót szerezni, megfelelő minőségben, de ennél nagyobb kihívás a jövőbeli énjéről fotót találni. Generálni kell tehát, méghozzá ipari mértékben.
Csapó 02 – „Steve! Ne a kamerába nézz, hanem fel-balra!”
A telefonos időgép-alkalmazások szép munkát végeznek szemből. De ha elfordítjuk a fejünket, akkor pár pillanat után figyelmeztetnek, hogy a kamerába nézzünk. Megoldást kell találni a 3D modellezés nélkül a különböző szögekben öregítendő arcokra.
Csapó 03 – „Steve! Mosolyogj már, ha mondom!”
Az MI-algoritmusnak készen kell állnia a különböző arckifejezéseken történő öregítésre. A dinamikusan keletkező ráncok, mosoly, fej- és alaktorzulás számos kihívást rejt magában.
Csapó 04 – „Esti jelenet, kérjük, kerüljék a fény használatát!”
Nem egyszerűen arcot öregítünk különböző szögekben, a fény és árnyék játékára is figyelemmel kell lenni, nem beszélve azok különböző színeiről.
Csapó 05 – „Steve, figyelj már … a harmadik jelenetnél, az te vagy?”
Az álló kép világából a mozgó kép világába átmenet a fenti problémákon túl felveti azt a problémát, hogy a másodpercenkénti 30 képkockán, végig egyenletesen ugyanazon arcnak kell lennie. Nem minden alkalmazás képes megfelelő minőségben tartani a fő arcvonásokat.
Csapó 06 – „Vannak bogarak ebben a jelenetben?”
A mesterséges intelligencia beavatkozása egy képbe nem egyszerű folyamat, amennyiben hibázik, akkor képernyőhibák jönnek létre, változó színben és minőségben.
Csapó 07 – „Valaki tegye vissza a mozgási elmosódást a képre”
A fiatalító – öregítő algoritmusnak tudnia kell kezelni a fókuszt és a gyors mozgásból eredő képernyőeffekteket (motion blur), ezeket nem változtathatja meg.
Csapó 08 – „Ez szépen öregít, de ez meg jobban kezeli a dinamikus szarkalábat”
A mesterséges intelligencia algoritmusok kombinálása vezet gyakran a legjobb megoldáshoz, ezek együttes alkalmazása, azonban szép technológiai kihívás. (a képen látahóak az alkalmazott technológiák nevei, az „ours” érték a Disney Studios FRAN megoldását jelöli)
Csapó 09 – „Szerintem ott nem kellene még öregedni”
A telefonos megoldásokkal szemben az öregítő algoritmusok finomhangolhatóak, gyakorlatilag arc tájra vonatkozó részletességgel – nem beszélve arról, hogy a korral például nő a férfiak füle!
Extra jelenet – „A sminkesek, fodrászok és úgy mindenki MARAD.”
Az kor változtató algoritmus csak egy komponense az Arc-varázslatnak, az életkor és élethelyzet művészi beállítása (korhű frizura, smink, ruházat) a kiindulási alap, ezt a kellékes munkát egészíti ki a FRAN. Nem veszi el a mesterséges intelligencia a stáb munkáját.
Forgatókönyv: kész! A technológiai részleteket kedvelőknek az alábbi linken elérhető a Disney Studio részletes dokumentációja.
Forrás: studios.disneyresearch.com
Csatlós Béla, Clementine, IT Support
HÍRLEVÉL
REGISZTRÁCIÓ
BEJELENTKEZÉS
