La “Photo” Wake-Up ” Est Un Bizarre Nouvelle Technique Pour la Création d’Animation 3D à Partir d’Une Seule Image fixe

Des chercheurs de l’Université de Washington ont développé une nouvelle technique pour la création 3d cg animation à partir d’une seule photo. Ils appellent cela “Photo ” Wake-Up” et la vidéo de démonstration ci-dessus donne une idée claire de ce qui peut être accompli avec la technique. La Photo de Réveil recherche a été financée par Facebook, Google, Huawei, et une Réalité de Laboratoire Huawei Bourse.

La technique est démontrée en utilisant une variété de mono-image des entrées, y compris des photographies, des réalistes, des illustrations, des bandes dessinées, et de l’abstraction des formes humaines. Les chiffres sont animés de différentes manières, telles que la marche en direction de l’écran, de courir, de s’asseoir et de sauter.

Dans un document qui détaille la procédure (télécharger le PDF), les chercheurs —
Chung-Yi Weng, Brian Curless, et Ira Kemelmacher-Shlizerman — expliquer que beaucoup de la technique de développement requis pour ce faire existe déjà. Ces techniques comprennent la segmentation d’une personne à partir d’une image 2d squelette de l’estimation, et le montage d’un morphable, posable modèle 3d dans l’image fixe. Le UofW les chercheurs ont construit sur le précédent de la recherche, en tentant d’avoir l’animation des figures plus conforme à la 2d de silhouettes et de créer plus naturelle à la recherche de personnages.

La clé avancée technique de la Photo de Réveil est la création d’un animables modèle 3d qui correspond à la silhouette d’une seule photo et gère l’auto-occlusion. “Plutôt que de déformer le maillage 3d à partir de la première étape – un problème difficile pour les complexes régions comme les doigts et pour les scénarios comme des œuvres d’art abstrait – nous carte le problème à la 2d, effectuer une silhouette alignement de courbure dans l’espace image, puis soulevez le résultat en 3d,” les chercheurs ont expliqué. “Cette déformation 2d approche fonctionne bien pour la manipulation complexe des silhouettes. De plus, en introduisant des étiquettes, des cartes de délimiter les frontières entre les parties du corps, nous prolongeons notre méthode pour gérer certaines auto-occultations.”

Dans l’image ci-dessus, les chercheurs montrent comment l’occlusion des œuvres. À partir de l’image d’entrée (a) et sa silhouette et projetée SMPL partie du corps du modèle, ils récupèrent une première partie du corps de l’étiquette de la carte (b). Après l’identification des points à l’occlusion des limites, ils construisent une occlusion masque (plus léger
les zones en (c), puis de l’affiner à construire le corps final de l’étiquette de la carte (d). La partie du corps les régions près des occlusions ont les fausses limites, indiquées en rouge dans (e). Ces fausses frontières (f) sont supprimées et remplacées par des transformé versions de la SMPL limites (g). Ils peuvent alors reconstituer le corps, partie par partie (h) et de les assembler dans la dernière maille (i).

L’occlusion s’inscrit dans ce vaste pipeline de production:

La Photo de Réveil pipeline.

Les créateurs de la technique de souligner que l’animation 3d peut être utilisé dans augmentée ou virtuelle expériences de réalité, de sorte qu’il est facile d’imaginer le potentiel d’application de cette technologie dans les jeux et dans les contextes éducatifs, ainsi que des œuvres particulières, telles que le fait de porter une pièce de vie à l’art dans un musée. Les chercheurs croient que la méthode ne permet pas seulement de nouvelles façons pour les gens à profiter et à interagir avec des photos, mais suggère également la voie à la reconstruction d’un avatar virtuel à partir d’une seule image, tout en donnant un aperçu de l’état de l’art de la modélisation humaine à partir d’une seule photo.”

Il est important de noter qu’il existe actuellement beaucoup de recherches complémentaires effectuées dans automatisée des reconstitutions de photoréalistes cg de l’imagerie et naturaliste mouvement — par exemple, ici et ici. Si tout cela semble un peu brut, à ce point, rappelez-vous que beaucoup de la technologie actuelle cg et vfx logiciel aussi a commencé comme excentrique des projets de recherche dans un laboratoire informatique. Et lorsque ces technologies évoluent à un niveau plus élevé et les gens commencent à la création d’crédible de l’animation de l’homme à partir d’images fixes, il donnera lieu à toutes sortes de problèmes éthiques qu’aucun de ces scientifiques semblent particulièrement intéressés dans la reconnaissance ou la considérant comme une partie de leur pratique de la recherche.