Ce n’est pas la première fois que Nous avons parlé du processus de « conversion de l’action réelle en animation »et non, on ne parle pas de motion capture, mais d’enregistrer une séquence en vrai puis une intelligence artificielle (IA) est chargé de tout transformer en une animation de style anime. Mais comment diable une IA génératrice d’images peut-elle convertir une vidéo entière ?
La réponse est assez simple, et c’est qu’en théorie, ce n’est pas le cas. El proceso real consiste en que la IA transforma cada uno de los fotogramas del video original hacia un estilo anime, para al final tener una galería de imágenes que, al reproducirse en secuencia una tras de otra, vuelven a formar el video original pero con un nouveau style. Nous avons discuté précédemment que ce processus présente certains problèmes, car l’IA ne sait pas qu’elle doit conserver « le même caractère dans toutes les itérations ».
Le principal problème est que l’IA génère le « personnage d’anime » en fonction de la position de la personne dans un certain cadre, de sorte qu’elle n’arrive pas toujours au même modèle. Lorsque cela est joué en séquence, on peut remarquer que le personnage change à certains moments, créant un effet visuellement attrayant, mais techniquement incorrect.
Cependant, il semble que cela soit lentement corrigé, en tant qu’utilisateur de Reddit « u/neilwong2012« , qui a partagé la transition d’une vidéo en direct à un style anime, en utilisant les outils diffusion stable et MultiControlNet.
Le résultat est impressionnant et assez stable au niveau du style, ce qui a attiré pas mal de commentaires :
- «C’est le moins de scintillement que j’ai vu dans n’importe quelle sortie de diffusion stable. Et l’animation est si cohérente, il n’y a pas de fondu constant de certaines parties et la distorsion qui se produit est très imperceptible (par rapport à d’autres vidéos)».
- «Vous avez porté la rotoscopie à un tout autre niveau, et c’est vraiment impressionnant à regarder.».
- «Condamner. Encore quelques étapes pour perfectionner cette technique. Quel temps pour vivre!».
- «Ce que je ne comprends pas dans ces vidéos MultiControlNet, c’est pourquoi l’arrière-plan doit également être traité image par image. Si nous regardons l’anime réel, la plupart du temps, c’est un joli fond peint statique. Il me semble presque plus crédible que le personnage soit situé sur un fond statique qui peut être légèrement tourné pour tenir compte des mouvements de caméra si nécessaire. D’autant plus qu’il semble que la vidéo originale ait déjà été extraite de l’arrière-plan (ou de l’écran vert pour commencer ?), donc vous seriez déjà à mi-chemin !».
- «Donnez-lui environ cinq ans de plus et voici comment les dessins animés et les dessins animés seront produits à l’avenir».
- «Le potentiel est immense aussi pour les jeux vidéo».
- «S’agit-il d’un processus entièrement automatisé avec le bon logiciel ou s’agit-il toujours d’un processus manuel ?».
- «Lorsque cette technologie sera entièrement en temps réel, nous ne reverrons plus jamais une personne peu attrayante sur les réseaux sociaux, n’est-ce pas ?».
- «Maintenant, je vous mets au défi de le faire, mais avec une grosse personne. Vous verrez que les IA ne connaissent pas ce type de corps».
- «Que pensez-vous, cela deviendra-t-il la norme de qualité anime pour l’animation de mouvement pour les années à venir?».
- «Ce que cette vidéo montre, c’est que vous pouvez créer très rapidement un anime incroyable du point de vue de la production et économiser beaucoup d’argent. Peu importe s’il y a du scintillement ou si l’arrière-plan n’est pas génial. C’est le fait que vous pouvez maintenant l’apporter à votre logiciel d’animation et le nettoyer. Les problèmes de perspective et les séquences d’animation complexes sont maintenant résolus. Il suffit de dessiner dessus et c’est tout. La clé de l’animation est ce qui résout vraiment».
- «En quelques mois, vous pouvez créer n’importe quel anime. Pensez aux suites d’anime qui n’ont jamais été faites, comme Highschool of the Dead Season 2 ou d’autres.».
- «C’est très gentil. J’aime qu’il n’y ait pas de scintillement, ou du moins pas de distraction comme c’était le cas il y a quelques mois à peine».
- «Je trouve incroyable que cela soit même possible. Cette technologie est si nouvelle et déjà incroyable et elle ne fera que s’améliorer à partir de maintenant. Comment sera-t-il dans 10 ans. Dans 50 ans. 100 ? putain de fou».