Netflix Japan a publié ce matin un court métrage d'animation nommé The Dog & the Boy, produit par leur département expérimental Creators Base, en collaboration avec WIT Studio & Rinna.

Dans le générique de fin, comme dans leur communication, ils soulignent le fait qu'ils ont utilisé des outils d'intelligence artificielle (AI) sur une partie de l'élaboration des décors de ce court (le département Creators Base de Netflix étant censé travailler sur des projets permettant d'améliorer les conditions de production de l'animation au Japon).

J'ai publié un tweet avec les 4 screenshots du générique de fin du court métrage, qui montrent clairement le processus employé, et le résultat du début à la fin. A savoir un layout classique dessiné à la main, qui a ensuite servi à générer (au moins) deux différentes images en utilisant des outils AI, et enfin le décor final, fait à la main par l'artiste BG (sachant que les artistes layouts et BG sont le plus souvent des personnes différentes, surtout au Japon).



On peut donc y voir de manière claire que le décorateur final s'est inspiré en premier lieu du layout originel (évidemment, c'est la base de son travail et de sa mission), mais qu'il a aussi pioché des *idées* dans ce que les IAs ont pu générer comme aberrations visuelles (les IAs inventent souvent des détails qui ne se trouvent pas sur l'image originale, car les IAs ne comprennent jamais tout ce qu'elles *voient*, et interprètent/réinterprètent souvent des parties graphiques de manière complètement bordélique).

Exemples (encadrés en rouge) d'aberrations AI utilisées dans le décor final :



Afin de donner encore plus de *background*, j'ai également accompagné mon tweet d'un lien vers un article où les créateurs de ce court métrage expliquent leur choix du recours à l'IA (un décorateur expliquant par ex que ça a lui a permis de maximiser / développer son travail créatif). L'article évoquant aussi l'une des missions de Creators Base qui est de palier au manque d'effectifs et problèmes de recrutement dans l'animation japonaise, mais ça c'est clairement un autre sujet... (et ça reste aussi un article par/pour la promo de Netflix).

Bref, un mélange des genres total (que ce soit dans les screenshots comme dans l'article), qui comme ponctué dans mon tweet, me laisse dubitatif.

Car de base, c'est bien la première fois que je vois des outils AI employés pour créer des images de références pour un travail, et donc aussi la première fois que je vois des aberrations visuelles - propres à la génération par AI - ainsi (ré)utilisées par un artiste pour son travail final.

Ces aberrations visuelles - engendrées par les AI - dénaturent de base le matériau originel, j'en avais déjà parlé ici notamment dans le cas d'une autre utilisation AI (les upscales HD). Sauf qu'ici, ces mêmes aberrations sont utilisées pour une finalité carrément inverse : elles participent (via le choix d'un humain bien sûr donc) à concevoir une image censée être l'image définitive et originelle pour le public (le décor final). De quoi faire bugger mes yeux et mon cerveau.

Au final, il s'agit donc d'un cas où l'AI est utilisée pour générer des images de références censées aider un artiste dans son travail, sans que l'image finale soit générée par AI. On a bien ici, comme d'habitude, 2 artistes humains au début (artiste layout) et à la fin (artiste BG). N'étant pas artiste moi même, et ne connaissant pas l'intime process de création d'un décorateur dans l'étape d'un BG entre le layout et le décor final, je ne sais donc pas quoi en penser (car je me doute aussi qu'il est fréquent que des décorateurs s'inspirent d'images de références autres que le layout).

J'espérais évidemment que mon tweet engendre des réactions et feedbacks, surtout de la part d'artistes travaillant dans le domaine des BG donc, afin d'avoir leurs ressentis. Ce qui a été le cas, mais force est de constater qu'il s'agit surtout de réactions foncièrement antis-AI, tout à fait compréhensibles, mais qui ne répondent pas concrètement au cas présenté ici, qui la plupart du temps n'a pas été bien lu et observé (mais je me doutais donc aussi de ce type de réaction quand cela touche à un sujet aussi touchy que l'AI dans l'art).

En espérant donc quand même des feedbacks plus précis / on-topic par la suite.



From Catsuka on Twitter :

Netflix Japan produced an (experimental) animated short film "The Dog & the Boy" (with WIT Studio & Rinna) using AI in part of the making of the backgrounds.
I don't know what to think about it, but here's an interview of the creators about their approach:https://t.co/Wr8PlofAQo https://t.co/CtPK8wIfyg pic.twitter.com/0BudOTL3k4

— Catsuka (@catsuka) January 31, 2023