L'art inversé par l'IA : Un voyage numérique déconstruisant "La Nuit étoilée sur le Rhône" de Van Gogh, une percée innovante de l'Université de Washington
La technologie de l'IA repousse à nouveau les limites, cette fois en étant capable de "déconstruire" le chef-d'œuvre de Van Gogh !
En fournissant simplement une peinture originale, l'intelligence artificielle peut imiter les coups de pinceau de Van Gogh et recréer progressivement le processus de création de toute l'œuvre.
En comparant attentivement les deux côtés, l'IA a presque réalisé une reproduction 1:1, nous montrant le processus de construction de toute l'image.
Cette technologie étonnante, appelée "Inverse Painting", provient du laboratoire de l'Université de Washington. Les résultats académiques du projet ont déjà été reconnus et seront présentés à la conférence de premier plan SIGGRAPH Asia 2024. Il convient de noter que l'équipe de recherche comprend deux chercheurs chinois : Bowei Chen de l'Université du Nord-Est et Yifan Wang, diplômé de l'Université des Sciences et Technologies de Shanghai, qui ont contribué à cette recherche révolutionnaire.
Détails techniques approfondis
Comment fonctionne cette technologie ? En réalité, elle repose sur un système complexe utilisant une méthode de peinture inverse basée sur un modèle de diffusion pour transformer l'image d'entrée en œuvre d'art. Ce processus se divise en plusieurs étapes principales :
Apprentissage du processus de peinture : L'équipe du projet a collecté 294 vidéos de peintures acryliques, qui, après un traitement minutieux, permettent à l'IA d'apprendre les techniques de création des vrais artistes.
Génération d'instructions de peinture : L'IA analyse différents éléments (comme le ciel, les arbres et les personnages) et leurs relations, puis génère une série d'instructions indiquant ce qu'il faut peindre ensuite.
Génération d'images par modèle de diffusion : À l'aide de ces instructions, l'IA peut progressivement ajouter des détails, simulant le processus de peinture d'un artiste humain, construisant peu à peu l'œuvre complète.
Compréhension du texte et des régions : En plus de générer des instructions, l'IA crée également des masques de région, assurant que chaque élément de la peinture est à la bonne place, améliorant ainsi la précision et l'effet de la peinture.
Rendu progressif et contrôle du temps : L'IA commence par une toile vierge et génère progressivement la séquence de peinture complète, tout en imitant les intervalles de temps de la création réelle, donnant à l'ensemble de la peinture un sentiment plus naturel et fluide.
Processus de formation et de test
Le processus peut en fait être divisé en deux phases principales :
Première phase : Génération d'instructions
Dans cette phase, le système déploie d'abord deux générateurs intelligents. L'un est responsable des instructions textuelles, l'autre de la sélection des zones. Le générateur d'instructions textuelles compare l'œuvre cible et l'image actuelle pour proposer des suggestions spécifiques telles que "peindre le ciel" ou "ajouter des fleurs". Simultanément, le générateur de sélection de zone crée une image binaire qui marque précisément les zones à modifier. La combinaison de ces deux instructions garantit que l'IA peut peindre avec précision aux endroits appropriés.
Deuxième phase : Rendu de la toile
La phase de mise à jour de la toile met en pratique les instructions de la phase précédente. Ici, une technique de rendu basée sur un modèle de diffusion est utilisée, capable d'extraire progressivement une image claire à partir du bruit. Pendant le processus de mise à jour, le moteur de rendu prend en compte de multiples facteurs, y compris les instructions textuelles, la sélection des zones, la progression temporelle, ainsi que la comparaison des caractéristiques entre l'œuvre cible et l'image actuelle. Cette considération multidimensionnelle permet à l'IA de se rapprocher davantage du processus créatif et du style d'un artiste humain.
Troisième phase : Test
Lors de la phase de test, le système d'IA démontre sa capacité à créer une œuvre complète à partir de zéro. Deux caractéristiques principales méritent d'être notées dans ce processus :
Premièrement, sa cohérence. L'IA utilise une approche autoréférentielle, chaque coup de pinceau s'appuyant sur le précédent. Cela assure la cohérence et la logique de l'ensemble du processus créatif, à l'instar d'un artiste humain qui réfléchit soigneusement à chaque coup de pinceau.
Deuxièmement, la simulation temporelle. Le système établit des intervalles de temps fixes entre chaque mise à jour de l'image. Cette conception simule ingénieusement le passage du temps dans une peinture réelle, rapprochant ainsi le rythme créatif de l'IA de celui d'un humain.
Finalement, comparé à trois méthodes de référence (Timecraft, Paint Transformer, Stable Video Diffusion), ses résultats générés sont nettement supérieurs.
Discussion et controverse communautaires
Dès que cette technologie a été publiée sur Reddit, elle a immédiatement suscité une large discussion. Parmi les commentaires, les plus populaires exprimaient des inquiétudes pour la communauté des artistes.
Cependant, de nombreuses personnes ont également adopté une attitude positive. Ils pensent que cette technologie pourrait devenir un outil puissant pour apprendre à peindre, offrant des ressources d'apprentissage précieuses aux amateurs d'art. Des logiciels comme XXAI peuvent fournir d'excellentes idées de peinture aux amateurs d'art.
Conclusion
En somme, le projet "Inverse Painting" de l'Université de Washington démontre de manière vivante la combinaison merveilleuse de la technologie et de l'art, tout en suscitant la réflexion. Comment maintenir une perspective créative unique humaine tout en utilisant l'IA pour améliorer la créativité ? Comment trouver un équilibre entre technologie et art ? Ce sont des sujets que nous devons explorer en profondeur alors que nous embrassons cet avenir technologique passionnant.