KI- Rückwärtskunst: Die digitale Reise zur Dekonstruktion von Van Goghs „Sternennacht über der Rhone“ – Eine innovative Durchbruch der Universität Washington

Die KI-Technologie hat erneut Grenzen überschritten und kann diesmal tatsächlich Van Goghs Meisterwerk „dekonstruiert“!

Man muss nur ein Originalbild zur Verfügung stellen, und die künstliche Intelligenz kann Van Goghs Pinselstriche nachahmen und schrittweise den gesamten Schaffensprozess des Bildes reproduzieren.

Beim genauen Vergleich beider Seiten hat die KI praktisch eine 1:1-Nachbildung erreicht und zeigt uns den gesamten Aufbau der Darstellung.

Diese erstaunliche Technologie stammt aus einem Labor der Universität Washington, das unter dem Namen „Inverse Painting“ bekannt ist. Die akademischen Ergebnisse des Projekts wurden anerkannt und werden auf der renommierten Konferenz SIGGRAPH Asia 2024 präsentiert. Erwähnenswert ist, dass zwei chinesische Wissenschaftler Teil des Forschungsteams sind: Bowei Chen von der Northeastern University und Yifan Wang, Absolvent der Shanghai Jiao Tong Universität, die zu dieser bahnbrechenden Forschung beigetragen haben.

Technische Details

Wie funktioniert diese Technologie? Tatsächlich gibt es ein komplexes System, das eine auf Diffusionsmodellen basierende inversen Malmethode verwendet, um Eingabebilder in Kunstwerke zu transformieren. Dieser Prozess wird in mehrere Hauptphasen unterteilt:

Lernen des Malprozesses: Das Projektteam hat 294 Videos von Acrylmalerei gesammelt, die nach sorgfältiger Verarbeitung es der KI ermöglichen, die Techniken echter Künstler zu erlernen.

Generierung von Malanweisungen: Die KI analysiert verschiedene Elemente (wie Himmel, Bäume und Figuren) und deren Beziehungen zueinander und erstellt dann eine Reihe von Anweisungen, die ihr mitteilen, was als Nächstes gemalt werden soll.

Bildgenerierung durch Diffusionsmodelle: Mit diesen Anweisungen kann die KI schrittweise Details hinzufügen und den malerischen Prozess eines menschlichen Künstlers simulieren, während sie Stück für Stück das vollständige Werk aufbaut.

Text- und Bereichsverständnis: Neben der Generierung von Anweisungen erstellt die KI auch Bereichsmaske, um sicherzustellen, dass jedes Element der Malerei an der richtigen Stelle ist, was die Genauigkeit und Wirkung der Malerei verbessert.

Schrittweise Rendern und Zeitkontrolle: Die KI beginnt mit einer leeren Leinwand und generiert schrittweise die vollständige Malreihenfolge, während sie die Zeitintervalle des tatsächlichen Schaffens imitiert, wodurch das gesamte Bild natürlicher und flüssiger erscheint

Trainings- und Testprozess

Der gesamte Prozess kann in zwei Hauptphasen unterteilt werden:

Erste Phase: Anweisungsgenerierung

In dieser Phase setzt das System zuerst zwei intelligente Generatoren ein. Einer ist für die textlichen Anweisungen verantwortlich, der andere für die Bereichsauswahl. Der Textanweisungsgenerator vergleicht das Zielbild mit dem aktuellen Bild und gibt spezifische Vorschläge wie „Himmel malen“ oder „Blumen hinzufügen“. Gleichzeitig erstellt der Bereichsauswahlgenerator ein binäres Bild, das die zu ändernden Bereiche präzise markiert. Die Kombination dieser beiden Anweisungen stellt sicher, dass die KI an der richtigen Stelle genau malen kann.

Zweite Phase: Rendern der Leinwand

Die Phase der Aktualisierung der Leinwand setzt die Anweisungen der vorherigen Phase in die Praxis um. Hier wird eine auf Diffusionsmodellen basierende Rendering-Technik verwendet, die schrittweise aus Rauschen ein klares Bild extrahiert. Während des Aktualisierungsprozesses berücksichtigt der Renderer verschiedene Faktoren, einschließlich der textuellen Anweisungen, der Bereichsauswahl, des zeitlichen Ablaufs und der Merkmalsvergleiche zwischen dem Zielbild und dem aktuellen Bild. Diese multidimensionale Überlegung ermöglicht es der KI, dem kreativen Prozess und Stil eines menschlichen Künstlers näher zu kommen.

Dritte Phase: Test

In der Testphase zeigt das KI-System die Fähigkeit, ein vollständiges Kunstwerk von Grund auf zu schaffen. In diesem Prozess gibt es zwei zentrale Merkmale, die bemerkenswert sind:

Erstens, die Kohärenz. Die KI verwendet einen selbstreferenziellen Ansatz, bei dem jeder Pinselstrich auf dem vorherigen aufbaut, was die Kohärenz und Logik des gesamten kreativen Prozesses sicherstellt, ähnlich wie ein menschlicher Künstler jeden Strich sorgfältig durchdenkt.

Zweitens, die Zeit-Simulation. Das System legt feste Zeitintervalle zwischen jeder Aktualisierung des Bildes fest, was geschickt den Zeitverlauf beim echten Malen simuliert und das kreative Tempo der KI näher an den Menschen bringt.

Letztendlich sind die erzeugten Ergebnisse im Vergleich zu drei Basismethoden (Timecraft, Paint Transformer, Stable Video Diffusion) deutlich überlegen.

Diskussionen und Kontroversen in der Gemeinschaft

Sobald diese Technologie auf Reddit veröffentlicht wurde, löste sie eine breite Diskussion aus. Unter den beliebtesten Kommentaren äußerten viele Bedenken hinsichtlich der Künstlergemeinschaft.

Es gab jedoch auch eine erhebliche Anzahl von Menschen mit einer positiven Einstellung. Sie glauben, dass diese Technologie ein mächtiges Werkzeug zum Erlernen der Malerei sein könnte und Kunstliebhabern wertvolle Lernressourcen bietet. Software wie XXAI kann Kunstliebhabern gute Inspirationsquellen für ihre Malerei bieten.

Fazit

Zusammenfassend zeigt das Projekt „Inverse Painting“ der Universität Washington auf lebendige Weise die wunderbare Verbindung zwischen Technologie und Kunst und regt gleichzeitig zum Nachdenken an. Wie können wir KI nutzen, um die Kreativität zu erweitern und gleichzeitig die einzigartige kreative Perspektive der Menschheit zu bewahren? Wie finden wir ein Gleichgewicht zwischen Technologie und Kunst? Dies sind Themen, die wir eingehend erörtern müssen, während wir diese aufregende technologische Zukunft annehmen.