von Martin Vogler

Adobe »Sneak Peaks« – ein Blick in die Zukunft der Creative-Cloud-Apps

Auf der Adobe MAX 2017 wurden nicht nur die neuen Versionen der Desktop-Programme vorgestellt, sondern auch interessante Zukunftstechnologien, die uns möglicherweise schon bald »auf intelligente Weise« bei der täglichen Arbeit unterstützen werden. Basis dafür ist die neue Plattform »Sensei«. Diese kann die bislang stark limitierten Möglichkeiten der Kreativsoftware komplett verändern – und hat damit auch bereits angefangen.

Zusammengesetzter Screenshot aus der Präsentation von #SceneStitch (Quelle: Youtube). Man markiert einen großen Bereich (oben), der mit neuen Pixeln gefüllt werden soll – und das Programm liefert Vorschläge (unten), welche aus dem Bildbestand von Adobe Stock stammen.

Auch wenn sie aus Millionen von Codezeilen bestehen und von vielen talentierten Programmierern über Jahre hinweg weiterentwickelt wurden – Photoshop & Co. sind letztendlich immer noch nur »dumme Werkzeuge« und vollkommen von uns abhängig. Sind wir nicht gut im Umgang mit diesen Werkzeugen, dann kann auch nichts Gutes in Photoshop & Co. entstehen.

Denn Photoshop kann nicht mehr tun, als in unserem Auftrag zu rechnen. Dabei kommen Algorithmen zum Einsatz, die in den letzten Jahrzehnten immer ausgeklügelter wurden, wodurch es uns immerhin kontinuierlich leichter gemacht wurde, gute Ergebnisse zu erzielen.

Inhaltsbasiertes Füllen

Als Beispiel für die Weiterentwicklung der Photoshop-Algorithmen sei die Technologie des inhaltsbasierten Füllens (Content aware fill) genannt. Diese generiert nicht vom Nutzer voreingestellte Pixelfüllungen, sondern errechnet sich die »richtige« Füllung quasi selbst, nämlich anhand der Bildinformationen des aktuellen Bildes.

Mit Intelligenz hat dies aber nichts zu tun, auch wenn der dahinterstehende Algorithmus von hochintelligenten Menschen entwickelt wurde. Photoshop kann nach wie vor nur Pixel für Pixel berechnen. Die Ergebnisse sind daher nicht bei allen Motiven gleichermaßen brauchbar und hängen zudem auch immer noch von der Vorarbeit des Anwenders ab.

Photoshop weiß einfach nicht, was eine Wiese, was ein Berg und was ein Himmel ist. Es erkennt nur (farbige) Pixel, aber keine Zusammenhänge. Und daher kann es zum Beispiel passieren, dass bei einer Auffüllung der Wiese auch noch Teile des Himmels oder des Berges mit einfließen.

Um wirklich intelligente Ergebnisse zu erhalten, braucht es also eine Technologie, die Photoshop die Bildinhalte verstehen lässt. Und diese entwickelt Adobe gerade.

Screenshot aus der Präsentation von #ProjectDeepFill (Quelle YouTube). Die Personen im Ausgangsbild (links) sollen durch eine intelligente Füllung entfernt werden. Der bisherige Content-Aware-Fill-Algorithmus scheitert daran und füllt den Himmelsbereich falsch (rechts). Dank der Deep-Fill-Technologie (Mitte) scheinen diese Fehler in Zukunft nicht mehr zu passieren, denn hier weiß das Programm, was ein Himmel und was ein Felsen ist.

 

Adobe Sensei – Wissenschaft erzeugt Magie

Um intelligent(er) werden zu können, muss man lernen und Erfahrungen sammeln. Dazu benötigt man nicht nur ein Hirn, sondern auch das entsprechende Lernmaterial. Und das hat Adobe – dank Fotolia und anderer Unternehmenszukäufe stehen zum Lernen Millionen von »Assets« zur Verfügung.

Hinzu kommen dann auch noch die Anwender selbst als »Lehrer«. Denn deren Benutzungswege werden (scheinbar) mitgeloggt und damit wird eine Datengrundlage erschaffen, anhand derer sich die Maschinen die Techniken der Bildbearbeitung und Grafikerstellung aneignen bzw. abgucken können.

Zusammengesetzter Screenshot aus der Präsentation von #PhysicsPak (Quelle: YouTube). Das Programm füllt eine Form selbstständig mit vorgegebenen Elementen. Wie es genau funktioniert, ist natürlich das Geheimnis der Programmierer. Aber auch diese Technik nutzt »Adobe Sensei«. Es ist also denkbar, dass sich das Programm die Gestaltungswege direkt von Millionen von Creative-Cloud-Anwendern abschauen konnte oder einfach durch das Abgleichen von ähnlichen Bildern von Adobe Stock auf die Lösung kommt.

 

Beides, also Technikerhirne und Unmengen an Daten, werden auf der neuen Plattform »Adobe Sensei« zusammengeführt. Als Ergebnis entstehen ein neues Framework (Programmiergerüst) für »künstliche Intelligenz und maschinelles Lernen« und neue Dienste für die einzelnen Unternehmensbereiche (Creative Cloud, Marketing Cloud und Document Cloud). Diese Basisdienste können dann von verschiedenen Softwareentwicklern genutzt werden, um neue Funktionen und Module zu erschaffen.

Auch #ProjectScribbler profitiert von »Adobe Sensei«. Es wurden Millionen von Fotos auf Adobe Stock abgeglichen. Dadurch trifft das Programm bei der Umwandlung von Schwarzweiß- in Farbbilder (mit relativ hoher Wahrscheinlichkeit) die richtigen Farbtöne. (Zusammengesetzter Screenshot der Präsentation auf YouTube.)

 

Eines ist jetzt schon sicher: Die künstliche Intelligenz (KI) wird bei der Weiterentwicklung der Creative-Cloud-Apps zukünftig eine tragende Rolle spielen. Die Software wird Bildinhalte immer besser verstehen und dadurch eine ganz neue Generation von Hilfsmitteln zur Verfügung stellen können. Erste Vorläufer dafür sind zum Beispiel die neue Gesichtserkennung, die es Photoshop möglich macht, ein Auge von einer Nase zu unterscheiden, oder aber auch die Schriftarten-Erkennung. Neuester Spross der Sensei-Plattform ist beispielsweise die Möglichkeit, Bilder in Lightroom automatisch mit passenden Schlagwörtern versehen zu lassen.

Auf der Adobe MAX wurden einer staunenden Zuschauermenge nun weitere auf Sensei basierende Dienste vorgestellt. Ich werde nachfolgend nur kurz darauf eingehen, welche neuen Möglichkeiten durch diese eröffnet werden. Schaut Euch einfach die verlinkten Videos selbst an. Es lohnt sich.

#ProjectDeepFill

Durch #ProjectDeepFill fließt die von Sensei generierte künstliche Intelligenz in das inhaltsbasierte Füllen ein. Hautzonen in Porträts werden also auch tatsächlich nur mit Haut gefüllt und Himmelsbereich auch nur mit Himmel. Wenn es irgendwann zuverlässig in Photoshop funktionieren sollte, wäre das ein riesiger Fortschritt für die Fotoretusche.

#ProjectDeepFill

#ProjectLincoln

Das Erstellen von Diagrammen gehört nicht gerade zu den Lieblingsaufgaben von Designern. Das könnte sich dank #ProjectLincoln aber schon bald ändern. Diese Technologie dreht sozusagen den Spieß um und verbindet Daten auf völlig neue und schnelle Weise mit visualisierenden Elementen. Man gestaltet also erst eine Visualisierung und verknüpft diese dann mit Daten.

#ProjectLincoln

#PlayfulPalette

Auch wenn das Auswählen und Zusammenstellen von Farben inzwischen immer wieder mal optimiert worden ist – für digitale Künstler wurde einfach noch keine Lösung gefunden, welche die Farbauswahl intuitiv richtig mit dem digitalen Malen verbindet. Bei #PlayfulPalette orientiert sich die Farbauswahl an der Art und Weise, wie Maler sich auch in der Realität die Farben zusammenstellen. In Kombination mit den Möglichkeiten der digitalen Welt ist ein richtig intelligentes Tool entstanden.

#PlayfulPalette

#ProjectPuppetron

Um Porträts in Zeichnungen und Gemälde zu verwandeln oder sonstige Stilisierungen durchzuführen, ist immer noch Handarbeit nötig. Durch #ProjectPuppetron könnte sich das schon bald ändern. Hier genügt ein Klick, um aus einem Porträt eine Zeichnung, eine Metallmaske oder eine Statue zu machen. Zudem lässt sich das Ergebnis auch noch komfortabel ändern, da nicht nur Pixel manipuliert werden, sondern die dahinterstehende Intelligenz Körperteile richtig erkennt und daher auch angemessen stilisieren kann.

#ProjectPuppetron

#PhysicsPak

Wer schon einmal vor der Aufgabe stand, Buchstaben oder Formen mit anderen kleinen Formen auszufüllen, weiß, wie zeitaufwendig das sein kann. Aber warum drei Stunden investieren, wenn es auch in drei Minuten geht? Die Technologie #PhysicsPak übernimmt diese Aufgabe komplett. Man kann sogar »live« zusehen, wie das Ergebnis zusammengetüftelt wird.

#PhysicsPak

#SceneStitch

Das Füllen von kleinen Löchern ist mit dem Stempel-Werkzeug oder dem inhaltsbasierten Füllen normalerweise gut zu meistern. Was aber, wenn richtig große Bereiche mit neuem Bildmaterial gefüllt werden müssen und das im Bild vorhandene Material dafür nicht ausreicht? In diesem Fall könnte bald schon #SceneStitch aushelfen – und zwar indem es das Füllmaterial den Bildern von Adobe Stock entnimmt und einsetzt. Dadurch entstehen dann zwar teilweise völlig neue Motive. Als Inspirationsquelle würde sich die Technologie in jedem Fall eignen.

#SceneStitch

#ProjectQuick3D

Auch #ProjectQuick3D basiert auf Technologien von Adobe Sensei. Hierbei werden Zeichnungen in 3D-Modelle umgewandelt. Genau genommen erkennt das Tool aber nur, welches Motiv gezeichnet worden ist, und liefert dann aus der 3D-Modell-Datenbank ein entsprechendes 3D-Objekt.

#ProjectQuick3D

#ProjectScribbler

Diese Technologie hat sich durch das Analysieren und Abgleichen von Millionen von Fotos eine Intelligenz angeeignet, die bei der Umwandlung von Schwarzweiß- in Farbfotos eine hohe Trefferwahrscheinlichkeit bei der Farbgebung verspricht. Es werden auch Schwarzweiß-Zeichnungen relativ passabel in farbige Versionen umgewandelt.

#ProjectScribbler

#ProjectCloak

Dank #ProjectCloak könnten sich Videoartisten schon bald eine Menge Arbeit ersparen. Dabei handelt es sich quasi um ein inhaltsbasiertes Füllen für Videos. Diese Technologie macht es möglich, Elemente oder Statisten aus einem Video zu entfernen, indem man sie einfach markiert – und das funktioniert auch dann, wenn sich die Kamera oder die Elemente bewegen.

#ProjectCloak

Fazit

Die künstliche Intelligenz wird mehr und mehr auch in die Creative-Cloud-Programme Einzug halten, mit der Folge, dass immer mehr Aufgaben, für die man früher Stunden gebraucht hätte, zukünftig in wenigen Minuten erledigt sein werden. Das ist ja eigentlich nicht so schlimm – solange der Auftraggeber nichts davon weiß ...

Adobe kann und möchte laut eigenen Angaben die Kreativen nicht durch Maschinen ersetzen. Die sich selbst gestaltende Werbeanzeige wird also nicht kommen. Sehr wohl kann und wird sich aber die Arbeitsweise der Kreativschaffenden radikal verändern. In Zukunft müssen wir nicht mehr selbst Hand anlegen, sondern sagen dem PC einfach, was er für uns machen soll.

Das ist aber Zukunftsmusik. Noch stehen wir ja erst am Anfang der Entwicklung. Und bis alle Funktionen tatsächlich fehlerfrei funktionieren, ist es ohnehin immer ein langer Weg. Wer weiß das besser als wir (leidgeprüften) Anwender?

Zurück