Latest / KI Espresso / EditAgent: Bilddetails ändern, den Rest erhalten

Transcript

EditAgent: Bilddetails ändern, den Rest erhalten · KI Espresso

• 0:00
  SPEAKER_01: Ein roter Rucksack auf einem Produktfoto soll blau werden.
• 0:03
  SPEAKER_01: Das Logo, die Nähte und der Hintergrund sollen genauso bleiben.
• 0:06
  SPEAKER_01: Wie geben wir einer KI diesen Auftrag und woran erkennen wir, ob sie ihn wirklich erfüllt hat?
• 0:12
  SPEAKER_01: Dazu haben Forschende von Adobe Research und der Universität von Kalifornien in San Diego am 29.
• 0:18
  SPEAKER_01: Oktober Edit Agent vorgestellt.
• 0:21
  SPEAKER_01: Sie untersuchen, ob spezialisierte Werkzeuge und zusätzliche Prüfbelege gezielte Bildänderungen zuverlässiger machen.
• 0:28
  SPEAKER_01: Das Forschungssystem wählt passende Werkzeuge und liefert Belege für die Prüfung der Bilder.
• 0:33
  SPEAKER_01: Wir erklären es an unserem gedachten Rucksackauftrag.
• 0:36
  SPEAKER_01: Ich bin Marc.
• 0:37
  SPEAKER_00: Und ich bin Irene.
• 0:39
  SPEAKER_00: Das ist eine Aufgabe, bei der ein schönes Ergebnis allein nicht reicht.
• 0:43
  SPEAKER_00: Wenn auf einmal ein anderer Reißverschluss am Rucksack sitzt, zeigt das Foto ein verändertes Produkt.
• 0:48
  SPEAKER_00: Wir wollen deshalb klären, wie man die gewünschte Änderung eingrenzt und die wichtigen Details im Blick behält.
• 0:54
  SPEAKER_00: Unser Beispiel illustriert die Arbeit.
• 0:55
  SPEAKER_00: Wir haben Edit Agent nicht selbst getestet.
• 0:58
  SPEAKER_01: Dann würde ich den Auftrag gleich aufteilen.
• 1:01
  SPEAKER_01: Der rote Stoff soll blau werden.
• 1:03
  SPEAKER_01: Logo und Reißverschluss behalten ihre Form und Farbe, die Nähte ihre Lage.
• 1:07
  SPEAKER_01: Den Hintergrund lassen wir vollständig unangetastet.
• 1:10
  SPEAKER_01: Was macht das System mit so einer Beschreibung?
• 1:13
  SPEAKER_00: Edit Agent zerlegt den Auftrag zunächst in ausführbare Schritte.
• 1:17
  SPEAKER_00: Für einen Schritt bestimmt es die Operation und die betroffene Stelle.
• 1:20
  SPEAKER_00: Dann wählt es aus den passenden Methoden.
• 1:23
  SPEAKER_00: Neben einem allgemeinen Bildesitor gibt es beispielsweise Verfahren für begrenzte Bildbereiche und spezielle Farbänderungen.
• 1:29
  SPEAKER_00: Für unseren Rucksack käme eine örtlich begrenzte Bearbeitung in Frage.
• 1:33
  SPEAKER_01: Also müsste das System zuerst erkennen, welcher Teil des Bildes zum Stoff gehört.
• 1:38
  SPEAKER_01: Daraus entsteht eine Maske, die den erlaubten Bereich festlegt.
• 1:41
  SPEAKER_01: Kann es dann einfach die Farbe wechseln und den Rest aus dem Original übernehmen?
• 1:45
  SPEAKER_00: Bei den maskierten Verfahren wird nur der bearbeitete Anteil innerhalb einer erweiterten Maske mit weichem Rand übernommen.
• 1:51
  SPEAKER_00: Außerhalb dieses Bereichs prüft der Code, ob die Pixel unverändert geblieben sind.
• 1:56
  SPEAKER_00: Das ist eine konkrete Zusicherung.
• 1:58
  SPEAKER_00: Ein Logo, das innerhalb der Maske liegt, ist dadurch allerdings noch nicht geschützt.
• 2:02
  SPEAKER_01: Das wäre beim Rucksack entscheidend.
• 2:05
  SPEAKER_01: Ich kann eine technisch korrekt begrenzte Änderung bekommen, bei der die Buchstaben trotzdem anders aussehen.
• 2:10
  SPEAKER_01: Deshalb sollte mein Auftrag das Logo ausdrücklich als zu erhaltendes Detail nennen.
• 2:15
  SPEAKER_01: Und beim Prüfen muss ich genau dorthin sehen, auch wenn der Hintergrund stimmt.
• 2:19
  SPEAKER_00: Genau dafür erweitert Edit Agent auch die Grundlage der Bewertung.
• 2:23
  SPEAKER_00: Das prüfende Modell bekommt das Ausgangsbild, die Kandidaten und Prüfunterlagen.
• 2:28
  SPEAKER_00: Dazu gehören Karten der Änderungen, passende Vergrößerungen und Messungen.
• 2:32
  SPEAKER_00: Die Unterlagen trennen, was der Code bereits bestätigt hat und was noch visuell beurteilt werden muss.
• 2:38
  SPEAKER_01: Für unser Foto würde ich also den gleichen Ausschnitt mit dem Logo aus Original und Kandidat nebeneinander legen.
• 2:44
  SPEAKER_01: Dann kann ich die Buchstaben wirklich vergleichen, statt aus dem Gesamteindruck auf ihre Richtigkeit zu schließen.
• 2:50
  SPEAKER_01: Die Karte der Änderungen zeigt mir zusätzlich, wo überhaupt etwas passiert ist.
• 2:54
  SPEAKER_00: Und wenn die Prüfung eine unerlaubte Änderung außerhalb des erlaubten Bearbeitungsbereichs findet, wird der Kandidat vor der visuellen Bewertung aussortiert.
• 3:02
  SPEAKER_00: Bei den verbleibenden Bildern muss das Modell noch beurteilen, ob der Stoff passend blau ist und die Übergänge natürlich wirken.
• 3:08
  SPEAKER_00: Die Maske selbst und Details innerhalb ihrer Grenze bleiben ebenfalls wichtig.
• 3:13
  SPEAKER_00: Ein bestandener Pixelvergleich beantwortet nur die Frage, für die er gemacht wurde.
• 3:17
  SPEAKER_01: Das gefällt mir als Arbeitsweise.
• 3:19
  SPEAKER_01: Ich könnte später nachvollziehen, warum ein Bild durchkam.
• 3:22
  SPEAKER_01: Der Hintergrund wurde geprüft, die Farbe beurteilt, das Logo im Ausschnitt verglichen.
• 3:28
  SPEAKER_01: Wenn mir die Buchstaben besonders wichtig sind, nehme ich diesen Ausschnitt selbst ab.
• 3:32
  SPEAKER_01: Die technische Prüfung hilft mir dabei, meine Aufmerksamkeit auf die offene Frage zu richten.
• 3:37
  SPEAKER_01: Wie kommt Edit Agent to the Candidates?
• 3:39
  SPEAKER_01: Wird das Bild so lange weiterbearbeitet, bis das prüfende Modell zufrieden ist?
• 3:43
  SPEAKER_00: Innerhalb einer Versuchsrunde beginnen die Varianten eines Schritts beim selben Ausgangsbild.
• 3:47
  SPEAKER_00: Verschiedene passende Methoden können unterschiedliche Lösungen beitragen.
• 3:51
  SPEAKER_00: Auch dasselbe Verfahren kann mehrere Varianten erzeugen.
• 3:54
  SPEAKER_00: Das Modell vergleicht sie gemeinsam und wählt eine aus oder gibt Rückmeldung für einen weiteren Versuch.
• 3:59
  SPEAKER_00: Beim Rucksack könnten wir so mehrere Vorschläge für dieselbe Farbänderung gegenüberstellen.
• 4:04
  SPEAKER_01: Die Autoren haben parallele Varianten auch mit einer Folge von Überarbeitungen verglichen.
• 4:08
  SPEAKER_01: In 144 Vergleichen bevorzugten die Experten 102-mal die parallele Strategie und 28 Mal die Schrittweise.
• 4:15
  SPEAKER_01: 14 Vergleiche in den Unentschieden.
• 4:17
  SPEAKER_01: Dabei verwendeten beide Strategien denselben Editor und dasselbe prüfende Modell.
• 4:22
  SPEAKER_01: Das ist ein Hinweis auf diese Suchstrategie.
• 4:24
  SPEAKER_01: Keine Erfolgsquote für beliebige Bildaufträge.
• 4:27
  SPEAKER_00: Und die Auswahl braucht weiterhin gute Maßstäbe.
• 4:30
  SPEAKER_00: In einem anderen Versuch der Arbeit verschlechterte das gemeinsame Vergleichen allein die Auswahl bei manchen unauffälligen Farb- und Verbesserungsaufgaben.
• 4:40
  SPEAKER_00: Erst die zusätzlichen Prüfunterlagen halfen dort.
• 4:43
  SPEAKER_00: Für unser Foto heißt das, der auffälligste Blauton sollte nicht gewinnen, wenn dabei die Stoffstruktur verloren geht.
• 4:50
  SPEAKER_01: Nehmen wir an, eine Variante ist angenommen.
• 4:53
  SPEAKER_01: Danach soll das Foto noch etwas heller werden.
• 4:55
  SPEAKER_01: Dann arbeitet der nächste Schritt doch mit dem bereits blauen Rucksack weiter.
• 5:00
  SPEAKER_00: Ja, abhängige Schritte bauen auf dem angenommenen Ergebnis auf.
• 5:03
  SPEAKER_00: Die früher erfüllten Anforderungen werden mitgeführt.
• 5:06
  SPEAKER_00: Eine zusätzliche Prüfung vergleicht das aktuelle Bild mit der bisherigen Bearbeitungsgeschichte.
• 5:11
  SPEAKER_00: Erkennt sie mit hoher Sicherheit, dass eine frühere Anforderung verletzt wurde, kann Edit Agent einen Reparaturdurchgang machen.
• 5:18
  SPEAKER_00: Dessen Ergebnis übernimmt es nur, wenn die automatische Prüfung es annimmt.
• 5:22
  SPEAKER_01: Dann muss ich nicht jede verworfene Variante zur neuen Grundlage machen.
• 5:26
  SPEAKER_01: Die Arbeit beschreibt einen Versionsgraphen mit gespeicherten angenommenen Zuständen.
• 5:30
  SPEAKER_01: Für unseren Auftrag würde ich außerdem festhalten, welches Bild ich als brauchbar akzeptiert habe.
• 5:35
  SPEAKER_01: Wenn die Aufhellung das Blau verändert, kann ich entscheiden, ob ich diesen Schritt überhaupt behalten will.
• 5:40
  SPEAKER_00: Das passt auch zum vorgesehenen Ausstieg.
• 5:42
  SPEAKER_00: Wenn die Versuche ausgeschöpft sind, kann der beste verfügbare Kandidat mit einer Markierung zur weiteren Prüfung stehen bleiben.
• 5:48
  SPEAKER_00: Er ist damit noch nicht freigegeben.
• 5:51
  SPEAKER_00: Bei einem veränderten Logo würde ich die Farbänderung gezielt von einem Menschen nacharbeiten lassen oder bei der vorherigen brauchbaren Fassung bleiben.
• 5:58
  SPEAKER_01: Diese Varianten und Prüfungen brauchen Rechenzeit.
• 6:01
  SPEAKER_01: Die Autoren nennen ungefähr die zehnfache Zeit für die Modellberechnung gegenüber einem einzelnen Bildeditor.
• 6:06
  SPEAKER_01: Daraus lässt sich keine feste Wartezeit pro Foto ableiten.
• 6:10
  SPEAKER_01: Und bei unserem einfachen Auftrag kann eine gute Maske mit einer manuellen Farbkorrektur bereits reichen.
• 6:15
  SPEAKER_00: Edit Agent ist hier ein Forschungsprototyp.
• 6:18
  SPEAKER_00: Einen offiziellen, öffentlich nutzbaren Zugang konnten wir anhand der geprüften Quellen nicht bestätigen.
• 6:23
  SPEAKER_00: Die nützliche Idee lässt sich trotzdem in den eigenen Ablauf mitnehmen.
• 6:27
  SPEAKER_00: Formuliere die Änderung so, dass du sie prüfen kannst und lege fest, welche Eigenschaften erhalten bleiben müssen.
• 6:33
  SPEAKER_01: Ich würde unserem Rucksackauftrag deshalb noch eine Abnahme hinzufügen.
• 6:37
  SPEAKER_01: Original- und Ergebnis mit demselben Logoausschnitt vergleichen, die Stoffstruktur kontrollieren und die akzeptierte Fassung aufheben.
• 6:44
  SPEAKER_01: Dann weiß ich, was ich vom nächsten Werkzeug oder von einer Retusche erwarte.
• 6:47
  SPEAKER_01: Der Auftrag wird genauer und ich kann auch sagen, wann da nicht erfüllt ist.
• 6:51
  SPEAKER_00: So bleibt die Entscheidung bei dir, während verschiedene Werkzeuge Vorschläge liefern.
• 6:55
  SPEAKER_00: Welches Detail an euren Bildern dürfte sich bei einer KI-Bearbeitung auf keinen Fall verändern?
• 7:00
  SPEAKER_00: Und wie würdet ihr genau dieses Detail prüfen?