Latest / KI-Update – ein heise-Podcast / KI-Update Deep-Dive: Synthetische Bilder gegen den Bias

Transcript

KI-Update Deep-Dive: Synthetische Bilder gegen den Bias · KI-Update – ein heise-Podcast

• 0:02
  Speaker 2: Das KI Update, ein heise Podcast mit redaktioneller Unterstützung von The Decoder.
• 0:14
  Speaker 2: Ich bin Isabel Grünewald und dies ist unser Deep Dive zum Wochenende.
• 0:19
  Speaker 2: Künstliche Intelligenz in der Medizin verspricht, Diagnosen zu unterstützen und Behandlungen zu verbessern.
• 0:26
  Speaker 0: Doch
• 0:27
  Speaker 2: die Modelle sind nur so gut wie die Daten, mit denen sie trainiert werden!
• 0:32
  Speaker 2: Und da diese Daten oft einen verzerrten Ausschnitt der Realität darstellen sind auch die KI-Modelle voreingenommen, ein Phänomen das als Bayes bezeichnet wird.
• 0:42
  Speaker 2: Stanislav Frolov ist wissenschaftlicher Mitarbeiter am DFKI.
• 0:47
  Speaker 2: Er hat sich im Rahmen des Projekts MedGenAI intensiv mit dieser Herausforderung beschäftigt und erklärt in Gespräch mit meinem Kollegen Robin Ahrens von der CT, dass die Lösung für das Problem KI generierte Bilder sein können – wie das funktioniert hört ihr heute im Deep Dive!
• 1:07
  Speaker 0: Ja, hallo Stanislav!
• 1:08
  Speaker 0: Schön dass du da bist.
• 1:09
  Speaker 0: Genau wir wollen jetzt heute ein bisschen über generative KI und Bildsynthese und vor allem den KI-Bias reden.
• 1:16
  Speaker 0: Jetzt gibt es teilweise Utopänen in denen KI Modelle nicht mehr durch große Technikkonzerne kontrolliert werden sondern die Technologie vergesellschaftet ist und sich ja im Allgemeinwohl orientiert.
• 1:26
  Speaker 0: In diesen Szenarien können KI dann weniger Bias sein.
• 1:31
  Speaker 0: das wird zumindest teilweise behauptet.
• 1:34
  Speaker 0: meine Frage wäre da jetzt Können KI-Modelle denn überhaupt unvoreingenommen sein?
• 1:39
  Speaker 1: Ja, das ist eine spannende Frage.
• 1:41
  Speaker 1: Ich würde sagen wahrscheinlich nicht ganz.
• 1:44
  Speaker 1: Eine KI lernt ja auch immer aus Daten und diese Daten sind irgendwo in mein Ausschnitt der Welt gesammelt und auch ausgewählt von Menschen.
• 1:54
  Speaker 1: Es ist irgendwo also auch eine Art Spiegel.
• 1:57
  Speaker 1: Das heißt alles was in unserer Gesellschaft angenommen wird oder ein Anführungszeichen auch schiefläuft steckt am Ende auch in diesen gesammelten Daten und den Daten, mit denen wir die KI trainieren.
• 2:11
  Speaker 1: Im Gegenzug heißt es also auch selbst wenn eine KI nicht von großen Konzernen kontrolliert würde sondern allen gehört Auch dann muss ja jemand entscheiden welche Daten sammelt man?
• 2:23
  Speaker 1: Und was ist die richtige Antwort für eine Frage?
• 2:27
  Speaker 1: Das sind also auch immer Wertentscheidungen Kulturentscheiden persönliche Entscheidungen subjektive.
• 2:36
  Speaker 1: Deswegen glaube ich, realistisches Ziel bei KI-Modellen ist nicht null Bias.
• 2:43
  Speaker 1: Sondern sichtbar zu machen welche Bias es gibt es?
• 2:48
  Speaker 1: Wie kann ich diese messen und was kann ich gegen Bias tun die wirklich schaden.
• 2:55
  Speaker 1: also so zum Beispiel auch bei einem KI Modell welches Hautkrebs detektieren soll und dann aber zum Beispiel bei verschiedenen Hauttüten verschieden performt.
• 3:06
  Speaker 0: Du hast es gerade schon ein bisschen angesprochen, was wären denn jetzt verschiedene Arten des Bayes?
• 3:12
  Speaker 1: Ich glaube der klassische Aspekt von Bayes ist wenn ein Modell über verschiedene Eingabendaten verschiedengut performt oder zum Beispiel gewisse Gruppen benachteiligt
• 3:27
  Speaker 0: Und welche Möglichkeiten gibt es da jetzt einen Bayes abzuschwächen?
• 3:31
  Speaker 0: Also Mathias schon mal von synthetischen Daten irgendwie gehört, das ist mir zumindest schon mal untergekommen.
• 3:36
  Speaker 0: Gibt es auch noch andere Möglichkeiten den KI-Bais abzuschwächen?
• 3:41
  Speaker 1: Ja, bei es abzuschwächen kann man grob an drei verschiedenen Stellen.
• 3:47
  Speaker 1: zum einen beim Training von diesem KI-Modell in dem man bessere und ausgewogene Daten sammelt oder z. B. künstliche Daten erzeugt für Gruppen Kombinationen von Input-Labels, die fehlen.
• 4:04
  Speaker 1: und genau das machen wir auch mit generativen Modellen.
• 4:08
  Speaker 1: Man kann mit diesen synthetischen Daten wenn man sie im Training nutzt und echte Daten anreichend deutlich fairere Modelle trainieren.
• 4:17
  Speaker 1: Der zweite Aspekt ist während dem Training.
• 4:20
  Speaker 1: also man kann auch wenn man das Modell trainiert ganz direkte Fairness Regeln in den Lernprozess mit einbauen.
• 4:29
  Speaker 1: Und der dritte Aspekt ist nach dem Training.
• 4:32
  Speaker 1: Also wenn mein Modell fertig trainiert ist, dann kann man nach diesem Training noch mal schauen okay wie verhält sich mein Model auf verschiedenen Gruppen?
• 4:42
  Speaker 1: und wenn man da an den Beiß feststellt, kann man zum Beispiel nochmal nachjustieren mit einem Feintuning.
• 4:47
  Speaker 0: Wie würde so ein Feintuning jetzt zum Beispiel aussehen?
• 4:50
  Speaker 0: Das finde ich ganz schön schwer vorstellbar.
• 4:53
  Speaker 1: Genau und Feintunning ist letztendlich auch eine Art von Training nur nicht mehr auf einem großen und sage ich mal diversen Datensatz, sondern für eine speziellere Ask.
• 5:07
  Speaker 1: Im Hautkrebsfall würde man trotzdem natürlich diverse Daten sammeln aber speziell für die Fälle die im vortrainierten Modell schlechter Form oder zum Beispiel nicht ganz fair behandelt werden.
• 5:22
  Speaker 0: Würdest du jetzt zb auch was bringen an den trainierten Parametern zu drehen also den sogenannten weights?
• 5:28
  Speaker 1: Ja natürlich, das macht ja auch dieses Feintuning.
• 5:31
  Speaker 1: Die Gewichte eines Modells, da steckt genau die Information drin, die in das Modell eingeflossen sind.
• 5:37
  Speaker 1: Da ist so eine Art komprimiertes Wissen oder ein komprämierter Datensatz der genutzt wird um Vorhersagen zu treffen.
• 5:45
  Speaker 1: Der häufigste Weg um diese Gewicht nachzjustieren ist eben dieses Nachtrainieren- oder Feintuning.
• 5:51
  Speaker 1: Man nimmt also ein fertiges Modell und reiniert es nochmal mit ausgewogeneren Daten nach auf die spezielle Aufgabe, an der man interessiert ist.
• 6:00
  Speaker 1: Und so könnte man die Vorhersagen dieses Modells oder auch die Biases in eine faire Richtung versuchen zu drehen.
• 6:08
  Speaker 1: Wir
• 6:09
  Speaker 0: hatten es ja jetzt eben schon angesprochen.
• 6:11
  Speaker 0: also dass es die Möglichkeit gibt einen KI-Bias abzuschwächen indem man eben synthetische Daten verwendet und das heißt dann tatsächlich auch, dass diese Daten KI generierte Trainingsdaten sein können.
• 6:22
  Speaker 0: Woher weiß ich jetzt, dass die KI-Generiten Trainingsdaten keine falsche Informationen enthalten und eben jetzt zum Beispiel völlig halluciniert sind?
• 6:31
  Speaker 1: Das ist eine wichtige Frage.
• 6:33
  Speaker 1: Und die Sorge ist voll berechtigt.
• 6:35
  Speaker 1: Ein Modell das selbst auf berzehrten Daten gelernt hat gibt diese Fehler letztendlich wieder.
• 6:44
  Speaker 1: Wenn ein Modell oder die nächste Generation der Modelle immer wieder die eigenen Ergebnisse als Futter bekommt, also als Input im Training werden diese auch stärker.
• 6:59
  Speaker 1: Also das Modell könnte diesen Beiß noch stärker sogar reproduzieren in der nächsten Generation.
• 7:07
  Speaker 1: Da gibt es interessante Fälle wo genau das Gegenteil passiert.
• 7:11
  Speaker 1: Zum Beispiel im generativen Bereich für Bilder ist es vor einiger Zeit so gewesen dass menschliche Gesichter ist nur sehr schlecht dargestellt worden.
• 7:22
  Speaker 1: Da gibt es ganz viele Details, auf die wir Menschen sehr sensibel sind aber die Modelle konnten das noch gar nicht richtig trainieren.
• 7:30
  Speaker 1: Wenn man solche synthetische Daten dann im Training nutzt Dann hat man herausgefunden dass die nächste Generation weniger bei es auf zum Beispiel das geschlechtert weil eben diese synthetischen Daten so ein unscharfe Gesichter erstellt haben.
• 7:48
  Speaker 0: Das ja auch spannend Aber so hundertprozentig.
• 7:51
  Speaker 0: sicherstellen kann ich letztendlich nicht, dass die synthetischen Daten wirklich keine falsche Information enthalten oder geht das irgendwie doch?
• 7:59
  Speaker 1: Ja.
• 8:00
  Speaker 1: Das ist schon schwierig.
• 8:01
  Speaker 1: es braucht Qualitätskontrolle auf mehreren Ebenen.
• 8:05
  Speaker 1: zum einen muss man prüfen wie nahe die künstlichen Daten an den echten Daten dran sind.
• 8:12
  Speaker 1: zweitens kann man eigene Prüfmodelle also Modelle die getrennt trainiert worden sind von dem Modell, das ich gerade prüfen will.
• 8:22
  Speaker 1: Die unrealistische Trainingsdaten zum Beispiel aussortieren bevor man sie sogar verwendet.
• 8:28
  Speaker 1: und drittens in der Medizin unverzichtbar ist es Fachexperte diese einzuholen also Fachärzte die sich diese Bilder anschauen und prüfern ob sie klinisch plausibel sind.
• 8:44
  Speaker 1: Ein wichtiger Aspekt ist dass künstliche Daten echte Daten nicht ersetzen sollten und nicht komplett.
• 8:53
  Speaker 1: Sie sollten diese am besten nur ergänzen, also dafür gibt es relativ viel Support in der Community und auch in der Wissenschaft das die Ergänzung von echten und synthetischen Daten sehr gut funktioniert.
• 9:05
  Speaker 1: aber wenn man nur synthetische Daten benutzt fürs Training dann kriegt man auch nicht eine gute Performance auf echten Testdaten und diese generalisieren da nicht
• 9:17
  Speaker 0: Genau, ich glaube das klang jetzt auch schon ein bisschen an dass du dich unter anderem mit KI im medizinischen Bereich beschäftigst und da hast du eben an einem Projekt mitgearbeitet als wissenschaftlicher Mitarbeiter in einem Forschungsprojekt des deutschen Forschungszentrums für künstliche Intelligenz des DFKIs.
• 9:32
  Speaker 0: Und das Projekt nannte sich MedGenAI.
• 9:35
  Speaker 0: Da habt ihr einen KI-Modell entwickelt das synthetische Bilder von Hautkrankheiten erzeugen kann und damit den Bias von sogenannten Diagnosemodellen letztendlich abschwächen können.
• 9:45
  Speaker 0: Habe ich das so richtig verstanden?
• 9:47
  Speaker 0: Und wenn ja, dann erklär doch mal ein bisschen vielleicht welche Ausgangslage ihr da eigentlich verbessern wolltet.
• 9:53
  Speaker 1: Sehr gerne genau!
• 9:54
  Speaker 1: Also Matchen AI ist entstanden im Kontext von Mission KI.
• 9:59
  Speaker 1: Mission KI ist ein sehr großes Projekt in dem wir als DFKI auch involviert waren.
• 10:05
  Speaker 1: es geht grundsätzlich um vertrauenswürdige KI und ein Teilprojekt dass wir bearbeitet haben ist ja fernes Aspekte in der KI für Medizin.
• 10:20
  Speaker 1: Wir haben uns angeschaut, Hautkrebs vor allem das Melanom weil es die gefährlichste Form von Hautkreps ist.
• 10:26
  Speaker 1: Es gibt jedes Jahr sehr viele neue Fälle und es werden immer mehr.
• 10:30
  Speaker 1: Die gute Nachricht ist oder die Hoffnung auch dass die Heilungschancen sehr gut stehen wenn man das Melanoam frühzeitig erkennt.
• 10:38
  Speaker 1: Und KI könnte uns dabei helfen diese Untersuchungen erstens viel zugänglicher zu machen, vielleicht sogar automatisch per Smartphone wobei das glaube ich noch sehr weit weg ist.
• 10:51
  Speaker 1: Das Problem aber ist dass beim Training dieser KI-Modelle zur Hautkrebserkennung die Datensätze wieder ungleich verteilt sind und das betrifft nicht nur die Trainingsdaten sondern auch die Testdaten.
• 11:09
  Speaker 1: Also zum Beispiel kommen dunklere Hauttypen und auch jüngere Menschen viel seltener vor.
• 11:17
  Speaker 1: Und das ergibt dann zwei Folgen, erstens die KI funktioniert für diese Gruppen ziemlich sicher schlechter.
• 11:25
  Speaker 1: Und zweitens – und das ist eigentlich auch vielleicht der wichtiger Punkt – weil man diese Daten nicht hat oder nur wenig Daten von seltenen Cases kann man erst gar nicht prüfen wie Pferd in einem Modell ist, weil es die Testbilder schlicht gar nicht gibt für diese Gruppe.
• 11:44
  Speaker 1: Okay
• 11:45
  Speaker 0: mit was für Daten habt ihr denn euer Bildmodell trainiert damit das eben synthetische Bilder von Hautkrankheiten generieren kann?
• 11:52
  Speaker 0: Das hört sich ja erst mal ein bisschen suspekt an.
• 11:55
  Speaker 0: irgendwie
• 11:56
  Speaker 1: Ja genau vielleicht.
• 11:57
  Speaker 1: zuerst zum zum Lösungsvorschlag.
• 11:59
  Speaker 1: also unsere Idee war halt eben genau dass wir einen Modell ein generatives Modell trainieren für die Erzeugung von synthetischen Hautkrebsbildern und zwar gezielt steuerbar nach verschiedenen Parametern.
• 12:12
  Speaker 1: Also zum Beispiel das Geschlecht, Alter und auch den Hauttyp und jede Kombination davon.
• 12:18
  Speaker 1: Und so können wir dann mit diesem generativen Modell Testgruppen bauen also auch Kombination, die es in echt kaum gibt.
• 12:28
  Speaker 1: Diese Testdaten können genutzt werden um die Vorhersagemodelle besser zu analysieren Genau und das jetzt auch, was du ansprichst.
• 12:36
  Speaker 1: Das klingt erstmal so spekt, weil die echten Daten gibt es nicht oder nur sehr wenige davon.
• 12:42
  Speaker 1: Das heißt, dass generative Modell hat natürlich auch schon Schwierigkeiten diese Gruppen zu lernen.
• 12:50
  Speaker 0: Kommen wir vielleicht nochmal zu diesem Punkt des Verifizieren zurück?
• 12:54
  Speaker 0: Kann ich dir sicherstellen, dass ein KI-generiertes Bild einer Hautkrankheit jetzt wirklich auch dem realen Krankheitsbild entspricht und ihm nicht halluciniert ist?
• 13:03
  Speaker 0: Und wenn ja, wie kann ich das sicherstellen?
• 13:06
  Speaker 1: Ja, das ist insgesamt schwierig für ein einzelnes Bild.
• 13:11
  Speaker 1: Kann man das kaum sagen!
• 13:13
  Speaker 1: Man kann nicht hundertprozentig garantieren dass ein Bild genau der Wirklichkeit entspricht aber man kann es systematisch absichern und das ist auch genau was wir in unserem Projekt gemacht haben.
• 13:30
  Speaker 1: genommen, die fortgrainiert waren und diese mit unseren künstlichen Bildern in der Testphase gefüttert.
• 13:37
  Speaker 1: Und was wir gesehen haben ist dass sich die Modelle bei den künstlichen Bildern, bei den synthetischen Bildern ähnlich verhalten wie bei den echten Bildern.
• 13:49
  Speaker 1: Wenn das der Fall ist also wenn ein Erkennungsmodell sich ähnlich verhält bei künstlicher synthetische Melanom und diese ähnlich behandelt wie echte, dann stimmen also so die wichtigsten Merkmale in den Bildern, die zur Erkennung einer Krankheit genutzt werden.
• 14:06
  Speaker 1: Natürlich wäre es am besten im Idealfall wenn man Fachexpertise, also Fachärzte zur Verfügung hat, die uns unterstützen können in der Phase des Trainings eines Modells in der Auswahl der richtigen Daten.
• 14:23
  Speaker 1: aber das ist eben sehr... zeitaufwändig und auch teuer.
• 14:28
  Speaker 0: Okay, das heißt also es geht sozusagen eher darum dass die Masse der synthetischen Daten insgesamt keine Fehler enthält und nicht um das einzubilden?
• 14:38
  Speaker 1: Genau wir trainieren ein Modell ja immer auf einem großen Datensatz.
• 14:43
  Speaker 1: in dem Fall ISIC ist International Skin Imaging Collection und wir nutzen ungefähr eine halbe Million Bildern.
• 14:53
  Speaker 1: Genau wie du gesagt hast ist für uns richtig, wie verhält sich dieses Modell im Durchschnitt sozusagen.
• 15:01
  Speaker 1: Also das durchschnittliche synthetische Bild liegt es in der Verteilung von echten Bildern.
• 15:07
  Speaker 0: Sind solche generativen KI-Modelle in der Medizinbranche, wie ihr das ja jetzt erstellt habt oder produziert habt.
• 15:14
  Speaker 0: Ist es eher die Ausnahme?
• 15:15
  Speaker 0: Oder ist das schon der Regelfall?
• 15:17
  Speaker 0: Weil ich habe das zum ersten Mal gesehen und wir haben uns auf der Hannover-Messe kennengelernt, da hattet ihren Stand.
• 15:25
  Speaker 0: Aber ist das der Regelfall oder eher die ausnahme?
• 15:29
  Speaker 1: Ich muss dazu sagen, ich bin nicht artig also ich weiß nicht ganz genau was in der medizin alles zugelassen ist und was nicht.
• 15:39
  Speaker 1: aus meiner persönlichen Erfahrung würde ich behaupten, dass im echten Klinikalltag also an Patienten zugelassene Projekte eher die Ausnahme.
• 15:50
  Speaker 1: Die KI, die heute in der Medizin zum Einsatz kommt hat immer noch Schwachstellen.
• 15:57
  Speaker 1: In der Forschung sieht es natürlich ganz anders aus.
• 15:59
  Speaker 1: da boomen generative Modelle und wir forschen seit vielen Jahren an KI-Modellen für die Medizin, also vertrauenswürdige KI in der Medizin ist auch ein Kernthema am DFKI und auch in unserem Team.
• 16:14
  Speaker 1: Genau aber wir interessieren uns zwar auch für die Diagnose, also KI-Modelle zur Diagnase, aber vor allem auch für unterstützende Aufgaben.
• 16:25
  Speaker 1: Also zum Beispiel um fehlende Daten aufzufüllen mit synthetischen oder Bilder zu verbessern diese trainierten Kei-Modelle zu analysieren.
• 16:37
  Speaker 1: Was können die gut, was können sie nicht so gut?
• 16:40
  Speaker 1: Warum treffen Sie Entscheidungen?
• 16:42
  Speaker 1: und der Grund dass generative Modelle nicht super geeignet sind für die Diagnose ist das wie wir vorher schon auch besprochen haben die können haluzinieren.
• 16:56
  Speaker 1: also sie können Bilder generieren und Daten generieren die plausibel aussehen aber vielleicht einfach falsch sind.
• 17:05
  Speaker 1: Und das ist natürlich sehr gefährlich, ja es gibt zum Beispiel wenn's in einem Datensatz eine gewisse Kombination von Hauttyp und Krankheit nicht gibt dann kann mein generatives Modell ja trotzdem solche Bilder erzeugen.
• 17:23
  Speaker 1: am Ende des Tages ist es eine Maschine die gelernt hat beliebige Input zu Outputs zu generieren.
• 17:32
  Speaker 1: aber Woher weiß ich denn, dass dieses Bild auch der Realität entspricht?
• 17:37
  Speaker 1: Das weiß ich in dem Fall nicht.
• 17:39
  Speaker 1: Da müsste ich Fachärzte fragen die wissen es hoffentlich aber vielleicht auch nicht wenn sie diese Fälle noch nicht gesehen haben und kritisch ist halt eben auch das eine Krankheit ja vielleicht auch verschiedene Merkmale oder verschiedene Symptome bei verschiedenen Geschlechtern oder Hauttypen zeigen kann.
• 18:00
  Speaker 1: Das heißt, einfach dieser Transfer von so einer Hautläsion auf einem anderen Hauttyp ist auch nicht immer ganz einfach.
• 18:13
  Speaker 0: Kann man denn synthetische Daten, wie ihr das gemacht habt eben zur Bayes-Abschwächung.
• 18:19
  Speaker 0: Kann man die für alle möglichen Arten von KI Modellen benutzen?
• 18:23
  Speaker 0: Also beispielsweise Large Language Models oder Bild oder Audio Generierungsmodelle.
• 18:29
  Speaker 0: Oder gibt es da auch irgendwie Beschränkungen?
• 18:31
  Speaker 0: also welche Modelle weniger gut oder besser geeignet sind?
• 18:35
  Speaker 1: Ja grundsätzlich ja.
• 18:37
  Speaker 1: überall dort wo Bayes entsteht weil eine Gruppe In den Daten fehlt, kann man mit synthetischen Daten nachsteuern also auch bei Audio oder Text.
• 18:49
  Speaker 1: Bei Bildern würde ich behaupten ist das am einfachsten weil man sich diese Bilder eben anschauen kann.
• 18:55
  Speaker 1: Kann die Qualität prüfen und sehen ob es so aussieht wie es aussehen soll oder nicht.
• 19:01
  Speaker 1: Bei Audio ist es auch möglich zum Beispiel um seltene Dialekte besser zu verstehen genau Bei Sprachmodellen natürlich auch, künstliche Texte werden auch genutzt um die Frontiermodels zu trainieren.
• 19:18
  Speaker 1: Ich würde aber behaupten dass bei es in der Sprache vielleicht ein bisschen diffuser ist weil ja in Stereotypen oder Denkmustern steckt und nicht wirklich in der Grammatik- oder Syntax von Text.
• 19:34
  Speaker 0: Euer Bildmodell, was ihr entwickelt habt das kann ja auch so genannte Counterfactuals generieren.
• 19:39
  Speaker 0: Den Begriff habe ich so vorhin noch nicht gehört.
• 19:41
  Speaker 0: Magst du es vielleicht nochmal erklären?
• 19:44
  Speaker 1: Ja gibt's überhaupt diesen deutschen Begriff?
• 19:47
  Speaker 1: Kontrafaktisch?
• 19:49
  Speaker 0: Ja im Prinzip her glaube schon hört sich auf jeden Fall richtig an.
• 19:52
  Speaker 0: Ich weiß nicht ob kontrafaktische jetzt im KI-Kontext so geläufig ist aber...
• 19:56
  Speaker 1: Ja wahrscheinlich eher nicht Genau, also ein Counterfactual ist im Grunde so eine Was-Währe-Wenn-Frage.
• 20:05
  Speaker 1: Also was wäre wenn an genau diesem Bild Ein Aspekt anders wäre und alle anderen wären gleich?
• 20:13
  Speaker 1: Also zum Beispiel ich habe hier eine Hautstelle Und also einen Melanom auf einer Hautstell und Erzeuge sie einmal mit einem helleren Hauttyp und einmal mit dem dunkleren Haut Typ.
• 20:27
  Speaker 1: Die Krankheit selbst wird medizinisch gesehen die gleiche bleiben, gehen wir mal davon aus.
• 20:33
  Speaker 1: Nur der Hautton ändert sich.
• 20:35
  Speaker 1: und wie verhält sich dann mein Modell?
• 20:37
  Speaker 1: Also gibt es mir immer noch die gleichen Diagnose mit der gleichen Sicherheit.
• 20:43
  Speaker 1: oder fängt das an sich unsicher zu werden oder gibt es sogar eine andere Diagnase?
• 20:49
  Speaker 1: Und dass ist halt nützlich solche Counterfactuals zu generieren weil man damit den Bayes analysieren kann und messen kann.
• 20:59
  Speaker 1: Wenn ich sehe, dass ein Modell bei dunkler Haut schlechter performt dann weiß sich erst mal nicht warum.
• 21:07
  Speaker 1: vielleicht liegt es an der Krankheit?
• 21:09
  Speaker 1: Vielleicht sind die Bilder haben eine andere Qualität oder wurden mit einem anderen Gerät Mikroskop aufgezeichnet.
• 21:18
  Speaker 1: Oder liegt das vielleicht daran an was ganz Anderem?
• 21:23
  Speaker 1: einer versteckten Variable, wie zum Beispiel ja dem Licht im Labor oder genau sowas.
• 21:30
  Speaker 1: Und was man mit diesen Counterfactuals eben machen kann ist zu analysieren auf was eigentlich das Modell reagiert.
• 21:38
  Speaker 1: also auf welchen Aspekt in einem Bild reagiert es und welche Aspekte in einem bild sind mehr sensibel und weniger sensible?
• 21:49
  Speaker 1: Die Generierung von Counterfactually wichtig, weil beim manchen Kombinationen weiß man ja dass sie keine Rolle spielen sollten.
• 22:01
  Speaker 1: Also wenn ein vienisches Symptom oder Merkmal so einen Melanom auf der Haut oder eine Lesion eine gewisse Krankheitsmerkmale zeigt dann sollte die Diagnose von meinem Modell und die Sicherheit in meinen Modell Ja, komplett unabhängig sein.
• 22:22
  Speaker 1: Ob es sich hier um eine Frau oder ein Mann handelt?
• 22:26
  Speaker 1: Oder ob es sich um eine junge oder alte Person handelt.
• 22:30
  Speaker 1: Wobei kann ja sein in der echten Welt gibt es vielleicht eine Korrelation zwischen Dingen aber man könnte jetzt trotzdem erst mal sagen okay wir nehmen an Krankheiten sind gleich verteilt.
• 22:40
  Speaker 1: Aber wenn ich dann mit Counterfactures feststelle dass mein Modell einer Gruppe sehr häufig an die Krankheit zuweist als ne anderen dann ist das schon etwas, wo ich genauer hinschauen sollte.
• 22:51
  Speaker 0: Also das heißt man kann die Fehleranfälligkeit von der matologischen Analyse Modellen zum Beispiel in eurem Fall mit Hilfe von Counterfactuals verbessern?
• 23:01
  Speaker 1: Zuerst einmal Messbarmach.
• 23:03
  Speaker 1: also was genau sind die sensiblen Aspekte oder Biases in meinem Modell Kann man mit Counterfactually aufdecken.
• 23:12
  Speaker 1: Im zweiten Schritt kann man natürlich auch Insights, die man generiert aus dieser Analyse mit Counterfactuals nutzen.
• 23:21
  Speaker 1: Um zum Beispiel die richtigen synthetischen Daten zu generieren oder die echten Trainingsdaten besser zu filtern oder etwas am Modell an der Lossfunktion etc.
• 23:31
  Speaker 1: tun.
• 23:33
  Speaker 0: Okay und die counterfactual sind jetzt quasi immer eine Bandbreite von Bildern Die da generiert wird also mehrere Bilder oder wie muss ich mir das vorstellen?
• 23:45
  Speaker 1: Die Pipeline in der Counter-Factual-Generierung ist häufig so, dass man ein gewisses Bild hat.
• 23:51
  Speaker 1: Das kann ein echtes Bild sein!
• 23:53
  Speaker 1: Man hat einen Erkennungsmodell fortrainiert.
• 23:57
  Speaker 1: Es gibt mir gegeben diesem Eingabelbild eine Verteilung über die Diagnosen zum Beispiel und jetzt kommt ein generatives Modell dazu.
• 24:07
  Speaker 1: Also dieses generative Modell kann das Signal aus dem Erkernungsmodel nutzen um dann das originale Eingabebild leicht zu verändern, sodass zum Beispiel eine andere Diagnose herauskommt.
• 24:22
  Speaker 1: Dann hat man also zwei verschiedene Bilder – das Originale Bild mit der Vorhersage einer Diagnase und dieses leicht veränderte synthetische Bild mit einer anderen Vorhorsage.
• 24:34
  Speaker 1: Und diese Diskrepanz, wie viel musste ich am Bild ändern damit die Vorhnersage springt?
• 24:41
  Speaker 1: Zu einer anderen Diagnese
• 24:42
  Speaker 1: z.B.?
• 24:43
  Speaker 1: Kann ich nutzen, also diesen Vergleich der zwei Bilder um mir zu überlegen.
• 24:48
  Speaker 1: Okay auf was guckt eigentlich mein Erkennungsmodell?
• 24:51
  Speaker 1: Was sind die wichtigen Merkmale?
• 24:54
  Speaker 1: hat es die richtigen merkmale verändert um zum Beispiel einen rösartigen zu einem gutartigen Krebs umzuwandeln?
• 25:03
  Speaker 0: Also das heißt man nutzt Counterfactuals vor allem im Zusammenspiel von mehreren KI Modellen als ein Erkannungsmodel und einem generativen Modell?
• 25:16
  Speaker 1: Genau.
• 25:17
  Speaker 0: Okay,
• 25:18
  Speaker 1: ja
• 25:19
  Speaker 0: vielleicht soll es.
• 25:19
  Speaker 0: abschließende Frage Wie können jetzt solche wie eure Forschungsergebnisse künftig in KI basierte medizinische Diagnosetools einfließen?
• 25:31
  Speaker 1: Ich sehe da hauptsächlich drei Säulen.
• 25:34
  Speaker 1: die erste Säule ist ein Prüfwerkzeug das heißt bevor ein Diagnose-KI-Modell auf den Markt kommt Testet man es gegen ausgewogene Testgruppen?
• 25:48
  Speaker 1: Echte, so weit vorhanden.
• 25:50
  Speaker 1: Aber auch synthetische um alle Kombination von zum Beispiel Geschlechtalter und Hauttyp abzudecken.
• 25:57
  Speaker 1: Und das passt auch direkt zu den Anforderungen des europäischen Gesetzes.
• 26:02
  Speaker 1: Es ist datenschutzfreundlich weil man dafür keine echten Patientendaten braucht.
• 26:08
  Speaker 1: Zweitens als Trainingsbaustein ja also was wir vorher besprochen haben gezielt synthetische Daten nutzen, um Lücken in den Trainingsdaten zu schließen und so von vornherein deutlich fairere Modelle und robustere Modellen bauen zu können.
• 26:25
  Speaker 1: Und drittens – das geht jetzt wieder in diese Richtung Counter-Factures oder gröber gesprochen Erklärbarkeit, Interpretierbarkeit.
• 26:34
  Speaker 1: nicht nur messen dass ein Modell unfair ist sondern auch verstehen warum?
• 26:39
  Speaker 1: welche Merkmale nutzt es um Unfaire Vorhersagen zu treffen?
• 26:43
  Speaker 1: Genau.
• 26:44
  Speaker 1: Und was mir halt persönlich auch wichtig ist, bevor so ein Modell in der Klinik wirklich zum Einsatz kommt, braucht es trotzdem echte Studien mit echten Patienten und die Prüfung von Fachleuten, von Experten, die sich diese Bilder anschauen, die sie sich die Vorhersagen anschauen und die sich auch anschauen ob das Modell die richtigen Merkmale nutzt um eine Diagnose zu treffen.
• 27:12
  Speaker 1: Ganz, ganz wichtig für vertrauenswürdige KI in der Medizin.
• 27:17
  Speaker 0: Also das letztendlich irgendwie immer noch mal medizinische Fachexpertise darauf guckt und dass letztendling testet... Da frage ich mich dann nur wieder, das meinst du jetzt auch gerade vorhin schon.
• 27:29
  Speaker 0: Dass es gar nicht so einfach und vor allem auch teuer ist, dass medizinisches Fachpersonal sich jedes einzelne generierte Bild anschaut?
• 27:39
  Speaker 0: Wie könnte denn aber so ein Workflow aussehen wo sowas quasi gegen gecheckt wird?
• 27:44
  Speaker 1: Ich könnte mir vorstellen, dass Fachleute von Anfang an am besten mit involviert sind in der Entwicklung von so einem Modell damit sie besser einschätzen können, ob die richtigen Daten genutzt werden weil sie sich auch diese Bilder anschauen und vergleichen können.
• 28:06
  Speaker 1: Ob es vielleicht Schwierigkeiten gibt in der Datenerfassung zum Beispiel verschiedene Praxen haben verschiedene Geräte, verschiedene Lichteinflüsse ist das ein Problem oder könnte man das vielleicht standardisieren?
• 28:20
  Speaker 1: Und dann natürlich auch vor allem in der Testphase also wirklich Dieses Modellnehmen in der Praxis testen sich noch nicht hundertprozentig darauf zu verlassen, sondern so eine Art parallele Workflow.
• 28:33
  Speaker 1: Also die KI gibt einen Vorhersag und man selbst trifft eine Diagnose ohne sich vorher die Vorherrtage des Modells anzuschauen und vergleichtern.
• 28:44
  Speaker 1: So kann man aufdecken wo es Unterschiede gibt und dann in der nächsten iteration verbessern.
• 28:50
  Speaker 0: Ja okay das klingt schlüssig Genau, dann danke ich dir für deine Zeit.
• 28:56
  Speaker 0: Das war ein sehr spannendes Gespräch und vielleicht hören wir uns ja mal wieder?
• 29:00
  Speaker 0: Ja vielen Dank!
• 29:01
  Speaker 1: Danke sehr gerne.
• 29:02
  Speaker 1: War schön mit dir darüber zu sprechen.
• 29:21
  Speaker 2: Das bedeutet, ihr könnt alle Heiseplus-Artikel lesen und habt Zugriff auf alle unsere Magazine online und in den Apps.
• 29:28
  Speaker 2: Das Angebot findet Ihr unter heiseplus.de.
• 29:31
  Speaker 2: slash audio.
• 29:33
  Speaker 2: Den nächsten Deep Dive hört ihr hier in zwei Wochen!
• 29:36
  Speaker 2: Da geht es um ein Thema bei dem wir vielleicht nicht sofort an die großen Veränderungen durch KI denken – nämlich
• 29:42
  Speaker 1: um das
• 29:42
  Speaker 2: Handwerk.
• 29:43
  Speaker 2: Es würde mich freuen wenn ihr dann wieder dabei seid.
• 29:46
  Speaker 2: Bis dahin könnt ihr natürlich mit dem kompakten K.I-Update Montag, Mittwoch
• 29:50
  Speaker 0: und Freitag
• 29:51
  Speaker 2: auf dem Laufenden bleiben!