Latest / Logbuch:Netzpolitik / LNP486 Das fünfte Element
Transcript
- 0:00Tim Pritlove: Guten Morgen Thomas.
- 0:01Thomas Lohninger: Guten Morgen Tim.
- 0:03Tim Pritlove: Sag mal, wie ist eigentlich das Wetter in Brüssel?
- 0:05Thomas Lohninger: Das muss noch abgestimmt werden. Wir haben noch kein Tredo-Gergebnis.
- 0:29Tim Pritlove: Logbuch Netzpolitik Nummer 486 vom 13. März 2024. 2024.
- 0:37Tim Pritlove: Und ja, den Linus, den habe ich mal kurz weggeschickt, damit wir hier uns mal
- 0:44Tim Pritlove: um die seriösen Themen kümmern können.
- 0:47Tim Pritlove: Und begrüßen natürlich erstmal Thomas. Habt ihr schon gehört? Hallo Thomas.
- 0:51Thomas Lohninger: Hallo. Genau.
- 0:52Tim Pritlove: Und heute haben wir eine große Runde, nämlich eine große EU-Runde und begrüßen
- 0:58Tim Pritlove: außerdem noch den Ralf, Ralf Benrath. Hallo.
- 1:01Ralf Bendrath: Hallo.
- 1:01Tim Pritlove: Hallo, du warst ja schon mal bei uns und ganz frisch neu mit dabei,
- 1:07Tim Pritlove: grüße ich auch noch die Annika, hallo.
- 1:10Arnika Zinke: Hallo, servus.
- 1:13Tim Pritlove: Ja, Annika, Annika Zinke, fangen wir doch mal mit dir kurz an.
- 1:18Tim Pritlove: Stell dich doch mal bitte kurz vor, dass wir mal wissen, was du so machst und was dich zu uns führt.
- 1:26Arnika Zinke: Ja, hallo, freut mich sehr dabei zu sein. Genau, also ich bin Annika,
- 1:29Arnika Zinke: ich komme ursprünglich aus Wien.
- 1:31Arnika Zinke: Also jetzt haben wir heute zwei Quoten Österreicher quasi im Podcast.
- 1:36Arnika Zinke: Das kommt wahrscheinlich auch nicht so oft vor. Genau, ich war ursprünglich
- 1:39Arnika Zinke: Journalistin in Wien und bin dann über Umwege in Brüssel gelandet.
- 1:44Arnika Zinke: War dann bei Alexandra Gese als Praktikantin im Office und habe dort auch begonnen,
- 1:50Arnika Zinke: an Digital Services Act zu arbeiten.
- 1:52Arnika Zinke: Und bin dann in die Fraktion gewechselt, vor zweieinhalb Jahren in der Fraktion
- 1:58Arnika Zinke: der Grünen und war dort zuerst Beraterin für horizontale Digital-Koordinierung.
- 2:04Arnika Zinke: Das heißt quasi über die verschiedenen Ausschüsse übergreifend alles,
- 2:08Arnika Zinke: was Digitalpolitik trifft, zu
- 2:10Arnika Zinke: koordinieren und im Rahmen dessen auch recht stark KI-Gesetz gearbeitet,
- 2:15Arnika Zinke: weil das natürlich über sehr viele verschiedene Ausschüsse drübergegangen ist,
- 2:18Arnika Zinke: weil das ein Thema ist, das nicht unbedingt in einen Ausschuss gut reinpasst.
- 2:24Arnika Zinke: Und bin seit gut einem Jahr jetzt im Binnenmarktausschuss, was einer der zwei
- 2:28Arnika Zinke: federführenden Ausschüsse im KI-Gesetz auch ist, über das wir heute noch sprechen werden.
- 2:33Arnika Zinke: Genau, und habe aber unter anderem auch an anderen Files gearbeitet,
- 2:36Arnika Zinke: wie zum Beispiel im European Media Freedom Act, der heute auch im Plenum abgestimmt wurde.
- 2:42Arnika Zinke: Im Cyber Resilience Act habe ich auch ein bisschen mitgearbeitet.
- 2:45Arnika Zinke: Genau, also alles, was quasi Digitalpolitik betrifft und Binnenmarkt irgendwie
- 2:49Arnika Zinke: betrifft, fällt in meinen Ressort.
- 2:52Tim Pritlove: Was war denn so uninteressant am Journalismus, dass du die Politik gewechselt bist?
- 2:57Arnika Zinke: Es war nicht unbedingt uninteressant, aber zum einen, wie es für viel bewusst
- 3:02Arnika Zinke: ist, ist der Journalismus ein recht prekäres Arbeitsumfeld.
- 3:07Arnika Zinke: Das war also einer der Hauptgründe. Und der andere Grund war auch,
- 3:10Arnika Zinke: dass dadurch, dass wir sehr viel online gearbeitet haben,
- 3:13Arnika Zinke: ich großes Interesse daran hatte, besser nachzuvollziehen, beziehungsweise mehr
- 3:18Arnika Zinke: daran zu arbeiten, wie Plattformen eigentlich Inhalte verbreiten,
- 3:21Arnika Zinke: verbreiten, mehr Richtung eben Empfehlungsalgorithmen zu arbeiten.
- 3:25Arnika Zinke: Und deswegen habe ich dann auch, ja, war ich sehr interessiert,
- 3:28Arnika Zinke: am Digital Services Act zu arbeiten, habe dazu auch meine zwei Masterarbeiten geschrieben.
- 3:32Arnika Zinke: Also die Digitalpolitik hat mich im Rahmen meiner journalistischen Karriere
- 3:36Arnika Zinke: quasi immer mehr begleitet, sodass ich dann so interessiert daran war,
- 3:39Arnika Zinke: dass ich mir dachte, okay, ich möchte hauptberuflich daran arbeiten.
- 3:42Tim Pritlove: Okay. Masterarbeit in was?
- 3:46Arnika Zinke: Also es waren zwei zum Digital Services Act, weil ich habe dann schon nicht genug davon bekommen.
- 3:51Arnika Zinke: Also beim einen ging es darum, wie Initiativberichte im EU-Parlament,
- 3:55Arnika Zinke: ob die eine Auswirkung auf die Kommissionsvorschläge haben können.
- 3:59Arnika Zinke: Und das habe ich im Rahmen des Digital Services Act gemacht.
- 4:03Arnika Zinke: Und bei dem anderen ging es mehr um Empfehlungsalgorithmen und wie die Digital
- 4:08Arnika Zinke: Services Act reguliert werden.
- 4:10Tim Pritlove: Und das war dann für Politikwissenschaft?
- 4:12Arnika Zinke: Genau, Politikwissenschaften und internationale Beziehungen.
- 4:16Tim Pritlove: Okay.
- 4:17Thomas Lohninger: Wir haben heute ja sehr viele EU-Themen. Da können wir gleich einsteigen.
- 4:21Thomas Lohninger: Ein Initiativbericht, weil das ist auch ein Begriff, der gerade gefallen ist.
- 4:25Thomas Lohninger: Das sind einfach nicht bindende Resolutionen, könnte man sagen,
- 4:29Thomas Lohninger: die das Parlament erlässt.
- 4:31Thomas Lohninger: Also das sind fast die einzige Sache, die das Europaparlament von sich aus machen
- 4:35Thomas Lohninger: kann und initiieren kann, die halt zur Meinungsbildung dienen sollen.
- 4:41Thomas Lohninger: Was hat denn deine Masterarbeit ergeben? Haben sie einen Impact gehabt?
- 4:46Arnika Zinke: Genau, es ist so, dass das Parlament ja kein Vorschlagsrecht hat,
- 4:49Arnika Zinke: im Gegensatz zur Kommission, die die Gesetze ja vorschlagen darf.
- 4:52Arnika Zinke: Und von allein hat am Anfang ihres Mandats
- 4:55Arnika Zinke: angekündigt, dass sie die Initiativberichte mehr ernst nehmen wird.
- 5:00Arnika Zinke: Und das, was meine Forschung ergeben hat, ist, dass es zwar...
- 5:06Arnika Zinke: In der Theorie nicht übernommen werden muss, in der Praxis es aber schon der
- 5:11Arnika Zinke: Kommission etwas bringt, wenn die Mehrheiten in den Initiativberichten geformt
- 5:18Arnika Zinke: werden, auch berücksichtigt werden im Vorschlag.
- 5:21Arnika Zinke: Das heißt natürlich, wenn man möchte, dass der Vorschlag in irgendeiner Weise
- 5:24Arnika Zinke: Erfolg hat, ist es nicht dumm, sich anzusehen, wie Mehrheiten im Parlament gebildet werden.
- 5:29Arnika Zinke: Und natürlich, wenn das Parlament dann genau zu einem bestimmten Bereich etwas
- 5:33Arnika Zinke: veröffentlicht, dann schon einen Einfluss.
- 5:36Arnika Zinke: Aber grundsätzlich ist es halt schon so, dass viele von den Initiativberichten
- 5:39Arnika Zinke: auch nicht, vor allem Initiativberichte, die jetzt nicht unbedingt auf ein Gesetz
- 5:44Arnika Zinke: spezifisch ausgerichtet sind, nicht unbedingt den Erfolg haben,
- 5:48Arnika Zinke: den sich manche Politiker inne erhoffen.
- 5:50Arnika Zinke: Also man muss da schon auch ein bisschen differenzieren und es ist nicht so,
- 5:53Arnika Zinke: dass jeder Initiativbericht mit dem Strichpunkt übernommen worden ist.
- 5:57Arnika Zinke: Aber gerade beim Digital Services Act, was ja auch ein sehr großes Gesetz war,
- 6:00Arnika Zinke: war das ein bisschen anders, würde ich sagen.
- 6:04Arnika Zinke: Aber vielleicht mal greife ich noch, was zu sagen, weil Ralf schon länger im Parlament ist als ich.
- 6:10Tim Pritlove: Ja, genau, Ralf, sag doch mal was. Du darfst dich auch noch mal vorstellen.
- 6:16Ralf Bendrath: Ja, danke auch noch mal für die Einladung. Ich bin, genau wie Annika,
- 6:20Ralf Bendrath: Fraktionsreferent der Grünen-EFA-Fraktion im Europäischen Parlament.
- 6:24Ralf Bendrath: Ich bin für den Ausschuss für Bürgerliche Freiheiten, Justiz und Inneres zuständig
- 6:27Ralf Bendrath: und mache da vor allem Datenschutz.
- 6:32Ralf Bendrath: Das ist der Ausschuss, der auch federführend für Datenschutz zuständig ist.
- 6:35Ralf Bendrath: Nebenbei aber alles, was an anderen Digitalsachen so anfällt,
- 6:38Ralf Bendrath: inklusive auch Polizeiinformationsaustausch, polizeiliche und justizielle Zusammenarbeit und solche Sachen.
- 6:44Ralf Bendrath: Ich mache aber inzwischen relativ viel auch ausschussüberschreitende Arbeit,
- 6:49Ralf Bendrath: weil jetzt inzwischen die Kollegen alle mitgeschnitten haben,
- 6:52Ralf Bendrath: dass ich hier der Onkel Ralf von der DSGVO bin.
- 6:54Ralf Bendrath: Ich habe früher für den Berichterstatter Jan-Philipp Albrecht bearbeitet,
- 6:57Ralf Bendrath: als das Ding verhandelt wurde und habe seitdem sogar einen IMDb-Eintrag.
- 7:02Ralf Bendrath: Und jetzt kommen die Kollegen immer und haben irgendwas zu europäischer Sozialversicherungskarte
- 7:08Ralf Bendrath: im Beschäftigungsausschuss oder zu Veröffentlichung von Agrarzuschüssen im Agrarausschuss
- 7:14Ralf Bendrath: oder zu irgendwelchen anderen Themen,
- 7:16Ralf Bendrath: wo es irgendwie dann auch Datenschutzfragen plötzlich gibt.
- 7:18Ralf Bendrath: Ich gehe jetzt zum Financial Information Access Geschichte, Finanzdatenraum
- 7:23Ralf Bendrath: und komme immer, Ralf, kannst du hier mal drüber gucken?
- 7:27Ralf Bendrath: Und das ist ganz, bis zur Fischerei ging das schon. Das ist irgendwie ganz lustig
- 7:30Ralf Bendrath: manchmal. Dann lernt man auch viel über den Tellerrand hinaus.
- 7:33Ralf Bendrath: Ja, und ich habe jetzt die Freude gehabt, mit Arne quasi die letzten,
- 7:36Ralf Bendrath: weiß nicht, drei Jahre oder so zusammenzuarbeiten am KI-Gesetz,
- 7:39Ralf Bendrath: am Artificial Intelligence Act, weil...
- 7:44Ralf Bendrath: Ja, da kommen wir später zu. Die Details dazu spreche ich mir für nachher.
- 7:47Ralf Bendrath: Aber warum das ein gemeinsames Ausschussverfahren mit dem Binnenmarkt und dem
- 7:51Ralf Bendrath: Innenausschuss war, das war eine lustige Geschichte.
- 7:54Ralf Bendrath: Es gibt noch Axel Voss-Witze später.
- 7:58Tim Pritlove: Das sind immer die besten. Und hast du auch schon einen Initiativbericht mal angestoßen?
- 8:05Ralf Bendrath: Angestoßen selber nicht.
- 8:33Ralf Bendrath: Verdoppelt. Wie viel davon jetzt in der KI- Verordnung im IAI-Act gelandet ist,
- 8:41Ralf Bendrath: ich glaube ehrlich gesagt gar nicht so viel, weil die Kommission da einen sehr
- 8:44Ralf Bendrath: strikten Rahmen gesetzt hat, aber da gehen wir später noch an die Details.
- 8:48Tim Pritlove: Nur mal um so ein Gefühl dafür zu bekommen, weil ich habe diesen Begriff Initiativbericht
- 8:51Tim Pritlove: ehrlich gesagt noch nie gehört, aber wie viele werden denn da so pro Jahr von gemacht?
- 8:57Tim Pritlove: Ist das so ab und zu mal einer oder passiert das am laufenden Meter?
- 9:01Ralf Bendrath: Nee, das passiert viel viel am Anfang der Legislaturperiode,
- 9:04Ralf Bendrath: wenn die neue Kommission erst anfängt, ihr Arbeitsprogramm abzuarbeiten und
- 9:08Ralf Bendrath: bis dann die ersten Gesetzesvorschläge kommen, dauert es meistens eine Weile
- 9:10Ralf Bendrath: und dann sind die Leute noch übermotiviert und wollen selber was machen.
- 9:14Tim Pritlove: Hast du so Beschäftigungstherapie fürs Parlament?
- 9:16Ralf Bendrath: So ein bisschen. Die Abgeordneten wollen mal irgendwas sagen,
- 9:19Ralf Bendrath: ohne dass es gleich ein Gesetz ist und dann schreibt man halt so einen Initiativbericht.
- 9:24Ralf Bendrath: Das ist quotiert. Das können nicht beliebig viele werden.
- 9:28Ralf Bendrath: Ich weiß nicht, ob das in allen Ausschüssen so ist. Bei uns im Innenausschuss
- 9:31Ralf Bendrath: ist es so, dass dass, glaube ich, parallel immer nur sechs gleichzeitig verhandelt werden dürfen?
- 9:36Arnika Zinke: Ich glaube, die Kapazität hätten wir gar nicht, sechs gleichzeitig zu verhandeln.
- 9:40Arnika Zinke: Also ich glaube, daran scheitert es schon, aber normalerweise kann man die vorschlagen
- 9:46Arnika Zinke: und das ist in der Menge begrenzt.
- 9:48Arnika Zinke: Aber wir hatten zum Beispiel im Binnenmarktausschuss gegen Ende noch einen sehr erfolgreichen,
- 9:53Arnika Zinke: Initiativbericht zu Addictive Design, also Abhängigkeit machendem Design,
- 9:57Arnika Zinke: sein, hört sich in Deutsch nicht so gut an, wo wir das Feedback auch von der
- 10:01Arnika Zinke: Kommission bekommen haben, dass das eins der Top-Themen ist,
- 10:03Arnika Zinke: an dem die jetzt auch für die nächste Legislaturperiode arbeiten.
- 10:07Arnika Zinke: Also es kommt auch ein bisschen darauf an, in welcher, ob man quasi so ein bisschen
- 10:11Arnika Zinke: das Gefühl hat, in die richtige Richtung quasi zu stechen mit dem Thema.
- 10:15Ralf Bendrath: Also Initiativberichte sind so ein bisschen strikter reguliert.
- 10:18Ralf Bendrath: Die müssen von der Konferenz der Fraktionsvorsitzenden bewilligt werden.
- 10:22Ralf Bendrath: Wie gesagt, es darf nur sechs parallel laufen, zumindest in meinem Ausschuss.
- 10:26Ralf Bendrath: Andere Ausschüsse können aber noch eine Beteiligung einfordern und dazu noch
- 10:29Ralf Bendrath: Opinions machen, die dann irgendwie berücksichtigt werden müssen oder auch nicht.
- 10:33Ralf Bendrath: Das ist ein bisschen mühsam. In meinem Ausschuss ist es eher so,
- 10:35Ralf Bendrath: wenn wir irgendwie eine Stellungnahme raushauen wollen, dann machen wir eine Resolution.
- 10:39Ralf Bendrath: Die wird einfacher verhandelt, die muss nicht genehmigt werden.
- 10:42Ralf Bendrath: Da gibt es auch keine anderen Ausschüsse, die mit reinquatschen wollen.
- 10:44Ralf Bendrath: Und die wird dann quasi vom Liebeausschuss, also Civil Liberties,
- 10:47Ralf Bendrath: Justice, Non-Fers, direkt im Plenum getabelt. Und dann ist sie meistens nach
- 10:51Ralf Bendrath: einem Monat schon durch.
- 10:53Tim Pritlove: Verstehe. Es gibt also sozusagen auch noch kleinere Einheiten von Schlussfassungen.
- 10:57Ralf Bendrath: Ich entdecke nach 15 Jahren hier immer noch Sachen in der Geschäftsordnung,
- 11:01Ralf Bendrath: die ich bisher noch nicht kannte.
- 11:03Tim Pritlove: Na gut, aber wir wollen uns ja heute nicht so sehr mit der Bürokratie an sich beschäftigen,
- 11:08Tim Pritlove: sondern mal konkret reinschauen, was derzeit denn eigentlich so alles in der
- 11:13Tim Pritlove: Pipeline ist, beziehungsweise jetzt gerade beschlossen worden ist oder unmittelbar
- 11:16Tim Pritlove: vor dem Beschluss steht, unter anderem den AI-Act.
- 11:20Tim Pritlove: Aber du, Ralf, hast ja noch ein paar andere Themen auch noch,
- 11:23Tim Pritlove: die du mitgebracht hast.
- 11:25Ralf Bendrath: Ja, das ist so ein bisschen eine Digitalwoche hier im Plenum gerade.
- 11:29Ralf Bendrath: Deswegen ist Annika ja auch gerade in Straßburg, weil gerade Plenarsitzung des
- 11:32Ralf Bendrath: Europäischen Parlaments in Straßburg ist.
- 11:34Ralf Bendrath: Und zwei, was heißt kleinere, die nicht so viel Aufsehen erregt haben,
- 11:39Ralf Bendrath: Sachen sind mir hier noch aufgefallen.
- 11:40Ralf Bendrath: Das ist einmal die Produkthaftungsrichtlinie, die revidiert wurde und der Cyber Resilience Act.
- 11:47Ralf Bendrath: Und die führen beide Sachen ein, für die wir damals mit Jan-Philipp Albrecht
- 11:52Ralf Bendrath: noch und so schon seit teilweise zehn Jahren gekämpft haben.
- 11:55Ralf Bendrath: Wo man also auch mal schön sehen kann, Politik ist manchmal echt das langsame Bohren dicker Bretter.
- 12:00Ralf Bendrath: Als wir damals angefangen haben, mit Jan-Philipp Albrecht uns um Produktsicherheit,
- 12:04Ralf Bendrath: also Quatsch, IT-Sicherheit mal zu kümmern, kam man ziemlich schnell drauf,
- 12:08Ralf Bendrath: auch natürlich durch Gespräche mit Linus und anderen vom CCC und so.
- 12:11Ralf Bendrath: Es gibt keine guten Anreizstrukturen bisher für die Hersteller,
- 12:15Ralf Bendrath: sich ernsthaft um IT-Sicherheit zu kümmern.
- 12:17Ralf Bendrath: Es gibt keine Produkthaftung für Software, es gibt keine Verpflichtung,
- 12:20Ralf Bendrath: Sicherheitsupdates zu liefern oder irgendwas.
- 12:22Ralf Bendrath: Software kommt immer mit dieser allgemeinen Terms of Service zum Anklicken,
- 12:26Ralf Bendrath: ich akzeptiere die Software so, wie sie ist.
- 12:29Ralf Bendrath: Und keiner ist verantwortlich. Das hat sich jetzt geändert, nach diesen zehn
- 12:33Ralf Bendrath: Jahren oder wie lange da andere Leute schon drüber nachgedacht haben.
- 12:35Ralf Bendrath: Und das eine ist die Product Liability Directive, die Produkthaftungsrichtlinie,
- 12:42Ralf Bendrath: die gibt es schon ewig, die ist dieses Jahr 39 geworden,
- 12:46Ralf Bendrath: wurde 1999 mal kurz ein bisschen gänzt, um landwirtschaftliche und Fischereiprodukte mit abzudecken.
- 12:53Ralf Bendrath: Und sie sagt im Prinzip, wenn du ein schadhaftes Produkt verkaufst und Leute
- 12:57Ralf Bendrath: nehmen deswegen Schaden daran, das kann auch mentalen Schaden beinhalten,
- 13:01Ralf Bendrath: dann bist du verantwortlich und
- 13:03Ralf Bendrath: musst dafür haften und im Zweifelsfall Schadensersatz und sowas zahlen.
- 13:08Ralf Bendrath: Und jetzt mit der neuen Revision, die gerade gestern angenommen wurde,
- 13:12Ralf Bendrath: ist endlich auch Produkthaftung für Software mit dabei.
- 13:16Ralf Bendrath: Das heißt, wenn du eine schadhafte Software in den Markt bringst,
- 13:20Ralf Bendrath: kommerziell, das ist immer nur kommerziell, dann bist du haftbar.
- 13:24Ralf Bendrath: Das heißt, damit hast du natürlich jetzt als Hersteller einen starken Anreiz,
- 13:27Ralf Bendrath: dich mal ernsthaft um IT-Sicherheit zu kümmern.
- 13:30Ralf Bendrath: Was wichtig ist, da gab es auch zwischendurch immer wieder mal Fragen aus der Community, die,
- 13:35Ralf Bendrath: Wenn du ein freier Softwareentwickler bist, der nur zu Hause so ein bisschen
- 13:39Ralf Bendrath: vor sich hin frickelt und das Zeugs irgendwo auf GitHub hochlädt oder so,
- 13:43Ralf Bendrath: aber das nicht geschäftlich macht, dann bist du nicht in der Verantwortung.
- 13:47Ralf Bendrath: Wenn jemand jetzt dein freies Softwaremodul nimmt und ein kommerzielles Produkt
- 13:50Ralf Bendrath: einbaut, dann ist der dafür verantwortlich und nicht du als Entwickler von dem
- 13:54Ralf Bendrath: kleinen Open-Source-Software-Tool.
- 13:58Ralf Bendrath: Das war also ganz wichtig, das haben wir da auch gewonnen.
- 14:03Ralf Bendrath: Was sonst? Ja, ich glaube, das waren so die wesentlichen Elemente.
- 14:06Thomas Lohninger: Ja, vielleicht bei dem Punkt. Das war auch etwas, das wirklich gerade bei der
- 14:10Thomas Lohninger: Free Software Foundation Europe ein riesiges Thema war.
- 14:13Thomas Lohninger: Also in der gesamten Community der freien und offenen Software hat man sich
- 14:18Thomas Lohninger: da große Sorgen gemacht rund um Cyber Resilience Act.
- 14:20Thomas Lohninger: Und es ist gut, wenn da jetzt eine Lösung gefunden wurde, die einfach gemeinwohlorientierte,
- 14:26Thomas Lohninger: nicht kommerzielle Produkte ausnimmt. Und ich frage mich dann immer so,
- 14:29Thomas Lohninger: wie stabil sind die Definitionen? Ist das wirklich gut abgegrenzt?
- 14:33Thomas Lohninger: Und de facto, was du damit natürlich dann auch hast, ist, dass die Person,
- 14:37Thomas Lohninger: die daraus ein Geschäft macht, auf einmal natürlich auch alle etwaige Haftung
- 14:42Thomas Lohninger: übernimmt und die nicht weitergeben kann an irgendwen.
- 14:45Thomas Lohninger: Was, glaube ich ja auch, wenn wir so beim ersten drüber nachdenken,
- 14:49Thomas Lohninger: eine brauchbare Lösung ist.
- 14:52Thomas Lohninger: Ein anderes Thema, was beim Cyber Resilience Act noch ganz… Thomas.
- 14:56Ralf Bendrath: Wir waren noch bei der Produkthaftungsrichtlinie. Cyber Resilience Act habe
- 14:59Ralf Bendrath: ich mir gar nicht vorgestellt. Aber es geht sehr ineinander über.
- 15:04Thomas Lohninger: All the same.
- 15:05Tim Pritlove: Also kurze Anmerkung dazu. Also diese Product Liability Directive,
- 15:09Tim Pritlove: die gibt es ja im Prinzip schon.
- 15:11Tim Pritlove: Die ist bloß 40 Jahre alt und seitdem nicht wirklich angefasst worden,
- 15:14Tim Pritlove: wenn ich das richtig sehe.
- 15:15Ralf Bendrath: Doch, es wurden 1999 landwirtschaftliche und Fischereiprodukte mit reingetan.
- 15:20Tim Pritlove: Aha.
- 15:22Tim Pritlove: Deine neue Kernkompetenz sozusagen.
- 15:24Ralf Bendrath: Aber sonst nichts. Und jetzt die
- 15:26Ralf Bendrath: große Neuerung ist eben, dass jetzt auch digitale Produkte mit drin sind.
- 15:30Tim Pritlove: Ah, okay. Und was heißt das dann konkret? Also ich meine, wenn ich jetzt sozusagen
- 15:33Tim Pritlove: Windows benutze und dann mentalen Schaden davon trage, was ich durchaus für
- 15:37Tim Pritlove: wahrscheinlich halte, dann kann ich dann sozusagen Bill Gates anrufen und der
- 15:41Tim Pritlove: muss mir dann Rente zahlen.
- 15:43Ralf Bendrath: Naja, wenn dann die entsprechenden Gerichte, wo das wahrscheinlich landen wird,
- 15:46Ralf Bendrath: entscheiden, dass das Produkt schadhaft war und du deswegen einen mentalen Schaden
- 15:50Ralf Bendrath: davon getragen hast, dann ja.
- 15:51Tim Pritlove: Verstehe.
- 15:52Ralf Bendrath: Halte ich aber den Fall eher für unwahrscheinlich. Es gibt sozusagen kaputte
- 15:56Ralf Bendrath: Software, die einfach Sicherheitslücken und ähnliches hat.
- 15:59Tim Pritlove: Ja, und das heißt, hat das den Status einer Verordnung? Gilt das sozusagen unmittelbar dann?
- 16:05Ralf Bendrath: Das ist eine Richtlinie, die muss durch nationales Recht umgesetzt werden.
- 16:08Tim Pritlove: Okay, und das heißt, das kann auch noch ein bisschen dauern, sozusagen.
- 16:12Ralf Bendrath: Ja, da fragst du mal die FDP, wie lange die wieder auf die Bremse treten will.
- 16:18Ralf Bendrath: Das ist ja hier inzwischen ein Running Gag, hätte, hätte Lieferkette.
- 16:21Tim Pritlove: Ja, genau. Okay, gut, aber nehmen wir jetzt mal an, es sei im Sinne des Gesetzes
- 16:26Tim Pritlove: in eine Richtlinie überführt worden bereits.
- 16:31Tim Pritlove: Kannst du mal so einen typischen Fall aufmachen, den ihr sozusagen bei dem Design
- 16:35Tim Pritlove: im Sinn hattet und wie sich das dann äußern könnte konkret?
- 16:40Ralf Bendrath: Annika, hast du da mehr mit zu tun gehabt? Weil das ja euer Ausschuss war.
- 16:43Arnika Zinke: Es war mein Ausschuss, aber es war mein Kollege, der daran gearbeitet hat.
- 16:46Arnika Zinke: Aber es ist zum Beispiel jetzt nicht KI, nur um das ganz kurz zu sagen,
- 16:50Arnika Zinke: weil für KI war eigentlich ein Schwestergesetz vorgesehen, nämlich die KI-Haftungsrichtlinie.
- 16:56Arnika Zinke: Die steckt aber momentan im Justizausschuss fest, da ist der Berichterstatter Axel Voss.
- 17:02Arnika Zinke: Also da gab es etwas Ungereimtheiten, was die Ausrichtung des Gesetzes betrifft.
- 17:06Arnika Zinke: Aber ja, ich habe nicht in der plattbaren Produkthaftungsrichtlinie gearbeitet.
- 17:10Ralf Bendrath: Ja, ich habe die jetzt auch nicht im Detail verfolgt. Ich habe vor allem das
- 17:13Ralf Bendrath: Briefing von unserem Kollegen dazu gelesen.
- 17:16Ralf Bendrath: Also auch nicht den ganzen Gesetzestext. Aber so ein Beispiel,
- 17:20Ralf Bendrath: was ich mir jetzt da vorstellen würde, ist, wenn du dir einen Smart Thermostat
- 17:24Ralf Bendrath: kaufst für deine Heizung.
- 17:25Tim Pritlove: Ja, habe ich gerade gemacht. Sehr gut. Viel Spaß.
- 17:29Ralf Bendrath: Wer klemmt denn bitte sein Haus ans Internet?
- 17:31Tim Pritlove: Dann mit dem Internet hat das einfach nichts zu tun.
- 17:34Ralf Bendrath: Ach so, okay. Aber wenn das Ding sozusagen Internet-Konnektivität hat und sich
- 17:37Ralf Bendrath: da jemand reinhackt und irgendwie deine Heizung so hoch dreht,
- 17:41Ralf Bendrath: dass der Boiler kaputt geht oder sowas, dann wäre der Thermostat-Hersteller dafür haftbar.
- 17:46Tim Pritlove: Wow.
- 17:47Ralf Bendrath: Wenn sozusagen dem nachzuweisen ist, dass er hier ein schadhaftes Produkt auf den Markt gebracht hat.
- 17:52Tim Pritlove: Aber mit dem Nachweis, das könnte natürlich dann nochmal so ein Ding werden.
- 17:55Tim Pritlove: Das muss sich dann erst mal noch zeigen vor den Gerichten, was für Nachweise
- 17:59Tim Pritlove: dort erbracht werden müssen.
- 18:00Tim Pritlove: Oder gibt es dafür auch dann schon eine Maßgabe, wie das zu erfolgen hat?
- 18:04Arnika Zinke: Es gibt bei bestimmten Fällen eine Umkehrung von der Beweislast.
- 18:08Arnika Zinke: Die bestimmten Fälle müsste ich aber nachschauen. Aber es gibt Fälle,
- 18:11Arnika Zinke: wo es für den Konsumenten sehr schwierig nachzuweisen ist, wo das umgekehrt
- 18:14Arnika Zinke: wird und auch in Fällen, wo es eben besonders schwer der Schaden wäre.
- 18:21Tim Pritlove: All right, gut. Dann können wir ja auf den Cyber Resilience Act kommen,
- 18:26Tim Pritlove: Ralf. Was hat es denn damit auf sich?
- 18:28Ralf Bendrath: Genau, das ist ein neues Gesetz. Das ist eine Verordnung, gilt also unmittelbar,
- 18:33Ralf Bendrath: nachdem sie jetzt veröffentlicht wird und dann in Kraft tritt.
- 18:36Ralf Bendrath: Und da geht es sozusagen nochmal härter wirklich in die Pflicht für Anbieter
- 18:40Ralf Bendrath: von elektronischen Endgeräten. Das kann auch Software beinhalten oder andere digitale Devices.
- 18:48Ralf Bendrath: Das ist so ein bisschen ähnlich aufgehängt wie das KI-Gesetz,
- 18:51Ralf Bendrath: der AI-Act im Rahmen dieses sogenannten New Legislative Framework,
- 18:55Ralf Bendrath: wo noch so ein ganzer Rattenschwarz von Marktaufsichtsbehörden dranhängt und
- 18:58Ralf Bendrath: so und am Ende das CE-Label rauskommt, was man so kennt als Label für Produktsicherheit in Europa. Ja.
- 19:05Ralf Bendrath: Die Hersteller von solchen Produkten,
- 19:09Ralf Bendrath: also das ist eine relativ allgemein gehaltene Regelung, Artikel 13,
- 19:13Ralf Bendrath: Obligations of Manufacturers, also Auflagen für Hersteller, die müssen sich
- 19:18Ralf Bendrath: an die essentiellen, ich weiß immer nicht, was du auf Deutsch hast,
- 19:21Ralf Bendrath: wir machen alles auf Englisch hier, Essential Requirements,
- 19:24Ralf Bendrath: essentielle Anforderungen, danke, in Annex 1 halten.
- 19:30Ralf Bendrath: Und Teil 1 von Antrag 1 ist über Cyber Security.
- 19:34Ralf Bendrath: Und da steht dann ganz klar drin, Produkte mit digitalen Elementen sollen designt,
- 19:39Ralf Bendrath: entwickelt und hergestellt werden, sodass sie ein angemessenes Level von Cybersicherheit
- 19:44Ralf Bendrath: basierend der jeweiligen Risiken liefern.
- 19:48Ralf Bendrath: Und sie sollen zum Beispiel auf den Markt gebracht werden ohne bekannte Sicherheitslücken.
- 19:54Ralf Bendrath: Also versteckte Backdoors, die der Hersteller kennt, aber nicht angibt beim
- 19:58Ralf Bendrath: Verkauf, sind jetzt damit verboten offiziell.
- 20:02Ralf Bendrath: Sie müssen bei Default einer sicheren Konfiguration ausgeliefert werden.
- 20:09Ralf Bendrath: Sie müssen Sicherheitsupdates kriegen können. Sie müssen vor ungesichertem Zugriff
- 20:15Ralf Bendrath: geschützt sein und wenn es einen Zugriff geben sollte, müssen Sie es berichten.
- 20:20Ralf Bendrath: Und jetzt steht sogar noch drin, Sie müssen die Vertraulichkeit von gespeicherter
- 20:25Ralf Bendrath: oder übertragener Daten,
- 20:28Ralf Bendrath: egal ob persönliche Daten oder andere, sicherstellen, unter anderem durch Verschlüsselung,
- 20:33Ralf Bendrath: Speicher und auch Transit. Ja.
- 20:38Ralf Bendrath: Und die Sicherheitsupdates müssen mindestens für fünf Jahre bereitgestellt werden.
- 20:46Ralf Bendrath: Außer das Produkt hat absehbar eine deutlich geringere Lebenszeit,
- 20:49Ralf Bendrath: dann reicht es auch kürzer.
- 20:52Ralf Bendrath: Aber mindestens sind erstmal normalerweise fünf Jahre müssen verpflichtende
- 20:55Ralf Bendrath: Sicherheitsupdates geliefert werden.
- 20:56Tim Pritlove: Fünf Jahre ab was? Ab was gerechnet?
- 20:59Ralf Bendrath: Ab Verkauf. Ab Verkauf. Verstehe ich zumindest so.
- 21:02Thomas Lohninger: Also das ist wirklich so wie ein Mindesthaltbarkeitsdatum, nur diesmal wirklich
- 21:05Thomas Lohninger: für Sicherheitsupdates. Genau.
- 21:07Ralf Bendrath: Und die sagen auch ganz deutlich da, ich glaube in einem Erwägungsgrund,
- 21:10Ralf Bendrath: ich finde den Teil gerade jetzt nicht mehr sofort,
- 21:12Ralf Bendrath: wenn klar ist, dass das Gerät eine längere Lebenszeit hat, zum Beispiel Router
- 21:18Ralf Bendrath: oder andere Sachen, die normalerweise länger laufen als fünf Jahre,
- 21:21Ralf Bendrath: dann müssen die Sicherheitsupdates auch jetzt für die erwartbare Lebenszeit geliefert werden.
- 21:28Ralf Bendrath: Was da jetzt noch nicht drin ist, das hatten wir mit Linus damals mal diskutiert
- 21:31Ralf Bendrath: bei einer Anhörung unserer Fraktion zur IoT-Sicherheit, kurz nach dem WannaCry-Unglück.
- 21:36Ralf Bendrath: Was passiert, wenn diese Lebenszeit erreicht ist, End of Life,
- 21:40Ralf Bendrath: und die keine Sicherheitsupdates mehr liefern? Wann müssen sie dann sozusagen
- 21:43Ralf Bendrath: dem Nutzer es ermöglichen, das Produkt selber up-to-date, wenn zum Beispiel
- 21:47Ralf Bendrath: die Software unter freie Lizenzen gestellt werden muss oder so. Das ist hier noch offen.
- 21:51Ralf Bendrath: Das ist nicht geklärt. Du hast einfach nur jetzt mindestens fünf Jahre die Updates.
- 21:55Ralf Bendrath: Wenn das Produkt absehbar länger hält, dann auch noch länger.
- 21:58Ralf Bendrath: Ja, und danach kannst du es dann wegschmeißen oder auf eigenes Risiko weiter benutzen.
- 22:03Ralf Bendrath: Aber das ist wirklich ein ziemlicher Durchbruch, finde ich. Das muss man echt mal anerkennen.
- 22:06Tim Pritlove: Das würde ich auch meinen.
- 22:08Arnika Zinke: Es war tatsächlich ein Änderungsantrag im Binnenmarktausschuss,
- 22:12Arnika Zinke: das unter einer freien Lizenz zu veröffentlichen, wenn es nicht mehr am Markt
- 22:15Arnika Zinke: ist. Leider hat es keine Mehrheit bekommen.
- 22:19Thomas Lohninger: Ja, solche Sachen werden nie verstanden. Aber jetzt mal praktisch gefragt,
- 22:23Thomas Lohninger: wenn du sagst Mindeststandards bei IT-Sicherheit, so peinliche Dinge wie ungehäschte
- 22:28Thomas Lohninger: Passwörter, das dürfte es dann nicht mehr geben, oder?
- 22:32Ralf Bendrath: Nee. Nee.
- 22:34Thomas Lohninger: Und etwas, an das ich mich auch noch erinnere, wir haben am Anfang an dem Gesetz gearbeitet,
- 22:39Thomas Lohninger: da gab es ja auch diese Meldung von Sicherheitslücken, wenn ein Hersteller jetzt etwas findet,
- 22:44Thomas Lohninger: eine Lücke in der eigenen Software oder in den eigenen Geräten,
- 22:49Thomas Lohninger: dass diese Lücken dann auch an staatlichen Stellen unmittelbar gemeldet werden
- 22:54Thomas Lohninger: müssen, auch noch bevor die Sicherheitslücke behoben wurde.
- 22:59Thomas Lohninger: Wo es dann ja auch die Sorge gab, dass dieses Wissen um etwaige Einfallstore
- 23:05Thomas Lohninger: dann von staatlichen Stellen vielleicht sogar auch missbraucht würde für zum
- 23:09Thomas Lohninger: Beispiel Staatstreuer.
- 23:11Ralf Bendrath: Ja, ich habe den Text jetzt nicht vor mir, aber wie ich den Briefing vom Kollegen
- 23:15Ralf Bendrath: Christian entnehme, gibt es jetzt anscheinend eine neue Stelle bei der EU-IT-Sicherheitsagentur
- 23:21Ralf Bendrath: Enisa, die genau diese Sicherheitslücken bekommen soll.
- 23:26Thomas Lohninger: Ja, das war nämlich wirklich ein bisschen problematisch, weil damit natürlich,
- 23:29Thomas Lohninger: wenn du konkret den Weg, wie deine Software aufgemacht werden kann,
- 23:33Thomas Lohninger: sofort melden musst, noch bevor du es geschlossen hast.
- 23:36Thomas Lohninger: Also das widerstößt dann ein bisschen gegen, Sponsor-Predisclosure ist das jetzt
- 23:40Thomas Lohninger: nicht, aber es öffnet gewisse Gefahren.
- 23:42Ralf Bendrath: Okay, ob man die bevor man es gepatcht hat schon melden muss,
- 23:45Ralf Bendrath: weiß ich jetzt nicht. Das müsste man im Detail nochmal nachgucken.
- 23:47Ralf Bendrath: Das habe ich jetzt nicht vor mir.
- 23:48Thomas Lohninger: Das war zumindest früher mal ein Problem. Ab wann gelten denn diese Gesetze?
- 23:52Ralf Bendrath: Der Cyber Resilience Act, wie gesagt, ist eine Verordnung, die gilt unmittelbar.
- 23:56Ralf Bendrath: Die ist jetzt quasi heute, gestern angenommen worden im Plenum.
- 24:00Ralf Bendrath: Das muss jetzt der Rat formal noch annehmen, weil wir noch im ersten Lesungsverfahren sind.
- 24:04Ralf Bendrath: Dann wird es im Amtsblatt der EU veröffentlicht. Und dann weiß ich nicht,
- 24:08Ralf Bendrath: ob es irgendwelche Übergangsfristen gibt oder ob das dann sofort gilt.
- 24:12Ralf Bendrath: Steht jetzt hier nicht im Briefing drin.
- 24:13Arnika Zinke: Also meines Wissens nach gibt es relativ lange Übergangsfristen.
- 24:16Arnika Zinke: Also zumindest nachdem es aus dem Parlament kam, haben wir sehr große Probleme
- 24:22Arnika Zinke: gehabt, die Fristen nicht allzu lange zu haben.
- 24:27Tim Pritlove: Also ein paar Jahre, oder was muss man sich da jetzt vorstellen?
- 24:29Arnika Zinke: Ja, genau, ein paar Jahre.
- 24:31Tim Pritlove: Okay, das tropft also so langsam rein.
- 24:33Ralf Bendrath: Okay, ich sehe gerade Artikel 14, Reporting Obligations of Manufacturers.
- 24:39Ralf Bendrath: Da geht es offenbar nur um Verwundbarkeiten, die aktuell aktiv ausgenutzt werden.
- 24:45Ralf Bendrath: Wenn also gerade irgendwie Angriffe laufen, dass dann die nationalen C-Cert-Koordinatoren
- 24:50Ralf Bendrath: und Enisa benachrichtigt werden sollen, damit die Schritte ergreifen können.
- 24:54Ralf Bendrath: Wenn gerade ein Angriff läuft, macht das ja auch Sinn.
- 24:58Ralf Bendrath: Aber darüber hinaus sehe ich jetzt keine Verpflichtungen.
- 25:01Tim Pritlove: Zumindest gibt es jetzt erstmal nicht mehr das Admin-Admin-Standardpasswort
- 25:05Tim Pritlove: bei irgendwelchen Routern.
- 25:07Tim Pritlove: Das ist schon mal wichtig, dass mal überhaupt so eine Linie da gezogen wird mit so Leuten.
- 25:15Tim Pritlove: Also wenn ihr hier irgendwie mitspielen wollt, dann ist einfach mal ein gewisses
- 25:20Tim Pritlove: Minimum jetzt auch definiert und nicht nur so der Markt macht das schon.
- 25:23Tim Pritlove: Und ich denke, das ist dann doch schon ein wichtiger Schritt nach vorne.
- 25:28Thomas Lohninger: Ja, und vor allem auch, Ralf hat ja schon die Analogie mit dem CE-Label genannt.
- 25:33Thomas Lohninger: Genauso wie man sich darauf verlassen muss, dass ein Gerät, das an Strom hängt,
- 25:37Thomas Lohninger: nicht zum Rauchen anfängt und explodiert, es hat auch bei der Netzwerkverbindung
- 25:41Thomas Lohninger: ein gewisses Mindestmaß an Sorgfalt einfach geboten.
- 25:45Thomas Lohninger: Also ob dieses Gesetz wirklich in allem perfekt ist, wird man sehen,
- 25:48Thomas Lohninger: aber die Richtung ist da schon die richtige, glaube ich.
- 25:52Ralf Bendrath: Und hier gab es natürlich auch wieder die Frage, was ist mit Open Source?
- 25:55Ralf Bendrath: Der gleiche Ansatz wieder bei der Produkthaftungsrichtlinie.
- 25:58Ralf Bendrath: Wenn man Software nicht kommerziell auf den Markt bringt, ist man raus.
- 26:04Ralf Bendrath: Also der kleine Open-Source-Entwickler, der irgendwelche Tools baut,
- 26:07Ralf Bendrath: die dann andere kommerzielle Hersteller nehmen, der ist raus und die kommerziellen
- 26:11Ralf Bendrath: Hersteller sind in der Pflicht.
- 26:13Ralf Bendrath: Und die müssen dann sozusagen auch für die Sicherheitsupdates sorgen,
- 26:16Ralf Bendrath: nicht der kleine Bastler in der Kellerwerkstatt oder so.
- 26:18Tim Pritlove: Aber was definiert denn dann kommerziell? Also es gibt ja auch oft so Leute,
- 26:23Tim Pritlove: die Open Source machen und dann quasi selber kommerziell sind,
- 26:27Tim Pritlove: weil sie dann Beratungen dafür machen.
- 26:31Tim Pritlove: Damit wären sie ja sozusagen im kommerziellen Spiel.
- 26:34Thomas Lohninger: Oder um Spenden bitten für ihre Software.
- 26:38Tim Pritlove: Graubereich.
- 26:38Ralf Bendrath: Puh, das weiß ich nicht. Annika, das ist wahrscheinlich in deinem Ausschuss
- 26:42Ralf Bendrath: schon besser ausdiskutiert. Das wüsste ich jetzt nicht. Gibt es bestimmt irgendwo
- 26:45Ralf Bendrath: schon Standarddefinitionen?
- 26:47Arnika Zinke: Es gab dazu lange, ich weiß, es gab dazu sehr lange Diskussionen,
- 26:50Arnika Zinke: gab auch beim Cyber Veselians Act und auch gerade was Spenden betrifft,
- 26:54Arnika Zinke: vor allem Spenden, die immer wieder über einen längeren Zeitraum passieren,
- 27:00Arnika Zinke: auch von größeren Entitäten.
- 27:02Arnika Zinke: Ich weiß jetzt aber auch nicht, was genau das Endresultat war,
- 27:05Arnika Zinke: weil wir natürlich, wenn es noch im Parlament ist, relativ viel eingebunden sind.
- 27:09Arnika Zinke: Aber wenn das dann final in den Trilog geht, vor allem war das auch zu einer
- 27:12Arnika Zinke: Zeit, wo das KI-Gesetz gerade im Trilog war, Da sind wir dann auch als nicht
- 27:16Arnika Zinke: federführende Ausschüsse ein bisschen raus.
- 27:18Arnika Zinke: Aber an sich wurde sich jetzt auf eine Definition geeinigt, mit der meines Wissens
- 27:24Arnika Zinke: die Open-Source-Community recht zufrieden ist und die jetzt eigentlich auch
- 27:27Arnika Zinke: in den meisten neuen Digitalgesetzen verwendet worden ist, wo relativ klar ist,
- 27:32Arnika Zinke: was ist wirklich auf den Markt bringen und was ist, wenn man es nur eben zum
- 27:35Arnika Zinke: Beispiel bei GitHub hochlädt.
- 27:38Ralf Bendrath: Ich habe hier gerade herausgefunden, Erwägungsgrund 15, da steht was drin,
- 27:41Ralf Bendrath: die, ich muss jetzt sozusagen live vom Englischen ins Deutsche übersetzen,
- 27:46Ralf Bendrath: die Lieferung im Kurs einer kommerziellen Aktivität kann charakterisiert werden,
- 27:53Ralf Bendrath: nicht nur indem ein Preis für ein Produkt mit digitalen Elementen verlangt wird, sondern auch,
- 27:59Ralf Bendrath: wenn man einen Preis verlangt für technische Unterstützungsdienste.
- 28:05Tim Pritlove: Das würde das dann mit einschließen.
- 28:07Ralf Bendrath: Well, this does not serve only the recuperation of actual costs.
- 28:13Thomas Lohninger: In einer der letzten Folgen haben wir Gesetze durch JGPT analysieren lassen.
- 28:17Thomas Lohninger: Diesmal lassen wir sie durch die Verhandler selbst interpretieren. Ein Fortschritt.
- 28:24Thomas Lohninger: Aber das ist auch passend irgendwie zu dem nächsten Gesetz, das wir noch kurz
- 28:28Thomas Lohninger: ansprechen wollten, Ralf.
- 28:30Thomas Lohninger: Das ist auch etwas, was du uns mitgebracht hast. Das hat ja fast schon irgendwie
- 28:33Thomas Lohninger: den guten Nachrichtsjingel verdient.
- 28:36Ralf Bendrath: Die Plattform-Workers, ne?
- 28:38Thomas Lohninger: Ja, genau.
- 28:39Ralf Bendrath: Genau. Es gibt jetzt auch seit dieser Woche eine Plattform, die wurde nicht
- 28:42Ralf Bendrath: im Plenum abgestimmt, sondern die war schon im Februar ausverhandelt und war
- 28:47Ralf Bendrath: bisher aber im Rat blockiert.
- 28:49Ralf Bendrath: Und gerade jetzt vorgestern am Montag hat wieder der Ministerrat für Beschäftigung,
- 28:54Ralf Bendrath: Soziales, Gesundheit und Verbraucherschutz getagt.
- 28:56Ralf Bendrath: Und da gab es bisher eine Sperrminorität, bestehend aus Estland,
- 28:59Ralf Bendrath: Griechenland, Frankreich und Deutschland, mal wieder die FDP.
- 29:04Ralf Bendrath: Und Estland und Griechenland haben jetzt sich von der Enthaltung zu einem Vote,
- 29:09Ralf Bendrath: zu einer Abstimmung dafür durchgerungen.
- 29:11Ralf Bendrath: Deswegen gab es jetzt nur noch mit Frankreich und Deutschland alleine keine Sperrminorität mehr.
- 29:15Ralf Bendrath: Und deswegen kommt jetzt die Platform Workers Directive,
- 29:20Ralf Bendrath: die erstmals sozusagen die Arbeitsbedingungen regelt für Leute,
- 29:24Ralf Bendrath: die über Plattformen, was weiß ich, wie Uber Eats oder Deliveroo oder sowas
- 29:28Ralf Bendrath: arbeiten, aber auch zum Beispiel Mechanical Turk von Amazon oder so Zeug.
- 29:32Ralf Bendrath: Weil da bisher immer noch ganz oft unklar war, sind das Angestellte,
- 29:36Ralf Bendrath: sind das Freelancer, welche Rechte haben die gegenüber dem Quote-unquote Arbeitgeber und so.
- 29:43Ralf Bendrath: Und diese Plattform Worker's Direct, soweit ich es verstanden habe,
- 29:47Ralf Bendrath: wie gesagt, das war Beschäftigungsausschuss, ich habe es auch nur von der Seite
- 29:49Ralf Bendrath: mitverfolgt, die macht jetzt vor allem zwei Sachen, die...
- 29:53Ralf Bendrath: Sagt eben, dass sozusagen erst mal die Annahme gilt, wenn man so ein Plattform-Worker
- 29:58Ralf Bendrath: ist, ist man Angestellter.
- 30:00Ralf Bendrath: Und die Beweislast, dass das nicht der Fall ist, hat der Arbeitgeber sozusagen oder die Plattform.
- 30:05Ralf Bendrath: Das heißt, damit gelten dann die ganzen Rechte als Arbeitgeber wie Recht auf
- 30:08Ralf Bendrath: bezahlten Urlaub, Recht auf Streik und alles mögliche andere,
- 30:11Ralf Bendrath: Krankengeld und so weiter.
- 30:15Ralf Bendrath: Und wie gesagt, wenn die Plattform meint, nee, aber in dem Fall ist das doch
- 30:18Ralf Bendrath: ganz klar nur ein Freelancer, der macht nur ab und zu mal hier was,
- 30:21Ralf Bendrath: wenn er Bock drauf hat, dann muss sie das eben nachweisen.
- 30:24Ralf Bendrath: Und dann ist sie raus aus den Arbeitgeberverpflichtungen.
- 30:27Ralf Bendrath: Und das Zweite ist, dass es jetzt zum ersten Mal Regeln gibt für algorithmisches
- 30:32Ralf Bendrath: Management von Arbeitern oder Arbeitenden.
- 30:35Ralf Bendrath: Das heißt, wenn man ernsthafte Entscheidungen trifft über so einen Plattformarbeiter
- 30:40Ralf Bendrath: oder eine Arbeiterin, zum Beispiel Beendigung des Vertrages oder so,
- 30:44Ralf Bendrath: das darf auf keinen Fall von einem Algorithmus gemacht werden,
- 30:47Ralf Bendrath: das muss immer ein Mensch entscheiden.
- 30:49Tim Pritlove: Gilt denn, also für welche Unternehmen gilt denn das und für welche Mitarbeiter gilt denn das?
- 30:54Tim Pritlove: Also inwiefern ist jetzt die Zugehörigkeit oder der Aufenthalt in Europa da
- 30:59Tim Pritlove: entscheidend oder gilt das dann irgendwie weltweit oder wie ist das gedacht?
- 31:03Ralf Bendrath: Das gilt immer nur für Europa. Europäische Gesetz gilt nur in Europa.
- 31:07Tim Pritlove: Klar, aber gilt es auch für einen indischen Plattformarbeiter,
- 31:12Tim Pritlove: für eine Firma, die in Europa ist?
- 31:16Ralf Bendrath: Gute Frage. Kann ich jetzt so nicht beantworten. Wie gesagt,
- 31:20Ralf Bendrath: das habe ich selber nicht verhandelt.
- 31:22Tim Pritlove: Und gilt es für einen deutschen Mitarbeiter einer indischen Firma zum Beispiel
- 31:27Tim Pritlove: oder einer amerikanischen?
- 31:28Tim Pritlove: Also das ist so das, was ich mich frage. Was ist jetzt da sozusagen, wen betrifft das quasi?
- 31:35Tim Pritlove: Und wann ist man dadurch geschützt?
- 31:38Tim Pritlove: Weil so viele Plattformen haben wir ja nicht in Europa.
- 31:40Ralf Bendrath: Muss ich mal kurz gucken, ob das von der Kollegin hier im Briefing irgendwie
- 31:44Ralf Bendrath: abgedeckt ist, sonst wüsste ich es nicht.
- 31:46Thomas Lohninger: Also es ist ganz oft so bei diesen grenzüberschreitenden Arbeitsverhältnissen,
- 31:50Thomas Lohninger: dass es sehr schnell sehr kompliziert wird, auch innerhalb der EU.
- 31:54Thomas Lohninger: Da gibt es auch recht komplizierte Regelwerke, so Stichwort Entsenderichtlinie.
- 31:58Thomas Lohninger: Aber wovon man auf jeden Fall ausgehen kann,
- 32:01Thomas Lohninger: ist, dass die klassischen Essensauslieferer, Leute, die in der Servicebranche
- 32:08Thomas Lohninger: über Plattformen beschäftigt sind,
- 32:10Thomas Lohninger: alles, was eben über die klassischen Apps bezogene Arbeitsleistung ist, mehr oder weniger,
- 32:18Thomas Lohninger: hier auf jeden Fall davon enthalten ist.
- 32:20Thomas Lohninger: Und die Gewerkschaften jubeln hier auf jeden Fall.
- 32:23Thomas Lohninger: Man sollte anmerken, dass schon vor dem Konflikt, den Ralf gerade genannt hat,
- 32:28Thomas Lohninger: es hier eine Abschwächung gab zwischen dem, was das Parlament verabschiedet hat.
- 32:33Thomas Lohninger: Da hätte es so einheitliche Kriterien gegeben, ab wann du denn jetzt wirklich
- 32:37Thomas Lohninger: angenommener fixer Angestellter von dieser Plattform bist. ist.
- 32:42Thomas Lohninger: Und diese Kriterien gibt es jetzt aber leider nicht mehr. Nur noch Prinzipien,
- 32:46Thomas Lohninger: aber da gibt es dann Umsetzung, Spielraum.
- 32:49Thomas Lohninger: Das hier ist ja eine Richtlinie, die muss erst in nationales Recht überführt werden.
- 32:52Thomas Lohninger: Und das wird zu einem Fleckerteppich führen, wo einfach in unterschiedlichen
- 32:56Thomas Lohninger: Ländern unterschiedliche Kriterien gelten.
- 32:59Thomas Lohninger: Und das ist für das Land kann das immer noch gut sein, wenn man jetzt hier es
- 33:03Thomas Lohninger: schafft, Druck zu machen.
- 33:04Thomas Lohninger: Aber es gibt kein europaeinheitliches Niveau, ab wann der Uber-Treiber,
- 33:09Thomas Lohninger: der Uber-Fahrer könnte jetzt zum Beispiel in Deutschland Status A haben und
- 33:13Thomas Lohninger: in Österreich Status B zum Beispiel.
- 33:16Ralf Bendrath: Es gibt sogar, habe ich jetzt gelernt, keine einheitliche Definition von was
- 33:20Ralf Bendrath: Work, also Arbeit, eigentlich genau bedeutet, weil das anscheinend EU-weit bisher
- 33:24Ralf Bendrath: nicht harmonisiert ist und die Mitgliedstaaten wohl darauf bestanden haben,
- 33:28Ralf Bendrath: dass Arbeitsrecht und sowas weiterhin nationale Kompetenz ist.
- 33:32Tim Pritlove: Das könnte die Sache ein bisschen schwierig machen, oder?
- 33:36Ralf Bendrath: Ja, wie Thomas sagt, das wird einen Flickenteppich geben, aber besser so ein
- 33:40Ralf Bendrath: Flickenteppich als gar keine Rechte für die Plattformarbeiter, ganz klar.
- 33:43Ralf Bendrath: Was ich gerade noch gesehen habe hier im Briefing der Kollegin ist,
- 33:46Ralf Bendrath: dass die Plattformen auch jetzt Kommunikationskanäle bereitstellen müssen,
- 33:50Ralf Bendrath: damit die Plattformarbeitenden untereinander kommunizieren können,
- 33:53Ralf Bendrath: zum Beispiel um Betriebsräte zu gründen oder sowas.
- 33:55Tim Pritlove: Ah ja. Okay, aber das sind so einfach mal so die typischen Tages,
- 33:59Tim Pritlove: weil das erste Beispiel mit diesem Mechanical Turk, da denkt man ja dann gleich
- 34:03Tim Pritlove: irgendwie Amazon und Ausland und so.
- 34:05Ralf Bendrath: Aber… Amazon hat eine Niederlassung in Europa.
- 34:07Tim Pritlove: Ja klar, aber diese Mechanical Turks sind ja sozusagen traditionell sehr weit
- 34:14Tim Pritlove: über den Planeten verstreut gewesen,
- 34:17Tim Pritlove: aber es ist natürlich klar, dass jetzt vor allem so Lieferdienste,
- 34:20Tim Pritlove: was Thomas schon sagte oder eben sowas wie Uber,
- 34:23Tim Pritlove: davon dann vermutlich auch betroffen sein wird.
- 34:28Tim Pritlove: Nur, dass man es mal zuordnen kann, was davon wirklich dann tangiert ist.
- 34:32Tim Pritlove: Weil Plattform ist ja dann ein dehnbarer Begriff.
- 34:37Thomas Lohninger: Was mal konkret, ist Onlyfans davon betroffen?
- 34:41Tim Pritlove: Du hast Sorgen.
- 34:44Thomas Lohninger: Sag ja nur.
- 34:46Ralf Bendrath: Vermutlich schon. Ich meine, Sexarbeit ist auch Arbeit.
- 34:50Tim Pritlove: Ja, stimmt. Sind die da nicht alle selbstständig?
- 34:56Thomas Lohninger: Was man vielleicht einfach noch vermelden sollte oder dazu sagen ist,
- 35:00Thomas Lohninger: dass das auf jeden Fall ein Schritt in die richtige Richtung ist.
- 35:02Thomas Lohninger: Und ich glaube auch, dass da die Gewerkschaften schon einen wichtigen Schritt tun,
- 35:07Thomas Lohninger: weil gerade freie DienstnehmerInnen oder Selbstständige waren ja oft auch bei
- 35:12Thomas Lohninger: den klassischen Arbeitsrechten diejenigen, die durch die Finger geschaut haben
- 35:16Thomas Lohninger: und nicht mal repräsentiert wurden.
- 35:18Thomas Lohninger: Und denen einfach hier zu einem besseren Status zu verhelfen, ist auf jeden Fall gut.
- 35:23Thomas Lohninger: Und Und zuletzt nochmal jetzt dadurch, dass das auf diese Art jetzt irgendwie
- 35:27Thomas Lohninger: durchgegangen ist, es zeigt auch irgendwie schön, dass die Achse Deutschland-Frankreich
- 35:31Thomas Lohninger: alleine dann doch nicht verhindern kann.
- 35:34Thomas Lohninger: Und dass sich alle anderen Staaten hier schon darauf einigen konnten.
- 35:39Thomas Lohninger: Also da kann man den Liberalen wahrscheinlich danken, die in Deutschland die.
- 35:43Thomas Lohninger: Zustimmung verhindern und in Frankreich ja an der Regierung sind.
- 35:48Ralf Bendrath: Ja, aber das kann man vielleicht nochmal kurz ein bisschen vertiefen,
- 35:51Ralf Bendrath: Weil das ist echt ein Problem inzwischen mit diesem sogenannten German Vote,
- 35:55Ralf Bendrath: was in Brüssel hier inzwischen alle kennen.
- 35:57Ralf Bendrath: Und das ist einfach ein Fehler im Koalitionsvertrag in Berlin.
- 36:00Ralf Bendrath: Das gibt es ja oft auch in Landesregierungen oder Landeskoalitionsverträgen,
- 36:03Ralf Bendrath: dass da drin steht, wenn die Regierungsparteien sich nicht einigen können auf
- 36:06Ralf Bendrath: irgendeine Sache, enthalten sie sich im Bundesrat.
- 36:09Ralf Bendrath: So, im Bundesrat reicht aber normalerweise eine einfache Mehrheit,
- 36:12Ralf Bendrath: um ein Gesetz zu beschließen.
- 36:14Ralf Bendrath: Rat der Minister der Europäischen Union brauchst du eine qualifizierte Mehrheit.
- 36:19Ralf Bendrath: Da brauchst du irgendwie 72 Prozent der Mitgliedstaaten und die 65 Prozent der
- 36:25Ralf Bendrath: europäischen Bevölkerung repräsentieren. Ich glaube, so in der Größenordnung.
- 36:29Ralf Bendrath: Und das heißt aber dann, eine Enthaltung ist dann genauso scheiße wie ein Dagegenstimmen,
- 36:34Ralf Bendrath: weil einfach diese qualifizierte Mehrheit nicht zustande kommt.
- 36:37Ralf Bendrath: Das heißt also, wenn die FDP als kleinster 4-Prozent-Koalitionspartner in Berlin
- 36:41Ralf Bendrath: sagt, wir sind dagegen, dann muss die Regierung sich enthalten,
- 36:43Ralf Bendrath: laut Koalitionsvertrag, und arbeite dann aber aktiv gegen so ein Gesetz und
- 36:48Ralf Bendrath: enthält sich nicht nur einfach so, ne?
- 36:51Tim Pritlove: Das nennt man German Vote?
- 36:52Ralf Bendrath: Ja, weil das einfach jetzt in ganz vielen Gesetzen passiert,
- 36:55Ralf Bendrath: dass die Deutschen sich enthalten und damit dazu beitragen, dass vielleicht
- 36:58Ralf Bendrath: eine qualifizierte Mehrheit nicht zustande kommt, weil die FDP dagegen ist.
- 37:02Ralf Bendrath: Hätte, hätte, Lieferkette.
- 37:04Tim Pritlove: Und das ist sozusagen ein Konstruktionsfehler im Koalitionsvertrag,
- 37:08Tim Pritlove: dass man es für Europa nicht anders geregelt hat.
- 37:10Ralf Bendrath: Genau. Und das ist auch ein Konstruktionsfehler im Bundeskanzleramt, würde ich mal sagen.
- 37:14Ralf Bendrath: Also unter Merkel wäre das nicht so durchgegangen, weil das einfach massiv die
- 37:18Ralf Bendrath: deutsche Rolle auch in der Europäischen Union untergräbt.
- 37:22Ralf Bendrath: Also Deutschland, auch bis zu Merkel und so, war immer eigentlich dafür bekannt,
- 37:25Ralf Bendrath: dass man versucht hat, einen Ausgleich zu finden zwischen den Mitgliedstaaten,
- 37:28Ralf Bendrath: dass man nicht so selber mit dicken, ausgefahrenen Ellenbogen in den Verhandlungen
- 37:31Ralf Bendrath: reingegangen ist und einfach versucht hat, den Laden zusammenzuhalten.
- 37:35Ralf Bendrath: Idealerweise gemeinsam mit Frankreich. Und wenn jetzt dank der FDP die Deutschen
- 37:39Ralf Bendrath: da immer so rumpoltern müssen und immer sagen,
- 37:41Ralf Bendrath: wir sind aber dagegen de facto und im Zweifelsfall so ein Gesetz blockieren,
- 37:46Ralf Bendrath: weil dann kommen natürlich viele kleinere Mitgliedstaaten auch oder auch Frankreich
- 37:49Ralf Bendrath: dann, die sich hinter Deutschland dann verstecken.
- 37:51Ralf Bendrath: Und das ist einfach echt ziemlich bitter.
- 37:54Ralf Bendrath: Und wie gesagt, in Brüssel schon bekannt als The German Vote.
- 37:57Tim Pritlove: Annika, du hast da noch was zu sagen?
- 37:59Arnika Zinke: Nein, ich wollte nur sagen, dass genau wie Ralf das angesprochen hatte,
- 38:03Arnika Zinke: wenn natürlich Deutschland und Frankreich beide sagen, sie sind dagegen oder
- 38:07Arnika Zinke: einer enthält sich, der andere ist dagegen, dann kreiert das einen Effekt auch
- 38:11Arnika Zinke: bei den anderen Mitgliedstaaten.
- 38:12Arnika Zinke: Das heißt, die überlegen sich dann schon, vielleicht sollten wir doch dagegen
- 38:15Arnika Zinke: stimmen oder schauen wir uns das nochmal genauer an, warum denn die zwei Großen da dagegen stimmen.
- 38:19Arnika Zinke: Und wir hatten das Problem auch in dem KI-Gesetz letztlich, dass wegen Deutschland
- 38:23Arnika Zinke: und wegen der FDP das Gesetz und die Abstimmung im Rat auf der Kippe gestanden sind.
- 38:29Ralf Bendrath: Wegen Deutschland und Frankreich.
- 38:33Thomas Lohninger: Ja, zitiere ich dann nochmal den griechischen Arbeitsminister von den Konservativen.
- 38:39Thomas Lohninger: Da wir im Geist von Kompromiss und europäischer Einheit arbeiten wollen,
- 38:44Thomas Lohninger: werden wir die Richtlinie unterstützen. Sehr schön.
- 38:48Thomas Lohninger: Und ja, das obliegt dann wirklich den Regierungen oder eben den Koalitionsabkommen,
- 38:53Thomas Lohninger: wie das genau gehandhabt wird. In Österreich ist es zum Beispiel in der aktuellen
- 38:57Thomas Lohninger: Regierung so, dass man sich da bewusst nicht abstimmt.
- 39:00Thomas Lohninger: Also hat man auch wegen Klimaschutz gemacht, dass da sozusagen die grüne Klimaministerin
- 39:06Thomas Lohninger: sich austoben kann, ohne dass hier irgendjemand reinredet, was die Ratspositionen betrifft.
- 39:11Thomas Lohninger: Ist dann aber zum Beispiel bei Überwachungsthemen unter Umständen sehr negativ,
- 39:15Thomas Lohninger: wenn du keinen Ausgleich hast und das dann der konservative Innenminister selber
- 39:19Thomas Lohninger: alles entscheiden kann. Aber ja, das ist Europa.
- 39:22Ralf Bendrath: In Deutschland ist es so, die SPD-Innenministerin entscheidet das Asylpaket
- 39:27Ralf Bendrath: mit und die Grünen schlucken es.
- 39:31Ralf Bendrath: Naja, anderes Thema.
- 39:33Tim Pritlove: Okay, aber soviel jetzt zur Platform Workers Directive. Jetzt gibt es demnächst
- 39:38Tim Pritlove: Porno-Betriebsräte, das ist doch super.
- 39:42Tim Pritlove: So, ein weiteres Thema noch vor dem AI-Act hast du noch für uns,
- 39:48Tim Pritlove: nämlich die Health-Plattform, nein, wie heißt es, Entschuldigung.
- 39:52Thomas Lohninger: European Health Data Space.
- 39:54Tim Pritlove: Der European Health Data Space, korrekt.
- 39:57Thomas Lohninger: Genau, das hast du verhandelt. Also, worum geht es dabei? Ich glaube,
- 40:00Thomas Lohninger: das hatten wir in Ansätzen, aber give us the primal.
- 40:03Ralf Bendrath: Ja, das ist auch wieder ein Gesetzesvorschlag,
- 40:06Ralf Bendrath: der in zwei Ausschüssen gleichberechtigt verhandelt wird.
- 40:09Ralf Bendrath: In meinem Ausschuss Liebe, also Civil Liberties, Justice and Home Affairs,
- 40:12Ralf Bendrath: wegen der Datenschutzkomponente und Gesundheit- und Umweltausschuss wegen Gesundheit, Gesundheitsdaten.
- 40:21Ralf Bendrath: Und das ist kurz vorm Abschluss. Morgen Nacht soll der letzte Trilog,
- 40:24Ralf Bendrath: also die letzte Verhandlungsrunde zwischen Rat, Parlament und Kommission stattfinden.
- 40:29Ralf Bendrath: Das Ding hat im Prinzip zwei Elemente. Ist natürlich viel komplizierter,
- 40:34Ralf Bendrath: aber hat im Prinzip zwei Elemente. Das eine ist Regeln für primäre Nutzung von
- 40:38Ralf Bendrath: Gesundheitsdaten und das andere ist für sekundäre Nutzung.
- 40:42Ralf Bendrath: Primäre Nutzung heißt, wenn mein Arzt meine Patientenakte Akte irgendwie lokal
- 40:49Ralf Bendrath: auf dem Rechner schon elektronisch vorhält,
- 40:51Ralf Bendrath: dann soll er oder sie die in der Regel auch vernetzt bereitstellen,
- 40:57Ralf Bendrath: damit wenn ich dann zu einem anderen Arzt gehe oder zu einer anderen Ärztin
- 40:59Ralf Bendrath: oder ins Krankenhaus oder so, die auch Zugriff auf die gesamte Akte haben und
- 41:03Ralf Bendrath: das eben besser nutzen können, um mich besser zu behandeln, weil die dann auch
- 41:06Ralf Bendrath: Vorerkrankungen und vorherige Behandlungen und sowas direkt sehen können.
- 41:09Ralf Bendrath: Macht irgendwie Sinn, das gibt es hier zum Beispiel in Belgien auch.
- 41:14Ralf Bendrath: Da Da sind viele Leute auch ganz glücklich drüber. Da kann man auch selber mit
- 41:17Ralf Bendrath: der App auf dem Smartphone irgendwie
- 41:18Ralf Bendrath: gucken, was ist eigentlich gerade in meiner Patientenakte so los?
- 41:21Ralf Bendrath: Dann kann ich die Sachen auch selber mal rauspulen und angucken und so.
- 41:24Ralf Bendrath: Da war lange der Streit, braucht es dazu ein Opt-in? Also müssen die Leute einwilligen,
- 41:29Ralf Bendrath: damit es elektronisch vernetzt verfügbar gemacht wird?
- 41:33Ralf Bendrath: Oder ist es generell bei Default so und man soll vielleicht nur widersprechen können?
- 41:37Ralf Bendrath: In Deutschland ist, glaube ich, aktuell der Stand, dass es immer noch ein Opt-in
- 41:40Ralf Bendrath: ist, aber das soll jetzt umgestellt werden auf Opt-out unter lauter Wacht,
- 41:43Ralf Bendrath: damit mehr Leute die elektronische Patientenakte nutzen.
- 41:46Ralf Bendrath: Und das Gesundheitswesen sozusagen effektiver ist. Das Ergebnis hier ist im
- 41:51Ralf Bendrath: Prinzip das gleiche. Es bleibt erstmal so vorgesehen, dass es per Default in
- 41:55Ralf Bendrath: eine vernetzte elektronische Gesundheitsakte kommt.
- 41:58Ralf Bendrath: Die Mitgliedstaaten können dann selber aber noch entscheiden,
- 42:01Ralf Bendrath: ob sie ein Opt-out ermöglichen wollen oder nicht.
- 42:05Ralf Bendrath: So, das ist eigentlich noch relativ unproblematisch. Da gab es dann so ein bisschen
- 42:08Ralf Bendrath: Missverständnisse in den Verhandlungen, weil die Leute, die Belgier hier von
- 42:11Ralf Bendrath: der Ratspräsidentschaft, haben erst gedacht, wenn man da widerspricht,
- 42:14Ralf Bendrath: heißt das, dass der Arzt gar nicht mehr meine Akten elektronisch führen kann,
- 42:17Ralf Bendrath: sondern wieder auf Papier zurück muss.
- 42:19Ralf Bendrath: Das war natürlich dann so, nee, Quatsch. Natürlich kann der Arzt seinen lokalen
- 42:22Ralf Bendrath: Rechner haben. Wir sind 2024 heutzutage.
- 42:27Ralf Bendrath: Nur die sollen nicht vernetzt sein.
- 42:29Ralf Bendrath: Wenn man als Patient vielleicht besondere Sicherheitsbedürfnisse hat,
- 42:32Ralf Bendrath: weil man auch mal eine psychologische Behandlung hatte oder andere Sachen oder
- 42:35Ralf Bendrath: eine Abtreibung oder so, will man einfach, dass das nur beim Arzt in der Praxis
- 42:39Ralf Bendrath: liegt und nicht vernetzt ist.
- 42:40Ralf Bendrath: Nicht irgendwie vielleicht auch sogar Angreifer da rangehen können oder so mit
- 42:44Ralf Bendrath: IT-Sicherheitslücken. Obwohl, die sind ja jetzt alle weg mit dem Cyber-Resilienz-Experiment.
- 42:48Tim Pritlove: Gott sei Dank.
- 42:49Ralf Bendrath: So, das ist das erste, primäre Nutzung.
- 42:52Ralf Bendrath: Das zweite ist die sekundäre Nutzung und das ist für uns das Riesenproblem,
- 42:57Ralf Bendrath: weil es gibt eigentlich jetzt seit über 2400 Jahren den hypokratischen Eid,
- 43:01Ralf Bendrath: den Ärzte ablegen müssen und der beinhaltet unter anderem die ärztliche Schweigepflicht
- 43:07Ralf Bendrath: oder das Patientengeheimnis.
- 43:09Ralf Bendrath: Dass einfach das, was ich mit meinem Arzt bespreche, zwischen uns bleibt und
- 43:13Ralf Bendrath: ich darauf vertrauen kann.
- 43:14Ralf Bendrath: Was jetzt hier vorgesehen ist, ist, dass die Gesundheitsdaten,
- 43:18Ralf Bendrath: sofern sie vernetzt verfügbar sind, auch für andere Zwecke genutzt werden können.
- 43:23Ralf Bendrath: Das geht dann vor allem um Forschung. Natürlich Big Pharma hat da auch ein Rieseninteresse
- 43:28Ralf Bendrath: dran, aber auch öffentliches Gesundheitsmanagement, zum Beispiel in Zeiten von
- 43:32Ralf Bendrath: Pandemien, Infektionstracing, solche Geschichten, was ja teilweise die Gesundheitsämter
- 43:37Ralf Bendrath: auch heute schon machen.
- 43:38Ralf Bendrath: Es gibt ja Sachen, wo die ärztliche Schweigepflicht unterbunden wird durch Gesetz,
- 43:42Ralf Bendrath: bei meldepflichtigen Krankheiten und so, wie es zum Beispiel Corona auch war.
- 43:47Ralf Bendrath: Und da war jetzt aber die Riesenfrage bis zum Schluss oder ist immer noch,
- 43:50Ralf Bendrath: das Parlament wollte hier aber dann mindestens sagen, dann sollen die Leute
- 43:53Ralf Bendrath: aber zumindest ein Widerspruchsrecht haben.
- 43:55Ralf Bendrath: Dass ich sagen kann, meine Patientendaten sollen bitte für Forschung oder so
- 43:59Ralf Bendrath: nicht bereitgestellt werden.
- 44:03Ralf Bendrath: Die Mitgliedstaaten haben jetzt, die belgische Ratspräsidentschaft hat wirklich
- 44:06Ralf Bendrath: versucht, das irgendwie zu berücksichtigen.
- 44:09Ralf Bendrath: Das war für das Parlament sozusagen die eine große rote Linie die ganze Zeit.
- 44:12Ralf Bendrath: Wir haben ganz viele andere kleinere Sachen aufgegeben, um dieses Opt-out zu
- 44:15Ralf Bendrath: kriegen für sekundäre Nutzung.
- 44:18Ralf Bendrath: Aber die Mitgliedstaaten stellen sich jetzt auf stur und sagen,
- 44:20Ralf Bendrath: nö, wir wollen einfach alle Daten und man kann gerne ein Opt-out machen,
- 44:24Ralf Bendrath: aber dann gibt es für die Mitgliedstaaten dann das Recht, wieder das Opt-out zu überschreiben.
- 44:29Ralf Bendrath: Also das gilt dann einfach nicht. Und das sind dann auch für Zwecke,
- 44:32Ralf Bendrath: wo ich mich frage, braucht es dazu wirklich immer alle Daten?
- 44:37Ralf Bendrath: Unter anderem für öffentliche Institutionen, die ein Mandat im Bereich der öffentlichen
- 44:44Ralf Bendrath: Gesundheit haben oder sogar private Institutionen, die eine Aufgabe im Bereich
- 44:48Ralf Bendrath: der öffentlichen Gesundheit haben.
- 44:50Ralf Bendrath: Gut, da könnte man vielleicht noch drüber streiten, ob man das ein bisschen
- 44:53Ralf Bendrath: enger fasst und dann ist es vielleicht noch akzeptabel.
- 44:55Ralf Bendrath: Der Parlamentsvorschlag war jetzt, dass man das nur in Situationen von öffentlicher
- 44:59Ralf Bendrath: medizinischer Notlage oder Notlage der öffentlichen Gesundheit machen kann.
- 45:03Ralf Bendrath: So eine ähnliche Regelung haben wir schon im Data Act zum Beispiel.
- 45:06Ralf Bendrath: Dann wollen sie aber auch noch alle möglichen Research, medizinische Produktentwicklung
- 45:11Ralf Bendrath: medizinische Geräteentwicklung also die haben sie bisher auch so entwickeln
- 45:15Ralf Bendrath: können ohne dass man von allen Patienten die Daten abgegriffen hat und das letzte ist auch Statistiken.
- 45:21Ralf Bendrath: Nationale, multinationale und EU-Level offizielle Statistiken ich meine Statistiker
- 45:26Ralf Bendrath: können seit über 100 Jahren mit unvollständigen Datensätzen umgehen,
- 45:30Ralf Bendrath: das ist deren Job da dann irgendwie die Bias so rauszurechnen,
- 45:35Ralf Bendrath: Ja, so sieht es aus. Das ist das letzte Angebot, was die Kommission jetzt auf
- 45:38Ralf Bendrath: den Tisch vorgelegt hat als Quote-Unquote-Kompromiss.
- 45:42Ralf Bendrath: Das geht morgen Abend in den letzten Trilog. Heute war nochmal ein Treffen der
- 45:47Ralf Bendrath: Schattenberichterstatter vom Parlament von den verschiedenen Fraktionen.
- 45:50Ralf Bendrath: Und es sieht so aus, dass die Mehrheit, zumindest eine Mehrheit aus EVP,
- 45:56Ralf Bendrath: EKR, also die europakritischeren Konservativen und Sozialdemokraten,
- 46:02Ralf Bendrath: das so akzeptieren will.
- 46:04Ralf Bendrath: Und im Prinzip alles aufgibt, was wir die ganze Zeit gesagt haben.
- 46:07Ralf Bendrath: Hier, wir geben euch die ganzen anderen Sachen nur, wenn wir dieses eine Opt-out
- 46:10Ralf Bendrath: kriegen, aber dann auch richtig.
- 46:12Ralf Bendrath: Und am Ende werden wohl nur die Grünen und die Linken dagegen stimmen.
- 46:16Ralf Bendrath: ID ist noch ein bisschen unklar. Die würden normalerweise als gute Populisten
- 46:20Ralf Bendrath: auch irgendwie auf den Zug aufspringen und sagen, da sind wir dagegen.
- 46:23Ralf Bendrath: Wir verkaufen nicht unsere Gesundheitsdaten an Big Pharma.
- 46:25Ralf Bendrath: Aber die haben zufälligerweise die Berichterstatterin, Liebe Ausschuss,
- 46:30Ralf Bendrath: weil das sonst niemand wollte.
- 46:31Ralf Bendrath: Und das ist per Dehont bei denen gelandet. Und da sehe ich jetzt nicht,
- 46:34Ralf Bendrath: dass die da großen Rückzieher macht, wenn sie selber Co-Berichterstatterin ist. ist.
- 46:38Ralf Bendrath: Aber verhandelt wurde es im Prinzip alles von dem EVP Berichterstatter im Umwelt-
- 46:42Ralf Bendrath: und Gesundheitsausschuss.
- 46:46Ralf Bendrath: Ja, das ist das. Morgen Abend geht das den Bach runter.
- 46:49Thomas Lohninger: Ja, noch nicht. Also gibt man einen Brief, aber ich wiederhole jetzt nochmal oder fasse zusammen.
- 46:55Thomas Lohninger: Also wir haben ein EU-Gesetz, das die Digitalisierung von allen Patientinnenakten
- 47:00Thomas Lohninger: und wahrscheinlich auch sonstigen.
- 47:03Thomas Lohninger: Gesundheitsbezogenen Daten aus dem in Krankenhäusern, Arztpraxen und sonstigen
- 47:08Thomas Lohninger: Einrichtungen miteinander vernetzt.
- 47:10Thomas Lohninger: Opt-out oder Opt-in kann es geben, wenn der Mitgliedstaat das vorsieht für diese Primärnutzung.
- 47:16Thomas Lohninger: Aber bei der Sekundärnutzung, die eigentlich ja die kritischere ist,
- 47:20Thomas Lohninger: weil da geht es nicht nur um das Gesundheitssystem, sondern da geht es um Forschung.
- 47:24Thomas Lohninger: Und das heißt auch pharmakologische Forschung. Das heißt auch,
- 47:28Thomas Lohninger: dass hier ganz viele andere Interessenträger auf einmal Zugriff auf sehr sensible Daten bekommen.
- 47:33Thomas Lohninger: Wir haben auch schon mehrmals diskutiert, dass solche Gesundheitsdaten sehr
- 47:39Thomas Lohninger: schwer bis gar nicht zu anonymisieren sind, weil das ist einfach sehr einzigartig bei Menschen.
- 47:46Thomas Lohninger: Wenn ich als Arbeitgeber weiß, wenn du im Krankenstand bist,
- 47:49Thomas Lohninger: wenn du geimpft wurdest oder du das auf Social Media postest,
- 47:51Thomas Lohninger: finde ich dich wieder in diesen Datensets.
- 47:53Thomas Lohninger: Es gibt dazu auch eine Klage meines Wissens von der GFF,
- 47:58Thomas Lohninger: die da auch in Deutschland höchstgerichtlich dagegen vorgehen,
- 48:02Thomas Lohninger: gegen diese Sekundärnutzung anhand von einem Menschen, der halt sehr einzigartige
- 48:07Thomas Lohninger: Blutwerte oder sonstige Werte hat und da auch sehr leicht zu reidentifizieren ist.
- 48:13Thomas Lohninger: Das halte ich für eine ganz große Gefahr. Das ist vielleicht auch nochmal zu
- 48:17Thomas Lohninger: sagen, das hier ist so eine sogenannte Lex Spezialis zur DSGVO, oder?
- 48:22Thomas Lohninger: Das etabliert eine Ausnahme von unserem Grundrecht auf Datenschutz für diesen eigenen Bereich hier.
- 48:29Thomas Lohninger: Und ich meine...
- 48:32Thomas Lohninger: Also morgen wird das sozusagen, kannst du da vielleicht auch mal aus dem Nähkästchen
- 48:37Thomas Lohninger: plaudern, wie läuft denn sowas ab, so eine Trilog-Sitzung, also wie viele Leute
- 48:41Thomas Lohninger: sind da im Raum, wie lange wird da verhandelt, was erwartet dich da morgen?
- 48:47Ralf Bendrath: Morgen könnte es relativ schnell gehen. Also der letzte Trilog letzten Donnerstagabend,
- 48:52Ralf Bendrath: der hat um 18 Uhr angefangen, war ungefähr morgens um fünf zu Ende ohne Ergebnis,
- 48:56Ralf Bendrath: weil das Parlament da noch die Linie gehalten hat.
- 48:59Ralf Bendrath: Und jetzt haben aber alle Fraktionen intern nochmal geguckt,
- 49:02Ralf Bendrath: sind wir noch ein bisschen flexibler oder so. Die Mitgliedstaaten dagegen haben nicht geguckt.
- 49:06Ralf Bendrath: Es gab heute noch mal Sitzung der Botschafter.
- 49:09Ralf Bendrath: Da war das Thema gar nicht auf der Tagesordnung.
- 49:12Ralf Bendrath: Also die Belgier haben gar nicht erst versucht, noch mehr Flexibilität für sich
- 49:15Ralf Bendrath: selber zu kriegen, sondern haben nur gesagt, hier, liebes Parlament,
- 49:17Ralf Bendrath: wenn ihr noch mal flexibler werdet, dann können wir es nächste Woche noch mal versuchen.
- 49:20Ralf Bendrath: Weil morgen ist sozusagen die letzte Deadline, um vor der Europawahl noch ein Gesetz abzuschließen.
- 49:26Ralf Bendrath: Weil das dann alles noch irgendwie sprachlich aufgeräumt werden und noch abgestimmt
- 49:29Ralf Bendrath: werden muss und so weiter.
- 49:30Ralf Bendrath: Also morgen kann es relativ schnell gehen. Da sitzt dann normalerweise der belgische
- 49:36Ralf Bendrath: Minister, Gesundheitsminister, die Berichterstatter vom Parlament,
- 49:40Ralf Bendrath: vielleicht noch ein Vorsitzender oder Vize-Vorsitzender vom Umweltausschuss.
- 49:45Ralf Bendrath: Der Vorsitzende vom Innenausschuss kommt zu solchen Verhandlungen nie,
- 49:49Ralf Bendrath: obwohl das könnte. Das ist aber ganz gut so, weil der ist immer so ein bisschen verwirrt.
- 49:53Ralf Bendrath: Der könnte da nur Unsinn reinbringen. Und dann sitzen da halt noch die Kommission,
- 49:57Ralf Bendrath: das ist dann wahrscheinlich die Kommissarin,
- 49:59Ralf Bendrath: Kiria Kiedis, die Gesundheitskommissarin, und alle Fraktionen,
- 50:02Ralf Bendrath: manche mit Abgeordneten richtig vertreten, viele aber, weil jetzt gerade Straßburg-Woche
- 50:07Ralf Bendrath: war und die schon längst ihre Flüge nach Hause gebucht hatten in die ganzen
- 50:10Ralf Bendrath: Mitgliedstaaten und so, die werden jetzt nicht morgen alle nach Brüssel fahren.
- 50:13Ralf Bendrath: Also von uns wird auch keiner dabei sein, weil die alle Verpflichtungen schon woanders hatten.
- 50:17Ralf Bendrath: Aber dann sitze halt ich da mit meiner Kollegin aus dem Umwelt- und Gesundheitsausschuss,
- 50:21Ralf Bendrath: unserem digitalen Koordinator, der Nachfolger von Arneka an dem Job,
- 50:25Ralf Bendrath: Francesco, noch ein paar Abgeordneten, Mitarbeitende.
- 50:29Ralf Bendrath: Juristische Dienste sind da immer vertreten, oft auch die Sprachjuristen. Das sind dann so...
- 50:36Ralf Bendrath: 20 bis 30 Leute vielleicht in so einem Setting. Und reden tun aber eigentlich
- 50:41Ralf Bendrath: nur der Rapporteur, also der Berichterstatter,
- 50:44Ralf Bendrath: in diesem Fall eigentlich in der Regel der ENVI, also Gesundheits- und Umweltausschuss-Rapporteur
- 50:49Ralf Bendrath: von den Konservativen, der belgische Minister und die Kommissarin. darin.
- 50:54Ralf Bendrath: Und dann gibt es manchmal so Punkte, wo man dann sagt, okay,
- 50:58Ralf Bendrath: das Parlament muss sich mal kurz zurückziehen,
- 51:01Ralf Bendrath: dann gibt es nebenan irgendeinen sogenannten Breakout-Room, wo dann sogar so
- 51:05Ralf Bendrath: ein Patrick Breyer zum Beispiel, der das für uns auf der Datenschutzseite macht,
- 51:07Ralf Bendrath: sich online dazuschalten kann und dann wird halt intern in einer Parlamentsdelegation
- 51:13Ralf Bendrath: beraten, okay, Leute, wir haben jetzt hier ein neues Angebot von den Belgiern,
- 51:16Ralf Bendrath: können wir das irgendwie mittragen oder ist das immer noch nicht gut genug,
- 51:20Ralf Bendrath: können wir einen Gegenvorschlag machen oder so.
- 51:22Ralf Bendrath: Und dann müssen halt sozusagen die Fraktionen der Reihe nach sagen,
- 51:24Ralf Bendrath: wie weit sie gehen können.
- 51:26Ralf Bendrath: Und dann muss der Berichterstatter gucken, wie er damit umgeht,
- 51:28Ralf Bendrath: ob er jetzt eine Mehrheit findet für den Kompromiss oder nicht.
- 51:32Ralf Bendrath: Manchmal gibt es auch Situationen, wo der Berichterstatter einfach sagt,
- 51:34Ralf Bendrath: ich habe jetzt hier keine klare Mehrheit, ich lasse es einfach darauf ankommen.
- 51:38Ralf Bendrath: Wir nehmen das Ding jetzt mal so an und gehen damit in die Ausschüsse und dann
- 51:40Ralf Bendrath: ins Plenum und gucken, ob wir eine Mehrheit kriegen. Das ist aber eher selten.
- 51:45Ralf Bendrath: Das kann aber teilweise bei komplexeren Gesetzen, hier sind jetzt noch ein paar
- 51:48Ralf Bendrath: Fragen offen, unter anderem auch die Frage der Lokalisierung,
- 51:52Ralf Bendrath: weil das EP die Daten in Europa speichern wollte und nicht irgendwo auswärts.
- 51:56Ralf Bendrath: Und der Rat sagt aber, nee, nach DSPVO kann man die doch auch in den USA transferieren,
- 52:00Ralf Bendrath: weil da gibt es ja eine Angemessenheitsentscheidung und so. Also das sind aber
- 52:03Ralf Bendrath: nur vier, fünf Punkte, die noch offen sind.
- 52:06Ralf Bendrath: Die kann man morgen relativ schnell abkaspern, weil eigentlich fast alle außer
- 52:10Ralf Bendrath: uns und den Linken schon angedeutet haben heute Morgen, dass sie da mitgehen können.
- 52:15Ralf Bendrath: Es gibt auch andere Beispiele. Da können wir vielleicht gleich zum AI-Act noch
- 52:18Ralf Bendrath: was zu erzählen, weil da haben wir, glaube ich, den bisher längsten Trilog gehabt.
- 52:21Ralf Bendrath: Der hat insgesamt 39 Stunden gedauert.
- 52:25Thomas Lohninger: Darauf kommen wir gleich. Aber ich will nur kurz innehalten,
- 52:28Thomas Lohninger: dass das so kurz vor einer Europawahl ziemlicher Wahnsinn ist,
- 52:31Thomas Lohninger: als hier eine Massenenteilung von Gesundheitsdaten irgendwie auf den Weg zu
- 52:35Thomas Lohninger: bringen. Also eigentlich müsste das doch morgen scheitern.
- 52:39Thomas Lohninger: Und wenn es das nicht im Trilog tut, dann hätte man nur noch die Chance,
- 52:42Thomas Lohninger: das im Plenum in zweiter Lesung zu verhindern, oder?
- 52:46Ralf Bendrath: In erster Lesung. Wir sind noch im First Reading Procedure. Es geht dann also
- 52:50Ralf Bendrath: jetzt Ende April ins Plenum, ja. Das letzte Plenum vor der Europawahl.
- 52:54Ralf Bendrath: Da könnte man noch einen Antrag stellen, das muss man gar nicht,
- 52:57Ralf Bendrath: man kann auch dagegen stimmen.
- 52:58Ralf Bendrath: Und wenn eine Mehrheit der Abgeordneten dagegen stimmt, dann ist es tot,
- 53:01Ralf Bendrath: klar. Aber das sehe ich einfach nicht.
- 53:03Ralf Bendrath: Aber macht gerne Kampagne. Wir sind dabei.
- 53:07Tim Pritlove: Vielleicht hilft ja die German Vote am Ende.
- 53:11Ralf Bendrath: Nee, in dem Fall hat Deutschland damit kein Problem.
- 53:14Tim Pritlove: Okay.
- 53:17Ralf Bendrath: Das war eher so, dass man irgendwie dann aus Verhandlerkreisen im Rat hört,
- 53:21Ralf Bendrath: dass die deutschen Vertreter oder Vertreterinnen einer Ratsarbeitsgruppe, das ist ja SPD,
- 53:25Ralf Bendrath: Lauterbach, Gesundheitsminister, dass die sich dann abschätzig über den Bundesdatenschutzbeauftragten
- 53:31Ralf Bendrath: Ulrich Kelber äußern, der auch SPD-Mitglied ist, weil die sich anscheinend mit
- 53:35Ralf Bendrath: dem inzwischen so überworfen haben, dass sie über ihn nur noch schlecht reden können.
- 53:40Ralf Bendrath: Also unsäglich.
- 53:44Ralf Bendrath: Vielleicht noch kurz eine Klarstellung, damit das nicht in den falschen Hals kommt.
- 53:48Ralf Bendrath: Es ist schon so, das muss man auch anerkennen, dass die Daten,
- 53:51Ralf Bendrath: wenn sie für sekundäre Nutzung freigegeben werden, da muss erst ein Antrag gestellt
- 53:55Ralf Bendrath: werden und die sogenannten Health Data Access Bodies, also in der Regel irgendwelche
- 53:58Ralf Bendrath: Abteilungen im Gesundheitsministerium oder so, müssen das dann genehmigen.
- 54:02Ralf Bendrath: Die Daten werden dann nicht einfach an Big Pharma übermittelt,
- 54:05Ralf Bendrath: so als riesengroßer Patentendatensatz, sondern die werden nur von dem Health
- 54:10Ralf Bendrath: Data Access Body in einem sicheren Processing, in einer sicheren,
- 54:17Ralf Bendrath: Datenverarbeitungsumgebung, Secure Processing Environment, bereitgestellt und
- 54:21Ralf Bendrath: da muss sozusagen dann der Antragsteller kommen und seinen Algorithmus zu den
- 54:25Ralf Bendrath: Daten bringen. Der kriegt aber die Daten nicht mit nach Hause geliefert.
- 54:28Ralf Bendrath: Also die Daten gehen sozusagen nicht raus, Aber es sind natürlich trotzdem meine
- 54:33Ralf Bendrath: Daten und ich als Patient will selber entscheiden können, ob die irgendjemand
- 54:36Ralf Bendrath: für Forschungszwecke oder so verarbeiten kann, egal wo und unter welchen Umständen.
- 54:41Tim Pritlove: Alright. Gut, dann schlage ich mal vor, schlage mal hier das Buch erstmal zu,
- 54:47Tim Pritlove: zu dem Thema und kommen auf unseren Kernthema, der AI-Act. Perfekt.
- 54:55Tim Pritlove: Und Annika, da bist du ja sehr engagiert gewesen, wenn ich das richtig verstanden habe.
- 55:00Tim Pritlove: Kannst du vielleicht mal anfangen und nochmal kurz erläutern,
- 55:04Tim Pritlove: was so die Genese dieses Acts war?
- 55:07Tim Pritlove: Also was genau ist hier der Trigger gewesen, damit es überhaupt dazu kam?
- 55:13Tim Pritlove: Und was sind sozusagen die politischen Zielsetzungen, die sich hier letzten
- 55:18Tim Pritlove: Endes Bahn gebrochen haben?
- 55:21Arnika Zinke: Also vielleicht mag Ralf die Genese kurz machen, weil ich möchte nicht über
- 55:27Arnika Zinke: eine Zeit reden, wo ich noch nicht da war und Ralf war schon dabei.
- 55:30Arnika Zinke: Deswegen kann Ralf vielleicht kurz die Genese machen und ich kann das Gesetz
- 55:33Arnika Zinke: kurz erklären dann und was alles dann während der Verhandlungen passiert ist.
- 55:37Ralf Bendrath: Das fing schon vor ein paar Jahren an, ich glaube nach einer letzten Legislatur
- 55:41Ralf Bendrath: sogar, da gab es einen Initiativbericht im Rechtsausschuss von Mehdi Delvaux
- 55:47Ralf Bendrath: aus Irland, der hieß zu Robotics and Civil Liability.
- 55:51Ralf Bendrath: Da wurde unter anderem diskutiert, ob wenn ein Roboter oder eine KI selbstständig
- 55:56Ralf Bendrath: Entscheidungen trifft, ob die dann nicht auch selber wie eine Art juristische
- 56:02Ralf Bendrath: Person werden sollte, die dann auch Verantwortlichkeit dafür kriegt und sowas.
- 56:06Ralf Bendrath: Wo dann zum Glück am Ende der Diskussion rauskam, nein, ganz klar,
- 56:08Ralf Bendrath: die Verantwortung liegt immer bei einem Menschen.
- 56:10Ralf Bendrath: Eine KI kann nicht für irgendwas verantwortlich gemacht werden.
- 56:12Ralf Bendrath: Die kann ja auch nicht in den Knast gehen oder so. Jemand würde das nichts ausmachen.
- 56:16Ralf Bendrath: Aber die hatte einen ganz schönen Einstieg damals in ihren Erwägungsgründen.
- 56:21Ralf Bendrath: Da stand dann unter anderem drin, dass vom klassischen Pygmalion-Mythos der
- 56:25Ralf Bendrath: Antike über Frankensteins Monster von Mary Shelley und der Prager Golem-Legende
- 56:31Ralf Bendrath: bis zum Roboter von Karel Čapek,
- 56:33Ralf Bendrath: der dieses Wort geprägt hat, Menschen über die Möglichkeit fantasiert haben,
- 56:37Ralf Bendrath: intelligente Maschinen zu bauen.
- 56:39Ralf Bendrath: In den meisten Fällen Androiden mit menschlichen Zügen.
- 56:42Ralf Bendrath: Fand ich mal einen schönen Einstieg in so einen Initiativbericht,
- 56:44Ralf Bendrath: so ein bisschen poetischer als normal.
- 56:47Ralf Bendrath: So, und dann ging so ein bisschen hier überall, das hieß damals teilweise noch
- 56:50Ralf Bendrath: Big Data, wurde überall darüber diskutiert, dass man jetzt Möglichkeiten hat,
- 56:54Ralf Bendrath: mit den großen Datenmengen auch viele Maschinen zu trainieren und damit lustige Sachen zu machen.
- 56:59Ralf Bendrath: Und dann hat die Kommission, die hatte vorher noch so eine High-Level-Expert-Group
- 57:02Ralf Bendrath: eingerichtet und so weiter, dann hat die Kommission angekündigt,
- 57:06Ralf Bendrath: sie werden ein Gesetz vorlegen zum Thema KI-Regulierung, das erste weltweit.
- 57:10Ralf Bendrath: Und dann wurde hier plötzlich hektische Betriebsamkeit ausgelöst.
- 57:14Ralf Bendrath: Da haben, glaube ich, in sieben Ausschüssen wurden dann Initiativberichte gemacht,
- 57:18Ralf Bendrath: also von Grundrechteaspekten über Bildung bis hin zu Sicherheit und Verteidigung
- 57:24Ralf Bendrath: und so, wo überall KI vielleicht eine Rolle spielen könnte und was man da machen sollte.
- 57:28Ralf Bendrath: Und parallel gab es noch einen Sonderausschuss zum Thema KI,
- 57:32Ralf Bendrath: wo Axel Voss von der CDU Berichterstatter war.
- 57:35Ralf Bendrath: Auch ein bisschen bescheuerte Doppelarbeit. Da macht man sieben Initiativberichte
- 57:38Ralf Bendrath: parallel und noch einen Sonderausschuss parallel.
- 57:41Ralf Bendrath: Aber irgendwie wollte die Mehrheit im Haus das so.
- 57:45Ralf Bendrath: Und Axel Voss hat dann in seinem Berichtsentwurf versucht, so ein bisschen auch
- 57:49Ralf Bendrath: Mady Delvaux mit ihrem Roboterbericht zu imitieren, in dem auch ein bisschen
- 57:52Ralf Bendrath: poetisch wurde. Aber der hat dann einfach nur Unsinn reingeschrieben.
- 57:55Ralf Bendrath: Da stand dann zum Beispiel drin, dass KI das fünfte Element sein wird,
- 57:59Ralf Bendrath: neben Erde, Wind, Feuer und Wasser, was uns immer umgeben wird und so.
- 58:05Thomas Lohninger: Schon fast homöopathisch, okay. Okay.
- 58:09Ralf Bendrath: Also, naja, und dann kam der Kommissionsvorschlag für das Gesetz,
- 58:13Ralf Bendrath: das war etwa vor drei Jahren, ne?
- 58:16Ralf Bendrath: Annika, ich weiß gerade gar nicht mehr.
- 58:18Arnika Zinke: Ja, vor drei Jahren im April 2021. Genau.
- 58:21Ralf Bendrath: Dann kam der Vorschlag und dann hat relativ schnell der Justizausschuss Axel
- 58:25Ralf Bendrath: Voss zum Berichterstatter gemacht für die Gesetzgebung.
- 58:29Ralf Bendrath: Und dann haben aber alle anderen Fraktionen sich plötzlich zusammengetan und
- 58:32Ralf Bendrath: haben eine neue Fraktion gegründet, die sogenannte ABV Group, Anybody But Voss.
- 58:40Ralf Bendrath: Es wollte einfach niemand außer Axel Voss selber, dass er der fehlerführende
- 58:44Ralf Bendrath: Berichterstatter im fehlerführenden Ausschuss wird. Deswegen war klar,
- 58:47Ralf Bendrath: der Rechtsausschuss ist schon mal raus.
- 58:49Ralf Bendrath: Und dann wurde ziemlich lange hin und her verhandelt.
- 58:52Ralf Bendrath: Und am Ende, so wirklich am letzten Tag der Deadline, glaube ich,
- 58:55Ralf Bendrath: kam dann in der Konferenz der Fraktionsvorsitzenden ein Vorschlag von den Sozialdemokraten,
- 58:59Ralf Bendrath: dass doch ein gemeinsames Verfahren werden sollte zwischen dem Ausschuss für
- 59:03Ralf Bendrath: bürgerliche Freiheiten, Justiz und Inneres, weil der für die Grundrechte zuständig ist,
- 59:07Ralf Bendrath: und dem Binnenmarktausschuss,
- 59:09Ralf Bendrath: weil die Kommission dieses KI-Gesetz auch in Form von so einem,
- 59:15Ralf Bendrath: auf den Markt bringen Gesetz, was für Regeln muss ich einhalten,
- 59:20Ralf Bendrath: wenn ich KI auf den Markt bringen will, vorgeschlagen hat.
- 59:22Ralf Bendrath: Und das waren dann am Ende federführende Berichterstatter, Sozialdemokraten
- 59:27Ralf Bendrath: im Binnenmarktausschuss und Liberale im Grundrechte- und Innenausschuss.
- 59:32Ralf Bendrath: So kam das.
- 59:34Tim Pritlove: Das ist also alles sozusagen auch von dieser europäischen Sicht des Maschinenmenschen,
- 59:40Tim Pritlove: so Frankenstein und so weiter. Wir haben ja im Westen eine sehr negativ konnotierte
- 59:45Tim Pritlove: Sicht auf diese ganze… Hast du recht, ne?
- 59:48Tim Pritlove: Naja gut, ich meine, gehen wir mal nach Japan, da ist einfach eine ganz andere Grundhaltung dazu.
- 59:52Tim Pritlove: Da hast du sozusagen so die Maschine, der Freund des Menschen und wann auch
- 59:58Tim Pritlove: immer Robotik in Japan ein Thema ist, dann geht es immer sofort um Assistenzsysteme,
- 1:00:05Tim Pritlove: helfen, Pflege und so weiter.
- 1:00:07Tim Pritlove: Das ist so das, was da immer im Vordergrund steht und es hat natürlich auch
- 1:00:10Tim Pritlove: viel mit so einer kulturellen Prägung zu tun, die hier definitiv ein bisschen
- 1:00:14Tim Pritlove: dystopischer ausfällt als jetzt in anderen Kulturen.
- 1:00:18Ralf Bendrath: Ja, aber es passt auch, glaube ich, ganz gut in die Linie der ganzen europäischen
- 1:00:21Ralf Bendrath: Digitalgesetzgebung der letzten fast zehn Jahre jetzt, was sozusagen mit der
- 1:00:24Ralf Bendrath: Datenschutzgrundverordnung ja angefangen hat und dann mit dem Digitalen Dienste
- 1:00:27Ralf Bendrath: Gesetz, Digitale Märkte Gesetz,
- 1:00:29Ralf Bendrath: Data Act, Data Governance Act und so weiter, oder jetzt hier Cyber Resilience Act,
- 1:00:34Ralf Bendrath: dass man einfach nach und nach jetzt besser verstanden hat, was sind denn wirklich
- 1:00:37Ralf Bendrath: die echten Risiken und Gefahren bei den ganzen neuen Technologien,
- 1:00:40Ralf Bendrath: vor allem, wenn die in der Masse ausgerollt werden und jetzt versucht,
- 1:00:43Ralf Bendrath: langsam mal die Sachen wieder einzufangen.
- 1:00:45Tim Pritlove: Das ist aber ein guter Punkt, weil während wir bei den anderen Sachen ja schon
- 1:00:49Tim Pritlove: das auch alles sehr lange beobachten oder jetzt verhältnismäßig lange,
- 1:00:54Tim Pritlove: ja, also das Internet und so Computer etc., das ganze Digitalwesen begleitet uns ja jetzt,
- 1:01:02Tim Pritlove: sagen wir mal, die europäische Gesellschaft vielleicht aktiv seit Mitte der
- 1:01:06Tim Pritlove: 90er Jahre so wirklich, würde ich mal sagen, ungefähr. ungefähr.
- 1:01:09Tim Pritlove: Und jetzt haben wir natürlich auch schon eine gewisse Zeit gehabt.
- 1:01:13Tim Pritlove: Während jetzt dieses AI-Thema ist ja relativ frisch.
- 1:01:17Tim Pritlove: Also im Vergleich zu den anderen Themen habe ich so den Eindruck,
- 1:01:20Tim Pritlove: wird das relativ früh aufge...
- 1:01:23Tim Pritlove: Also das wird nicht mal ein relativ schneller Vorstoß. Sonst sagt man immer,
- 1:01:28Tim Pritlove: ja, die Politik reagiert ja nicht und jetzt ist das für uns schon alles so die
- 1:01:31Tim Pritlove: Realität und die Politik kommt nicht mit.
- 1:01:33Tim Pritlove: Und jetzt habe ich so fast so den Eindruck, jetzt schlägt es komplett um und
- 1:01:37Tim Pritlove: jetzt wird AI zu einem Zeitpunkt reguliert,
- 1:01:41Tim Pritlove: wo glaube ich noch nicht mal eine wirklich klare Vorstellung davon existiert,
- 1:01:46Tim Pritlove: was es jetzt eigentlich genau ist oder macht oder was jetzt wirklich die realen
- 1:01:51Tim Pritlove: Bedrohungen und Chancen und Risiken sind,
- 1:01:53Tim Pritlove: um in dieser klassischen Abwägungsgeschichte zu bleiben.
- 1:01:57Ralf Bendrath: Ja, da hast du sicher recht.
- 1:01:59Arnika Zinke: Ja, und das war, glaube ich, auch sehr bewusst so gemacht, weil eben auch auf
- 1:02:03Arnika Zinke: die konstante Kritik irgendwie reagiert wurde, dass wir immer so spät dran wären.
- 1:02:08Arnika Zinke: Also gerade bei dem Digitalen Dienstegesetz war es ja auch so,
- 1:02:11Arnika Zinke: dass es hieß, ja, also wir haben so verschiedenste Probleme,
- 1:02:15Arnika Zinke: gerade mit den großen Plattformen.
- 1:02:17Arnika Zinke: Und warum braucht da die EU so lange?
- 1:02:20Arnika Zinke: Und das war dann schon irgendwie so ein selbsterklärtes Ziel,
- 1:02:23Arnika Zinke: auch von von der Leyen da wirklich irgendwie fortzubreschen und irgendwie mit
- 1:02:26Arnika Zinke: diesem Brussels-Effekt quasi zu reiten und da für KI was vorzulegen.
- 1:02:31Arnika Zinke: Wobei ich finde allein der Name AI Act, und es wurde auch viel kritisiert,
- 1:02:36Arnika Zinke: nicht ganz unproblematisch ist, weil es ja eigentlich auch um automated decision making geht,
- 1:02:41Arnika Zinke: beziehungsweise, ja, dass auch nicht ganz klar war, ob dann automated decision
- 1:02:45Arnika Zinke: making auch in dem Begriff Artificial Intelligence fällt oder nicht.
- 1:02:48Arnika Zinke: Aber AI Act klingt halt besser als automated decision making law.
- 1:02:52Arnika Zinke: Also das war auch ein bisschen ein PR.
- 1:02:55Tim Pritlove: Ja, guter Punkt. Genau. Und das ist ja dann wiederum etwas, was schon länger diskutiert wird.
- 1:03:01Tim Pritlove: Man sieht das ja hier auch so Algorithm Watch und ähnliche Gruppen haben sich
- 1:03:06Tim Pritlove: ja da auch schon lange mit dieser Problematik beschäftigt.
- 1:03:10Tim Pritlove: Also wer fällt die Entscheidung und damit natürlich auch verbunden,
- 1:03:15Tim Pritlove: wer ist am Ende haftbar für falsch getroffene Entscheidungen und das hinterfragt
- 1:03:19Tim Pritlove: halt sowohl einfache Algorithmen,
- 1:03:22Tim Pritlove: die nun durch AI gleich nochmal ein Level weniger nachvollziehbar werden potenziell.
- 1:03:31Arnika Zinke: Genau. Und es ist jetzt so, um kurz das Gesetz zu erklären,
- 1:03:35Arnika Zinke: also ich würde sagen, es ist jetzt im Vergleich zu den anderen Gesetzen vielleicht
- 1:03:39Arnika Zinke: etwas innovationsfreundlicher gedacht worden,
- 1:03:43Arnika Zinke: in dem Sinne, dass in dem Gesetz eben auch diese, zum Beispiel diese innovativen,
- 1:03:48Arnika Zinke: ich weiß gar nicht den Begriff, aber Sandboxes heißt es auf Englisch, Sandkisten.
- 1:03:53Ralf Bendrath: Reallabore heißen die auf Deutsch.
- 1:04:23Arnika Zinke: Noch nachgeschöpft werden muss. Also es gab quasi ein eigenes Kapitel für Measures
- 1:04:27Arnika Zinke: for Innovation, um eben auch die quasi so ein bisschen industriepolitisch auch
- 1:04:31Arnika Zinke: zu mehr KI-Systeme in Europa zu generieren.
- 1:04:37Arnika Zinke: Weil im Vergleich dazu zum Beispiel die Systeme, die verboten werden,
- 1:04:41Arnika Zinke: im Kommissionsvorschlag ja eigentlich sehr dünn waren.
- 1:04:44Arnika Zinke: Also es gab ein Verbot für biometrische Massenüberwachung in Echtzeit,
- 1:04:49Arnika Zinke: aber dann auch wieder mit ziemlich großen Ausnahmen. Unter anderem,
- 1:04:53Arnika Zinke: wenn man zum Beispiel Missing Children, also Kinder sucht.
- 1:04:57Arnika Zinke: Es gab ein Verbot für Social Scoring, das aber so limitiert geschrieben war,
- 1:05:02Arnika Zinke: dass es eigentlich wirklich nicht wirklich was anwendbar gewesen wäre.
- 1:05:06Arnika Zinke: Wäre, klingt aber gut, wenn man eine PR-Mitteilung dazu macht.
- 1:05:09Arnika Zinke: Und dann das, was die KI-Provider, also die Hersteller, danke.
- 1:05:18Arnika Zinke: Es ist wirklich manchmal schwierig, wenn man immer in Englisch arbeitet und
- 1:05:22Arnika Zinke: dann versucht, alles auf Deutsch zu übersetzen.
- 1:05:24Arnika Zinke: Genau, also dass die Hersteller einfach eigentlich nur dann etwas zu erfüllen
- 1:05:29Arnika Zinke: hatten, wenn sie als Hochrisiko eingestuft wurden.
- 1:05:31Arnika Zinke: Das heißt, es gab zwar diese Pyramide, die vielleicht auch einige schon gesehen
- 1:05:35Arnika Zinke: haben, quasi welche Bereiche das KI-Gesetz quasi umfasst.
- 1:05:40Arnika Zinke: Und oben auf der Pyramide sind die verbotenen KI-Systeme, was ja eigentlich
- 1:05:44Arnika Zinke: de facto so gut wie nichts ist.
- 1:05:45Arnika Zinke: Dann gibt es quasi einen mittleren Bereich mit Hochrisiko, wo dann alles,
- 1:05:50Arnika Zinke: was quasi zu erfüllen ist im KI-Gesetz, quasi nur in diesem Bereich fällt und
- 1:05:54Arnika Zinke: alle Regelungen quasi nur in dem Bereich zu erfüllen sind.
- 1:05:57Arnika Zinke: Und dann gibt es noch einen untersten Bereich, das ist Low-Risk oder Minimum-Risk,
- 1:06:01Arnika Zinke: also quasi die wenigst Risiko-KI-Systeme, die ein paar Transparenzpflichten erfüllen mussten.
- 1:06:07Arnika Zinke: Das heißt, diese Pyramide, die die Kommission da quasi auch vorgestellt hat,
- 1:06:11Arnika Zinke: ist eigentlich recht verwirrend, weil letztlich ist es ein Gesetz für ein paar
- 1:06:16Arnika Zinke: Pseudoverbotene KI-Systeme gewesen und das, was sie als Hochrisiko begriffen haben.
- 1:06:21Arnika Zinke: Und der Begriff Hochrisiko ist ja auch eigentlich recht problematisch,
- 1:06:24Arnika Zinke: weil da will ja auch kein Hersteller eigentlich reinfallen.
- 1:06:27Arnika Zinke: Also kein Hersteller, der sein KI-System irgendwie schon verkaufen will,
- 1:06:30Arnika Zinke: außer es ist wirklich für einen Bereich, der hochproblematisch ist,
- 1:06:33Arnika Zinke: möchte wirklich in den Hochrisikobereich fallen.
- 1:06:37Arnika Zinke: Und das ist, glaube ich, auch ein Begriff, der uns negativ durch die ganzen
- 1:06:42Arnika Zinke: Verhandlungen verfolgt hat.
- 1:06:45Arnika Zinke: Genau, nur um das fertig zu erklären, was Hochrisiko ist und was nicht,
- 1:06:48Arnika Zinke: ist in dem sogenannten Annex Free,
- 1:06:51Arnika Zinke: wenn ich das richtig im Kopf habe, festgeschrieben, das sind quasi verschiedene
- 1:06:54Arnika Zinke: Bereiche, die von Bildung bis Migration, Arbeitsverhältnisse gehen,
- 1:06:59Arnika Zinke: wo verschiedene Kaisersysteme,
- 1:07:02Arnika Zinke: Strafverfolgung genau, reingegeben
- 1:07:03Arnika Zinke: wurden, die potenziell in diesen Hochrisikobereich fallen könnten.
- 1:07:08Arnika Zinke: Und genau, also das ist so mal ein bisschen die Logik und auch nochmal darauf
- 1:07:11Arnika Zinke: zurückzukommen, was Ralf vorhin gesagt hat,
- 1:07:13Arnika Zinke: es ist eben in diesem Produktsicherheitsgesetzesrahmen eingebettet worden.
- 1:07:18Arnika Zinke: Das heißt, KI wird als Produkt begriffen, was auch schon nicht ganz unproblematisch ist.
- 1:07:23Arnika Zinke: Und das wurde auch, also man munkelt, dass es auch deswegen gemacht wurde,
- 1:07:26Arnika Zinke: damit das Gesetz eben nicht nur im Justizausschuss landet, sondern eben auch
- 1:07:31Arnika Zinke: im Binnenmarktausschuss, wo ja alles, was Produktsicherheit betrifft, behandelt wird.
- 1:07:35Arnika Zinke: Also das ist auch schon bewusst von der Kommission so gewählt worden,
- 1:07:39Arnika Zinke: nicht unbedingt, weil sie KI unbedingt als Produkte sehen wollten,
- 1:07:44Arnika Zinke: sondern auch, weil man dann vielleicht,
- 1:07:45Arnika Zinke: und das sieht man auch bei anderen Gesetzen, schon beeinflussen will,
- 1:07:49Arnika Zinke: in welchem Ausschuss das Gesetz landet, was dann ja auch wiederum Einfluss darauf
- 1:07:54Arnika Zinke: hat, wie die Parlamentsposition aussehen wird.
- 1:07:56Arnika Zinke: Also wenn es nur im Liebe landet, dann wird die Parlamentsposition relativ hohe
- 1:08:00Arnika Zinke: Wahrscheinlichkeit progressiver ausfallen, als wenn es nur im Idre landet,
- 1:08:03Arnika Zinke: was der Industrie- und Wissenschaftsausschuss ist,
- 1:08:06Arnika Zinke: der traditionell immer recht konservativ, liberal und wirtschaftsfreundlich ist.
- 1:08:12Tim Pritlove: Ich habe nochmal eine Nachfrage. Nur mal zu diesem Begriff Hochrisiko.
- 1:08:17Tim Pritlove: Risiko in Bezug auf wen oder was? Also wie ist dieser Begriff gedacht?
- 1:08:23Tim Pritlove: Für wen soll was wie ein Risiko sein, damit das da reinfällt?
- 1:08:29Arnika Zinke: Also es ist zum einen der Bereich, in dem es verwendet wird,
- 1:08:31Arnika Zinke: also zum Beispiel Immigration und zum anderen auch quasi, welchen Impact es
- 1:08:36Arnika Zinke: haben kann, also welche Einflüsse es quasi auf Menschen haben kann.
- 1:08:40Arnika Zinke: Also zum Beispiel eben im schulischen Bereich, dass wenn die Systeme quasi nicht
- 1:08:45Arnika Zinke: gut getestet sind oder starken Bias haben oder Cybersecurity-Probleme haben,
- 1:08:50Arnika Zinke: dass sie dann ein höheres Risiko quasi darstellen oder potenziell mehr Schaden
- 1:08:55Arnika Zinke: anrichten könnten als ein Chatbot zum Beispiel.
- 1:08:57Arnika Zinke: Wobei ich argumentieren würde, dass auch Chatbots Schäden anrichten können.
- 1:09:02Tim Pritlove: Also Risiko im Sinne von Gefährdung für Menschen.
- 1:09:06Thomas Lohninger: Also ich erinnere mich noch irgendwie, wenn man so Lobbyisten zugehört hat,
- 1:09:10Thomas Lohninger: bevor das Gesetz vorgestellt wurde,
- 1:09:12Thomas Lohninger: hatten die auch schon diese Idee der Pyramide und die haben halt so plakativ gemeint,
- 1:09:17Thomas Lohninger: ganz oben ist automatisierte Tötung, wenn die Drohne dich umbringt oder dass
- 1:09:22Thomas Lohninger: ein Mensch noch irgendwas dafür tun muss und ganz unten ist der Algorithmus,
- 1:09:26Thomas Lohninger: der Schrauben sortiert,
- 1:09:27Thomas Lohninger: der gar nicht reguliert wird und dazwischen überlegen wir uns dann irgendwas.
- 1:09:31Thomas Lohninger: Aber das ist halt in der Praxis dann umzusetzen super schwierig,
- 1:09:35Thomas Lohninger: weil auch so Dinge, wo sich die Zivilgesellschaft massiv dafür eingesetzt hat,
- 1:09:39Thomas Lohninger: wie zum Beispiel das Verbot von Gesichtserkennung, Biometrie oder auch,
- 1:09:44Thomas Lohninger: es gibt ja inzwischen so Wahrheitsdetektoren oder Emotionserkennung,
- 1:09:48Thomas Lohninger: wo es sehr zweifelhaft ist, ob das technisch überhaupt funktioniert,
- 1:09:52Thomas Lohninger: was da als Produkt angeboten wird.
- 1:09:54Thomas Lohninger: Und da glaube ich, kommen wir dann auch gleich darauf zu, was denn jetzt wirklich
- 1:09:58Thomas Lohninger: in diesem Gesetz drinnen steht.
- 1:09:59Thomas Lohninger: Und du hast ja auch schon Migration angesprochen. Wir haben in vielen EU-Ländern
- 1:10:04Thomas Lohninger: auch gerade bei arbeitslosen oder arbeitssuchenden Menschen den Einsatz von
- 1:10:09Thomas Lohninger: Algorithmen, wurde teils auch schon von Höchstgerichten verboten.
- 1:10:12Thomas Lohninger: Also da gibt es ja wirklich schon viele Fälle, die nach Regulierung schreien.
- 1:10:17Thomas Lohninger: Was wird jetzt besser mit diesem Gesetz?
- 1:10:20Ralf Bendrath: Vielleicht noch ganz kurz zu Tim, zu der Frage nach dem Risiko.
- 1:10:23Ralf Bendrath: Also zum Beispiel im Artikel zur Definition, da steht unter systemisches Risiko,
- 1:10:28Ralf Bendrath: dass ein KI dann ein systemisches Risiko hat, wenn sie einen signifikanten Impact,
- 1:10:34Ralf Bendrath: Auswirkungen auf den ganzen Unionsmarkt hat durch ihre Reichweite oder durch
- 1:10:41Ralf Bendrath: vernünftigerweise vorhersehbare negative Effekte auf öffentliche Gesundheit, Sicherheit.
- 1:10:49Ralf Bendrath: Also nicht im Sinne von sozusagen innere Sicherheit, sondern Produktsicherheit,
- 1:10:52Ralf Bendrath: Safety, nicht Security, Public Security, also öffentliche Sicherheit,
- 1:10:56Ralf Bendrath: Grundrechte oder die Gesellschaft als Ganze.
- 1:11:00Ralf Bendrath: Aber das ist natürlich dann auch eine intellektuelle Herausforderung.
- 1:11:03Ralf Bendrath: Damit haben wir auch eine Weile lang gerungen am Anfang, weil dann sagt der
- 1:11:06Ralf Bendrath: Artikel 6 zu den Hochrisiko-KI,
- 1:11:10Ralf Bendrath: die Kommission ist ermächtigt, mit einem delegierten Rechtsakt weitere KI-Systeme
- 1:11:15Ralf Bendrath: oder Anwendungsfälle in den Annex 3 hinzuzufügen, mit den Hochrisiko-KIs,
- 1:11:19Ralf Bendrath: wenn diese neuen KI-Systeme oder Anwendungsfälle ein gleich hohes oder höheres Risiko haben,
- 1:11:25Ralf Bendrath: als die, die schon im Annex 3 drinstehen. Ja, wie misst man das?
- 1:11:29Ralf Bendrath: Wie viel ist 1,50 m KI-Risiko? Das kannst du eigentlich nicht schwer vergleichen.
- 1:11:33Ralf Bendrath: Das ist immer von Anwendungsdomäne zu Anwendungsdomäne.
- 1:11:36Ralf Bendrath: Haben wir echt eine Weile hin und her überlegt und dann am Ende aber gemerkt,
- 1:11:39Ralf Bendrath: das ist eine politische Entscheidung jedes Mal.
- 1:11:42Arnika Zinke: Ja, um jetzt auf die Frage zurückzukommen, was ändert sich quasi oder was wird jetzt besser?
- 1:11:47Arnika Zinke: Also es ist quasi schon so, dass wir natürlich im Vergleich zur Parlamentsposition,
- 1:11:53Arnika Zinke: die in vielen Fällen besser ist, als das, was dann beim Trilog rauskommt,
- 1:11:56Arnika Zinke: natürlich nicht alles drin haben, was wir als Parlament angesehen haben als
- 1:12:01Arnika Zinke: problematisch und zu verbietende KI und als Hochrisiko-KI.
- 1:12:07Arnika Zinke: Also nur, weil du vorher noch angesprochen hattest, Emotionserkennung,
- 1:12:11Arnika Zinke: Massenüberwachung mit Biometrie,
- 1:12:13Arnika Zinke: die Polygraphen, das waren alles Punkte, die wir in unserer Parlamentsposition
- 1:12:18Arnika Zinke: komplett verbannt hätten, also quasi verboten hätten.
- 1:12:22Arnika Zinke: Und von denen wir nicht alle, aber einige in gewissen Bereichen geschafft haben, zu verbieten.
- 1:12:30Arnika Zinke: Das eine ist eben die Emotionskennung, also quasi die basiert darauf,
- 1:12:34Arnika Zinke: dass man denkt, dass wenn eine Person lacht, dass man davon ableiten kann,
- 1:12:38Arnika Zinke: dass die Person quasi glücklich ist.
- 1:12:40Arnika Zinke: Und es ist mittlerweile eindeutig bewiesen, dass das nicht funktioniert und
- 1:12:44Arnika Zinke: dass es auch gegen Menschen, die zum Beispiel neuroatypisch sind,
- 1:12:47Arnika Zinke: glaube ich ist das richtige Wort.
- 1:12:49Arnika Zinke: Einfach auch falsch Emotionen erkennt und dass Emotionen einfach sich nicht
- 1:12:54Arnika Zinke: leicht so ableiten lassen.
- 1:12:55Arnika Zinke: Deswegen hat zum Beispiel auch Microsoft Emotionserkennung komplett aus dem
- 1:12:59Arnika Zinke: Sortiment sozusagen genommen.
- 1:13:00Arnika Zinke: Also die entwickeln in dem Bereich auch nicht mehr, weil sie erkannt haben,
- 1:13:03Arnika Zinke: dass es Pseudowissenschaft ist.
- 1:13:05Arnika Zinke: Wir haben es zwar nicht ganz durchbekommen, aber wir haben zumindest im Bereich
- 1:13:08Arnika Zinke: am Arbeitsplatz und im schulischen Bereich Emotionserkennung komplett verboten.
- 1:13:13Arnika Zinke: Was ein großer Gewinn für uns vor allem als Grüne war, wo man aber Emotionserkennung
- 1:13:18Arnika Zinke: zum Beispiel noch verwenden darf.
- 1:13:19Arnika Zinke: Und um ein Beispiel zu nennen, ist eben im Migrationsbereich,
- 1:13:22Arnika Zinke: also zum Beispiel an Grenzen, was weiterhin hochproblematisch ist,
- 1:13:25Arnika Zinke: weil die Probleme bestehen ja weiterhin.
- 1:13:27Arnika Zinke: Es ist zwar Hochrisiko, aber Hochrisiko heißt halt, du musst einige weitere Regeln erfüllen.
- 1:13:33Arnika Zinke: Das heißt, die KI muss Cybersecurity Standards erfüllen, es müssen gewisse Dokumentationen
- 1:13:38Arnika Zinke: gemacht werden und jetzt in dem spezifischen Fall ist wahrscheinlich auch eine
- 1:13:42Arnika Zinke: Grundrechteabschätzung notwendig, also das sogenannte Fundamental Rights Impact Assessment.
- 1:13:47Arnika Zinke: Das war auch ein großer Gewinn für unsere Fraktion, das mit reinzukriegen.
- 1:13:51Arnika Zinke: Dass eben nicht nur der Hersteller, sondern auch der Benutzer,
- 1:13:54Arnika Zinke: also der, der das System quasi kauft, sondern wirklich anwendet,
- 1:13:56Arnika Zinke: sich auch anschauen muss, was macht die KI eigentlich mit den Personen,
- 1:14:00Arnika Zinke: auf denen ich das anwende.
- 1:14:02Arnika Zinke: Das ist ein bisschen eine Weiterleitung von dem, was schon in den Datenschutzfolgeabschätzungen
- 1:14:07Arnika Zinke: gemacht wird, aber eben speziell auf KI umgemünzt.
- 1:14:11Arnika Zinke: Und das war für uns insofern ein großer Erfolg, weil das bedeutet,
- 1:14:16Arnika Zinke: dass eben nicht nur der Hersteller, der spezifisch und kontextbasierte Anwendungen
- 1:14:20Arnika Zinke: überhaupt nicht abschätzen kann, dass sich wirklich der Benutzer hinsetzen muss
- 1:14:24Arnika Zinke: und sich mit der KI auseinandersetzen muss.
- 1:14:27Arnika Zinke: Und ich glaube, dass es auch eben daraufhin, wie wir KI verstehen und wie wir
- 1:14:32Arnika Zinke: generell, wie viel Bedeutung und können wir KI zumessen, sehr wichtig ist.
- 1:14:36Arnika Zinke: Weil wenn das zum Beispiel von Schulen verwendet wird oder auch von Behörden,
- 1:14:40Arnika Zinke: die vielleicht einen Datenschutzbeauftragten haben und dann das jemandem geben
- 1:14:44Arnika Zinke: und sagen, sagen, ja, verwende das halt, um zum Beispiel Schülern zu helfen,
- 1:14:50Arnika Zinke: in welche Fächer oder in welche Berufe sie sich dann einordnen.
- 1:14:53Arnika Zinke: Dass es nicht einfach so angewendet wird, sondern die Personen wirklich wissen,
- 1:14:56Arnika Zinke: okay, welche möglichen Folgen könnte das haben, wenn wir das jetzt mit unseren
- 1:15:00Arnika Zinke: Schülern gemeinsam verwenden.
- 1:15:02Arnika Zinke: Und ich glaube schon, dass das auch im Laufe der Zeit auch wirklich dazu führen
- 1:15:06Arnika Zinke: wird, dass Menschen einfach besser verstehen, wie KI funktioniert und wo auch
- 1:15:09Arnika Zinke: die Limits von KI sind, was letztlich auch eine Möglichkeit ist,
- 1:15:13Arnika Zinke: rechtliche Folgen abzuschätzen.
- 1:15:14Arnika Zinke: So haben wir es auch mal ein bisschen versucht zu verkaufen,
- 1:15:16Arnika Zinke: das natürlich auch für Unternehmen, das relevant ist, abzuschätzen,
- 1:15:19Arnika Zinke: wo sind die rechtlichen Folgen, die ich möglicherweise habe,
- 1:15:22Arnika Zinke: wenn ich KI verwende, die nicht so gescheit ist, wie ich eigentlich glaube, dass sie ist.
- 1:15:27Thomas Lohninger: Also eigentlich so wie bei der Datenschutzgrundverordnung, ein neuer Text,
- 1:15:31Thomas Lohninger: den ich abnicken muss, wo theoretisch drinnen steht, was mit meinen Daten passiert
- 1:15:36Thomas Lohninger: oder was da im Hintergrund eigentlich abläuft.
- 1:15:39Thomas Lohninger: Also es muss erklärt werden für die NutzerInnen, was jetzt in diesem System drin ist.
- 1:15:47Arnika Zinke: Ja, und der Benutzer muss sich halt auch wirklich damit auseinandersetzen,
- 1:15:51Arnika Zinke: welche Personen eigentlich mit der KI interagieren oder auf welche Personen
- 1:15:56Arnika Zinke: die KI angewendet wird und ob das zum Beispiel jetzt Personen mit dunkler Hautfarbe
- 1:16:01Arnika Zinke: sind oder Personen, die eine Disability haben. Genau.
- 1:16:04Arnika Zinke: Und der Unterschied zur datenschutzrechtlichen Folgenabschätzung ist,
- 1:16:10Arnika Zinke: dass es manchmal Fälle gibt, wo es quasi einen grundrechtlichen Impact haben
- 1:16:14Arnika Zinke: könnte, wo aber keine persönlichen Daten angewendet werden.
- 1:16:17Arnika Zinke: Also zum Beispiel, wenn man Migrationsflüsse versucht nachzuvollziehen und daraus
- 1:16:20Arnika Zinke: die KI irgendwelche Entscheidungen treffen lässt.
- 1:16:23Arnika Zinke: Und gerade in diesen Bereichen, diese Randbereiche sind, die eben nicht von
- 1:16:27Arnika Zinke: der DSGVO abgedeckt sind, ist das auch besonders wichtig.
- 1:16:32Thomas Lohninger: Also auch sowas wie Predictive Policing, also dass die Polizei mit Algorithmen
- 1:16:36Thomas Lohninger: versucht, vorherzusehen, welche Verbrechen in welcher Region wann passieren,
- 1:16:41Thomas Lohninger: was ja auch ein bisschen so Pseudoscience ist.
- 1:16:43Ralf Bendrath: Also das vielleicht ganz kurz, Predictive Policing, was sich nur auf bestimmte
- 1:16:46Ralf Bendrath: Nachbarschaften bezieht oder sowas, das wäre noch erlaubt, würde aber unter
- 1:16:50Ralf Bendrath: Hochrisiko fallen, müsste also eine Grundrechtefolgenabschätzung machen und alles mögliche.
- 1:16:54Ralf Bendrath: Aber Predictive Policing über Individuen, dass die KM ja ausrechnet,
- 1:16:58Ralf Bendrath: wie wahrscheinlich ist es, dass Thomas Lohninger in den nächsten zwei Monaten
- 1:17:00Ralf Bendrath: eine Straftat begeht, das ist verboten.
- 1:17:04Ralf Bendrath: Und was wir zum Beispiel auch noch verboten haben, ist das, auf Englisch heißt
- 1:17:07Ralf Bendrath: das Facial Image Scraping, dass ich massenhaft Gesichtsbilder aus dem Internet
- 1:17:12Ralf Bendrath: mir zusammenwühle und daraus dann eine große Datenbank mache.
- 1:17:16Ralf Bendrath: Also Clearview AI oder PIM-Eyes ist jetzt verboten.
- 1:17:20Thomas Lohninger: Und diese Grundrechtsabschätzungen, sind die öffentlich einsehbar?
- 1:17:26Thomas Lohninger: Kann ich die als User sehen?
- 1:17:29Ralf Bendrath: Die sind in der Datenbank, oder?
- 1:17:30Arnika Zinke: Ich glaube, dass die in der Datenbank gegeben werden müssen.
- 1:17:34Arnika Zinke: Es ist quasi eine neue EU-Datenbank geschaffen worden, wo dann diese Folgerechtsabschätzungen
- 1:17:40Arnika Zinke: hochgeladen werden müssen, um eben mehr Transparenz zu ermöglichen.
- 1:17:43Arnika Zinke: Das war zum Beispiel auch etwas, was nicht im Kommissionsvorschlag drinnen war
- 1:17:47Arnika Zinke: und was uns auch sehr wichtig war, da einfach mehr Transparenz zu schaffen,
- 1:17:50Arnika Zinke: wer das verwendet und ja, auch, dass eben diese Abschätzungen dann öffentlich sind Das war das.
- 1:17:57Ralf Bendrath: Was die Niederländer schon machen oder Amsterdam oder so. Die haben das schon
- 1:18:00Ralf Bendrath: in Betrieb, eine öffentliche Datenbank, wo man sowas genau nachgucken kann.
- 1:18:03Ralf Bendrath: Davon haben wir uns inspirieren lassen.
- 1:18:05Arnika Zinke: Sowohl die Datenbank als auch die Grundrechtefolgenabschätzung kommen beide
- 1:18:09Arnika Zinke: aus den Niederlanden, die Idee.
- 1:18:11Thomas Lohninger: Es gibt auch unheimlich viele zivilgesellschaftliche Projekte,
- 1:18:14Thomas Lohninger: die einfach so mappen, welche Anwendungen von KI gibt es schon.
- 1:18:18Thomas Lohninger: Vor allem eben in der öffentlichen Verwaltung, da wo die Leute nicht auskennen,
- 1:18:22Thomas Lohninger: wo es kein Produkt ist. ist.
- 1:18:23Thomas Lohninger: Und das heißt, das kommt jetzt europaeinheitlich und diese Datenbank wird dann
- 1:18:28Thomas Lohninger: wirklich auch so alles beinhalten oder gibt es da auch wieder Ausnahmen,
- 1:18:32Thomas Lohninger: dass zum Beispiel so Polizeimilitären nicht einmelden müssen?
- 1:18:36Ralf Bendrath: Ganz richtig geraten, Thomas. Natürlich gibt es Ausnahmen und genau eine dieser
- 1:18:40Ralf Bendrath: Ausnahmen ist, dass KI-Anwendungen im Strafverfolgungsbereich in die Datenbank
- 1:18:44Ralf Bendrath: reinkommen, aber in den nicht öffentlich zugänglichen Teil.
- 1:18:48Ralf Bendrath: Also die Aufsichtsbehörden können das weiterhin überprüfen, aber der Öffentlichkeit ist es verborgen.
- 1:18:56Tim Pritlove: Was sind denn sozusagen da die Aufsichtsbehörden? Ich habe gelesen,
- 1:19:01Tim Pritlove: da gibt es ein AI-Office.
- 1:19:03Tim Pritlove: Ist das das, wovon wir reden?
- 1:19:05Ralf Bendrath: Es gibt zwei Ebenen oder sogar drei teilweise, weil die Datenschutzbehörden,
- 1:19:09Ralf Bendrath: wenn es um personenbezogene Daten geht, auch immer noch eine Rolle haben dabei.
- 1:19:12Ralf Bendrath: Aber dann gibt es die Marktaufsichtsbehörden, Market Surveillance Authorities,
- 1:19:17Ralf Bendrath: die sozusagen die Standardbehörden sind in diesem ganzen Produktsicherheits-CE-Label-Rahmenwerk.
- 1:19:23Ralf Bendrath: Und dann gibt es aber, da kann Arneka mehr zu sagen, das ist mal diese ganze
- 1:19:26Ralf Bendrath: Marktüberwachung, das ist alles Imco-Committee-Territorium, da halte ich mich
- 1:19:30Ralf Bendrath: raus, das wissen die viel besser.
- 1:19:32Ralf Bendrath: Aber es gibt dann eben auch noch das AI-Office in der Kommission.
- 1:19:38Ralf Bendrath: Das, warte mal kurz, genau, das ist im Prinzip ein nettes Label für eine neue
- 1:19:46Ralf Bendrath: Abteilung in der Kommission.
- 1:19:48Ralf Bendrath: Also in der Definition steht da, das AI-Office means the commission's function
- 1:19:53Ralf Bendrath: of contributing to the implementation, monitoring and supervision of AI systems and AI governance.
- 1:19:59Ralf Bendrath: Das ist auch schon etabliert. Das wurde durch die Kommissionsentscheidung vom
- 1:20:03Ralf Bendrath: 24.01.2024 schon eingerichtet.
- 1:20:07Ralf Bendrath: Die Kommission kann ja ihre eigene interne Organisationsstruktur selber entscheiden,
- 1:20:10Ralf Bendrath: auch wenn das Gesetz noch gar nicht da ist. Aber die fangen jetzt sozusagen
- 1:20:13Ralf Bendrath: schon mal langsam an, Leute anzuheuern und das ganze Ding aufzubauen und so.
- 1:20:17Ralf Bendrath: Zu den Aufgaben steht in dem einen Artikel zum AI-Office eigentlich gar nichts drin.
- 1:20:23Ralf Bendrath: Da steht nur, das soll irgendwie das alles irgendwie koordinieren und helfen.
- 1:20:26Ralf Bendrath: Aber da muss man sich so ein bisschen durch den Text wühlen.
- 1:20:28Ralf Bendrath: In den einzelnen Punkten kommt dann sowas wie zum Beispiel die Entwicklung für
- 1:20:31Ralf Bendrath: Modellverträge zwischen KI,
- 1:20:36Ralf Bendrath: Hochrisiko-KI-Anbietern und Drittparteien, die irgendwie Komponenten und andere
- 1:20:42Ralf Bendrath: Unterstützungs-Sachen liefern.
- 1:20:44Ralf Bendrath: Dann, was heißt Template nochmal?
- 1:20:47Tim Pritlove: Vorlage.
- 1:20:47Ralf Bendrath: Eine Vorlage entwickeln für Inklusive eines automatisierten Tools,
- 1:20:53Ralf Bendrath: damit Anbieter von KI ihre Grundrechtefolgeabschätzungen einfacher machen können.
- 1:20:59Ralf Bendrath: Dann soll sie dabei helfen, dass die Industrie Codes of Practice entwickelt,
- 1:21:05Ralf Bendrath: also Verhaltenskodizes.
- 1:21:07Ralf Bendrath: Und das ist ganz interessant. Das ist immer noch eine Sache der Industrie,
- 1:21:10Ralf Bendrath: wie bei vielen anderen Codes of Conduct oder Codes of Practice.
- 1:21:12Ralf Bendrath: Aber da steht jetzt drin, wenn zwölf Monate nach dem Inkrafttreten des AI Act
- 1:21:17Ralf Bendrath: diese Codes of Practice noch nicht da sind oder die Kommission, also das AI Office,
- 1:21:22Ralf Bendrath: findet, dass die nicht gut genug sind, dann kann die Kommission selber bestimmte
- 1:21:26Ralf Bendrath: Standards nochmal verbindlich entscheiden. Ja.
- 1:21:30Ralf Bendrath: Dann soll das AI-Office die technische Dokumentation von General-Purpose-AI-Modellen,
- 1:21:35Ralf Bendrath: also allgemeinen Zweck, was ist das General-Purpose?
- 1:21:39Arnika Zinke: Allzweck-Modellen.
- 1:21:40Ralf Bendrath: Allzweck-KI-Modellen überprüfen. Dann soll sie eine Vorlage bereitstellen für
- 1:21:47Ralf Bendrath: eine Zusammenfassung der Inhalte, mit denen die KI trainiert wurde und so weiter und so weiter.
- 1:21:55Ralf Bendrath: Und dann in dem eigentlichen Artikel 64, der dieses AI-Office sozusagen etabliert,
- 1:22:01Ralf Bendrath: steht eigentlich nur, the Commission shall develop union expertise and capabilities
- 1:22:05Ralf Bendrath: in the field of AI through the AI-Office. Und das ist eigentlich so der Kern.
- 1:22:09Ralf Bendrath: Das war ein Tipp, den wir damals bei einer Anhörung gekriegt haben von Frances
- 1:22:12Ralf Bendrath: Haugen, der Facebook-Whistleblowerin, die uns geraten hat, Leute,
- 1:22:16Ralf Bendrath: es gibt nicht genug KI-Expertinnen und Experten in der Welt,
- 1:22:20Ralf Bendrath: um alle 27 Mitgliedstaaten ihre eigenen Expertisezentren aufbauen zu lassen.
- 1:22:25Ralf Bendrath: Das müsst ihr europäisch bündeln.
- 1:22:27Ralf Bendrath: Und das war sozusagen die ganze Idee hinter diesem AI-Office,
- 1:22:29Ralf Bendrath: dass man sozusagen hier einen Pool von Expertinnen und Experten hat,
- 1:22:32Ralf Bendrath: die dann eben den Mitgliedstaaten auch sozusagen beispringen und die unterstützen
- 1:22:36Ralf Bendrath: können bei der Umsetzung.
- 1:22:38Tim Pritlove: Klingt jetzt nicht falsch.
- 1:22:40Arnika Zinke: Ja, ich wollte nur noch mal sagen, dass das AI-Office auch schon eine Aufsichtsfunktion
- 1:22:45Arnika Zinke: bei den General Purpose AI-Modellen hat.
- 1:22:48Arnika Zinke: Und das war ein Zusatzbereich, den es im Kommissionsvorschlag nicht gegeben
- 1:22:55Arnika Zinke: hat, nämlich diese Allzweck-Modelle.
- 1:22:57Arnika Zinke: Und das war ein spezifischer Bereich, wo das Parlament ein komplettes Kapitel
- 1:23:02Arnika Zinke: quasi hinzugefügt hat, weil das Parlament eben gesagt hat, okay,
- 1:23:05Arnika Zinke: es ist so schön, dass wir KI-Systeme regulieren, aber es gibt ja ein Modell,
- 1:23:09Arnika Zinke: das vor dem KI-System kommt, auf dem das KI-System oft basiert,
- 1:23:12Arnika Zinke: wo quasi die Regeln eigentlich jetzt nicht da sind, vor allem,
- 1:23:16Arnika Zinke: weil das ja alles auf dieses Hochrisiko zugemünzt ist.
- 1:23:19Arnika Zinke: Von grüner Seite, unsere Idee war ursprünglich, dass wir sagen,
- 1:23:22Arnika Zinke: alle Allzweckmodelle sollten alle Hochrisikoanforderungen eigentlich auch erfüllen.
- 1:23:27Arnika Zinke: Das ging aber nicht durch und deswegen haben wir eben einen Kompromiss gefunden,
- 1:23:31Arnika Zinke: verschiedene Anforderungen, die quasi auf den Hochrisikoregelungen basieren,
- 1:23:36Arnika Zinke: aber quasi hochrisikoleit auch für diese Allzweckmodelle umzusetzen.
- 1:23:41Arnika Zinke: Und da hat das KI-Büro jetzt die Funktion.
- 1:23:46Arnika Zinke: Zu unterscheiden, welche der Modelle quasi nur die einfachen Dokumentations-
- 1:23:51Arnika Zinke: und Transparenzpflichten erfüllen müssen oder welche Modelle quasi extra Anforderungen
- 1:23:57Arnika Zinke: erfüllen müssen, also quasi in den Top-Tier fallen.
- 1:24:00Arnika Zinke: Also es gibt zwei Stufen für die Modelle und Modelle, wer zum Beispiel eben GPT-free,
- 1:24:07Arnika Zinke: worauf jetzt Chat-GPT basiert oder ja, also verschiedene Large-Language-Models
- 1:24:12Arnika Zinke: zum Beispiel, aber auch, was auch immer in der Zukunft kommen mag,
- 1:24:16Arnika Zinke: Und die stärkeren Regeln wären dann zum Beispiel Red Teaming,
- 1:24:20Arnika Zinke: also interne Risikoanalyse bzw.
- 1:24:24Arnika Zinke: Risikotesten von möglichen Problemen innerhalb des Modells.
- 1:24:28Arnika Zinke: Und das war eben ein komplett neuer Bereich, den das KI-Gesetz selbst und die
- 1:24:32Arnika Zinke: Kommission überhaupt nicht vorhergesehen hatte. Und die jetzt der Kommission
- 1:24:36Arnika Zinke: deutlich mehr Macht geben, als eigentlich auch vorhergesehen war.
- 1:24:41Arnika Zinke: Weil eigentlich war es wirklich gedacht, dass es national eben über die Market
- 1:24:45Arnika Zinke: Surveillance Authorities und die Data Protection Authorities in jedem Mitgliedstaat
- 1:24:50Arnika Zinke: einzeln die KI-Systeme überwacht werden.
- 1:24:52Arnika Zinke: Und jetzt sind die ganzen Modelle ausgelagert zu dem AI-Office,
- 1:24:57Arnika Zinke: das eben nicht nur eben die ganzen Punkte erfüllen kann, die Ralf vorhin schon
- 1:25:01Arnika Zinke: erwähnt hat, sondern eben auch einteilen kann,
- 1:25:04Arnika Zinke: wer das quasi Modell leiht und wer das Modell, das quasi einen höheren Impact
- 1:25:09Arnika Zinke: hat und deswegen weitere Anforderungen erfüllen muss.
- 1:25:12Arnika Zinke: Und das ist auch insofern interessant, weil in der Zukunft das AI-Office auch
- 1:25:19Arnika Zinke: weitere problematische oder impactful Modelle hinzufügen kann in den Top Tier
- 1:25:25Arnika Zinke: und deswegen ja relativ viel Macht bekommt.
- 1:25:28Ralf Bendrath: Und wir wissen seit heute Morgen schon, wer der Chef wird.
- 1:25:32Thomas Lohninger: Bevor wir dazu kommen, die generelle Struktur davon, dass wir das mal wiederholen.
- 1:25:36Thomas Lohninger: Also an sich war gedacht, die ganze Rechtsdurchsetzung über diese nationalen
- 1:25:41Thomas Lohninger: Marktaufsichtsbehörden zu machen.
- 1:25:43Thomas Lohninger: Und jetzt ist sozusagen auf Bestreben des Parlaments hin,
- 1:25:47Thomas Lohninger: dieses AI-Office bei der Kommission mächtiger geworden in Bezug auf das Einstufen
- 1:25:54Thomas Lohninger: von konkreten KI-Systemen gemäß ihrem Risikogehalt.
- 1:25:58Thomas Lohninger: Halt dieser generellen Modelle, General Purpose Modelle, da kann man sich wahrscheinlich
- 1:26:04Thomas Lohninger: so die klassischen Large Language Models vorstellen, oder? Ja?
- 1:26:08Thomas Lohninger: Unique. Und du hast dann aber am Ende eigentlich so welche Auflagen,
- 1:26:14Thomas Lohninger: weil für mich ist so, das habe ich auch mit Kolleginnen schon diskutiert aus
- 1:26:18Thomas Lohninger: der Zivilgesellschaft,
- 1:26:19Thomas Lohninger: es ist so ein bisschen sehr weird, jetzt zu sehen, dass eine Marktaufsicht auf
- 1:26:24Thomas Lohninger: einmal Grundrechte einhalten soll.
- 1:26:27Thomas Lohninger: Also wo sind wir denn jetzt mal so ein Testcase von, ich weiß nicht,
- 1:26:33Thomas Lohninger: Clearview AI haben wir vorher gesagt, das ist sowieso ganz verboten,
- 1:26:36Thomas Lohninger: aber was gibt es denn so für Beispiele, die ihr nennen könnt,
- 1:26:39Thomas Lohninger: wo nach eurer Lesart des Gesetzes einem Unternehmen auch Konsequenzen drohen,
- 1:26:44Thomas Lohninger: wenn durch die eigenen Systeme wirklich Schaden auftritt bei Menschen.
- 1:26:48Thomas Lohninger: Ist das alles nur eine theoretische Sache, wo ich eine Abschätzung irgendwo hinterlegen muss?
- 1:26:54Thomas Lohninger: Oder kann ich da zum Beispiel auch als Betroffener klagen? Wir haben ja,
- 1:26:58Thomas Lohninger: glaube ich, auch in der Sendung zuletzt schon diesen British Post Office Scandal diskutiert,
- 1:27:03Thomas Lohninger: wo aufgrund eines Fehlers eines Computersystems hunderte Menschen fälschlicherweise
- 1:27:09Thomas Lohninger: deren Existenzen zerstört wurden.
- 1:27:13Thomas Lohninger: Ja, hätte man vielleicht im Vorhinein auch nicht gesagt, dass es ein Hochrisikosystem sein soll.
- 1:27:18Thomas Lohninger: War es dann aber am Ende? Also würde der AI-Act bei solchen Fällen helfen und wenn ja, wie?
- 1:27:26Arnika Zinke: Also zum einen zur AI-Liability, also quasi zu dem Schwestergesetz zur Produkthaftungsrichtlinie.
- 1:27:35Arnika Zinke: Da warten wir ja immer noch darauf, dass es da in dem Bereich eine Entscheidung geben wird.
- 1:27:39Arnika Zinke: Und das würde, glaube ich, vieles von den Fällen, die du gerade genannt hast,
- 1:27:42Arnika Zinke: also wie kann ich persönlich vorgehen und persönlichen Schaden,
- 1:27:45Arnika Zinke: Was es schon gibt, ist, dass das KI-Gesetz auch die Möglichkeit hat,
- 1:27:50Arnika Zinke: über die Collective Redress, also kollektive Verbandsklage, dass Verbandsklagen
- 1:27:59Arnika Zinke: quasi ermöglicht werden.
- 1:28:01Arnika Zinke: Das heißt, wenn du quasi nachweisen kannst, dass der Hersteller zum Beispiel
- 1:28:05Arnika Zinke: die Anforderungen nicht erfüllt
- 1:28:06Arnika Zinke: hat im Hochrisikobereich, dann wäre zum Beispiel so eine Klage möglich.
- 1:28:10Arnika Zinke: Wir haben auch eingeführt, dass eine individuelle Person auch zu einer nationalen
- 1:28:15Arnika Zinke: Behörde gehen kann und sich beschweren kann, wenn man glaubt,
- 1:28:17Arnika Zinke: dass innerhalb dieser Regulierung gewisse Pflichten nicht erfüllt worden sind.
- 1:28:22Thomas Lohninger: Aber ich hake genau da ein. Also wenn ich jetzt ein Unternehmer bin mit einer
- 1:28:26Thomas Lohninger: ganz bösen Absicht, so ein typischer Überwachungsschweinekonzept,
- 1:28:29Thomas Lohninger: kann ich sozusagen hier meinen Kopf aus der Schlinge ziehen,
- 1:28:32Thomas Lohninger: wenn ich genügend Papier produziere und über alle diese Risiken ganz viele Abschätzungen mache?
- 1:28:37Thomas Lohninger: Oder ist am Ende der real auftretende Schaden das, was auch zu der Strafe führen kann?
- 1:28:45Thomas Lohninger: Egal wie viel Papier ich da vielleicht rundherum mir zugekauft habe,
- 1:28:50Thomas Lohninger: um das zu kaschen, um das irgendwie so einzukleiden.
- 1:28:53Ralf Bendrath: Ja, wenn du es als böser Überwachungskapitalist mit einer fiesen Firma es schaffst,
- 1:28:59Ralf Bendrath: irgendwie alle Auflagen des AI-Acts zu erfüllen, inklusive Grundrechte, Folgenabschätzung,
- 1:29:04Ralf Bendrath: inklusive die Auflagen zu Data Governance, dass du zum Beispiel gucken musst,
- 1:29:09Ralf Bendrath: ob in deinen Trainingsdaten irgendwelche Biases versteckt sind und wenn ja,
- 1:29:12Ralf Bendrath: musst du das irgendwie angehen und so. Wenn du das alles schaffst, dann bist du raus.
- 1:29:16Ralf Bendrath: Ja, ich möchte nur den fiesen Überwachungskapitalisten sehen, der das hinkriegt.
- 1:29:19Ralf Bendrath: Aber grundsätzlich, ich glaube, die Logik ist sozusagen, wenn ein konkreter
- 1:29:23Ralf Bendrath: Schaden entsteht, dann greift sowieso die Produkthaftungsrichtlinie jetzt,
- 1:29:26Ralf Bendrath: weil die jetzt ja auch für alle digitalen Produkte gilt.
- 1:29:30Ralf Bendrath: Wobei, nee, warte, die greift ja nur, wenn ich mir das Produkt selber gekauft habe. Stimmt.
- 1:29:34Ralf Bendrath: Nicht, wenn ich Opfer von einem Produkt von jemand anderem bin.
- 1:29:37Ralf Bendrath: Aber der AI-Act, soweit ich es im Kopf habe, aber correct me if I'm wrong, Annika,
- 1:29:42Ralf Bendrath: der sieht Strafen und Ähnliches dann vor, wenn die Anbieter von KI-Systemen
- 1:29:47Ralf Bendrath: oder auch die Nutzer von KI-Systemen gegen Regeln des AI-Acts verstoßen.
- 1:29:52Ralf Bendrath: Unabhängig davon, ob am Ende ein Schaden rauskommt oder nicht.
- 1:29:55Ralf Bendrath: Schaden kann dann immer auch noch zivilrechtlich und anders wie irgendwie eingeklagt werden.
- 1:29:59Tim Pritlove: Aber da will ich jetzt nochmal einhaken, weil ich fand das Beispiel,
- 1:30:03Tim Pritlove: was Thomas genannt hat, mit diesem Post-Office-Skandal eigentlich ganz plastisch,
- 1:30:07Tim Pritlove: weil das ja eine, also da ist der negative Impact ja sehr offensichtlich,
- 1:30:13Tim Pritlove: ja, also da sind ja, Leute haben sich ja umgebracht deswegen,
- 1:30:16Tim Pritlove: weil eine Software falsch gerechnet hat und wie du schon sagst,
- 1:30:21Tim Pritlove: gekauft haben sie aber das Produkt nicht, sondern sie mussten das sozusagen
- 1:30:24Tim Pritlove: im Rahmen ihrer vertraglichen Bindung mit dem Post Office,
- 1:30:28Tim Pritlove: UK Post Office sozusagen benutzen oder es wurde für sie benutzt und es war eigentlich
- 1:30:33Tim Pritlove: die Software der Post sozusagen.
- 1:30:35Tim Pritlove: Also ist irgendetwas in diesem AI-Eck, wo ihr sagen würdet, hier greift jetzt
- 1:30:40Tim Pritlove: diese Idee der Entscheidungsfindung und der Macht der Algorithmen,
- 1:30:44Tim Pritlove: die diesen Fall abgedeckt hätte?
- 1:30:47Arnika Zinke: Also ich glaube, es geht eher darum, dass die Produkte, die zukünftig auf den
- 1:30:52Arnika Zinke: Markt gebracht werden, gewisse Standards erfüllen müssen.
- 1:30:55Arnika Zinke: Das heißt, die Wahrscheinlichkeit, dass so ein schädliches oder ein schadhaftes
- 1:31:02Arnika Zinke: Produkt auf den Markt gebracht wird, versucht der AI zu minimieren,
- 1:31:06Arnika Zinke: indem er eben Data Governance, Cyber Security und so weiter vorschlägt.
- 1:31:11Arnika Zinke: Und alles, was dann quasi später passiert, findet eben in der AI Liability Directive,
- 1:31:17Arnika Zinke: die es noch nicht gibt, also KI-Haftungsrichtlinie statt.
- 1:31:22Arnika Zinke: Und der Hayek versucht quasi nur sicherzustellen, dass die Produkte,
- 1:31:25Arnika Zinke: die in Zukunft in der EU auf den Markt kommen,
- 1:31:28Arnika Zinke: ein Minimum an Standards erfüllen, die wir quasi in unseren EU-Values als wichtig
- 1:31:35Arnika Zinke: genug ansehen, damit KI auch trustworthy wird,
- 1:31:39Arnika Zinke: also vertrauensbindend, also dass man quasi ein gewisses Vertrauen in die KI hat.
- 1:31:47Tim Pritlove: Ja gut, aber hier ist es ja noch nicht mal KI. Hier ist ja Plus und Minus nicht
- 1:31:52Tim Pritlove: richtig benutzt worden.
- 1:31:55Arnika Zinke: Dann würde es eigentlich nicht in den Scope vom KI-Gesetz kommen.
- 1:31:58Tim Pritlove: Das heißt, das ist sozusagen immer noch nicht sanktioniert.
- 1:32:02Tim Pritlove: Ja, nee, verrechnen dürft ihr euch, aber ihr dürft nicht im abstrakten Raum
- 1:32:06Tim Pritlove: falsch sein, nur im konkreten. Ist auch ein bisschen doof, oder?
- 1:32:10Ralf Bendrath: Ja, aber dass die sich da einfach stumpf verrechnet haben, das wird ja wohl
- 1:32:13Ralf Bendrath: irgendwelche rechtlichen Folgen haben müssen, oder?
- 1:32:15Tim Pritlove: Ja gut, also ich meine, das geht jetzt schon seit über zehn Jahren ist es bekannt,
- 1:32:21Tim Pritlove: dass sie sich verrechnet haben und es ist ja jetzt erst durch eine Fernsehserie
- 1:32:25Tim Pritlove: im englischen Fernsehen und britischen Fernsehen überhaupt erst zu einem Skandal geworden,
- 1:32:32Tim Pritlove: weil dann die Öffentlichkeit gesagt hat, was geht denn hier ab und in der Zwischenzeit,
- 1:32:36Tim Pritlove: wie gesagt, Leute hat das halt in den finanziellen Ruin getrieben und mehrere
- 1:32:41Tim Pritlove: der Betroffenen haben sich halt einfach das Leben genommen.
- 1:32:43Tim Pritlove: Und das ist halt schon irgendwie so ein Level, wo ich sagen würde,
- 1:32:46Tim Pritlove: da kann man schon mal rein regulieren, um sicherzustellen, dass so etwas nicht geht.
- 1:32:51Tim Pritlove: Deswegen frage ich halt einfach ganz blöd, seht ihr jetzt irgendwas in diesem
- 1:32:54Tim Pritlove: AI-Act oder in dieser Product-Liability-Richtlinie, das so etwas verhindert
- 1:33:01Tim Pritlove: oder ist das jetzt tatsächlich noch nicht mal abgedeckt?
- 1:33:04Ralf Bendrath: Wenn es um einfaches Plus-Minus geht, ist es nicht abgedeckt.
- 1:33:07Ralf Bendrath: Das ist ja nicht unter KI.
- 1:33:10Tim Pritlove: Also verrechnen darf man sich nach wie vor, nur nicht falsch schwurbeln.
- 1:33:15Arnika Zinke: Also es gab auch im KI-Gesetz ganz stark den Push, es nur auf Machine Learning
- 1:33:21Arnika Zinke: zu begrenzen, also KI nur als Machine Learning zu begreifen.
- 1:33:25Arnika Zinke: Und es hat uns sehr viel Kraft gekostet, dass zumindest Teile von Automated
- 1:33:30Arnika Zinke: Decision Making weiterhin im Skop von KI-Gesetz drin sind. Also so einfachere
- 1:33:35Arnika Zinke: Software ist im KI-Gesetz auf jeden Fall nicht mit ihm begriffen.
- 1:33:39Tim Pritlove: Ja gut, aber ich meine, in dem Fall war es ja so,
- 1:33:44Tim Pritlove: dass den Vertragspartnern des Post Office quasi ein Fehler nachgewiesen wurde,
- 1:33:50Tim Pritlove: den es so nie gegeben hat und das ist ja eigentlich auch eine Entscheidungsfindung.
- 1:33:55Tim Pritlove: Es war nämlich die Entscheidungsfindung mit, deine Abrechnung stimmt nicht, obwohl sie stimmt.
- 1:34:01Tim Pritlove: So und damit ist ja sozusagen von einer Software eine falsche Entscheidung gefällt
- 1:34:06Tim Pritlove: worden, die dann auch später niemand anzuzweifeln bereit war,
- 1:34:10Tim Pritlove: geschweige denn irgendeine Verantwortung dafür zu übernehmen.
- 1:34:13Tim Pritlove: Und alle haben sich gegenseitig da in Schwarzenpeter zugezogen und alle, die das halt,
- 1:34:17Tim Pritlove: es wurde ja noch dadurch verschlimmert, dass halt das Post Office auch noch
- 1:34:20Tim Pritlove: in UK, gut ich weiß jetzt nicht EU und so, aber es geht ja jetzt nur sozusagen
- 1:34:24Tim Pritlove: um so einen Fall, der ja durchaus realistisch ist, weil der hat ja stattgefunden,
- 1:34:27Tim Pritlove: dass das Post Office halt auch noch so einen anderen rechtlichen Status hat und so weiter.
- 1:34:32Tim Pritlove: Also es war also generell sehr schwierig, da überhaupt irgendwie gegenzugehen
- 1:34:35Tim Pritlove: und es hat die Leute halt einfach mal komplett ruiniert.
- 1:34:38Tim Pritlove: Das ist ja schon ein ziemlich harter Tobak. Also in meiner Wahrnehmung ist auch
- 1:34:43Tim Pritlove: eine Berechnung, eine Saldos, eine automatische Entscheidungsfindung,
- 1:34:49Tim Pritlove: weil ja da am Ende eine Wahrheit geliefert wird.
- 1:34:52Tim Pritlove: Nämlich die Wahrheit mit, du hast uns genug Geld gegeben oder du hast uns nicht genug Geld gegeben.
- 1:34:58Arnika Zinke: Ich verstehe dein Reasoning und es ist nicht so, dass ich dir widerspreche.
- 1:35:04Arnika Zinke: Ich kann dir aber sagen, dass genau diese einfacheren Entscheidungsfindungen,
- 1:35:07Arnika Zinke: genau das ist, was der Großteil der Personen, die am Verhandlungstisch saßen,
- 1:35:12Arnika Zinke: vor allem die Kommission und der Rat, auf gar keinen Fall drin haben wollten.
- 1:35:15Arnika Zinke: Also da ging es schon darum zu sagen, es muss etwas sein, was schon auf höheren
- 1:35:21Arnika Zinke: Ebenen quasi arbeitet und jetzt nicht ganz einfache Rechnungen und Excel-Tabellen.
- 1:35:25Arnika Zinke: In Excel-Tabellen war immer so ein Beispiel, was sie gebracht haben.
- 1:35:28Tim Pritlove: Die müssen auch weiterhin falsch sein dürfen, sonst läuft gar nichts mehr.
- 1:35:34Thomas Lohninger: Ich würde da gerne noch einen zweiten Fall reinnehmen, und zwar dieser niederländische
- 1:35:38Thomas Lohninger: Skandal, wo die Steuerbehörden sich vertan haben, wo ja auch die Regierung von
- 1:35:43Thomas Lohninger: Mark Rutte darüber gestolpert ist.
- 1:35:45Thomas Lohninger: Und das als Frage zu formulieren,
- 1:35:48Thomas Lohninger: es macht für den AI keinen Unterschied, ob jetzt ein Unternehmen hier dieses
- 1:35:55Thomas Lohninger: Produkt auf den Markt bringt und diesen Fehler macht oder diesen Bias hat oder
- 1:35:59Thomas Lohninger: ob es die öffentliche Hand ist, wo man ja vielleicht sagen könnte,
- 1:36:02Thomas Lohninger: da wollen wir höhere Anforderungen haben.
- 1:36:05Thomas Lohninger: Weil beim Unternehmen kann ich vielleicht noch irgendwie sagen,
- 1:36:08Thomas Lohninger: okay, gut, da werde ich kein Kunde.
- 1:36:10Thomas Lohninger: Aber wenn es jetzt irgendwelche Behörden sind, die solche algorithmischen Systeme
- 1:36:13Thomas Lohninger: anwenden, habe ich oft keine Wahl.
- 1:36:16Thomas Lohninger: Gibt es da höhere Auflagen für die öffentliche Hand?
- 1:36:20Arnika Zinke: Also es gibt grundsätzlich, die Hauptlast der Anforderungen liegt auf jeden
- 1:36:24Arnika Zinke: Fall beim Hersteller und nicht beim Anwender.
- 1:36:26Arnika Zinke: Also das ist mal so die grundsätzliche Idee auch vom KI-Gesetz.
- 1:36:29Arnika Zinke: Das heißt, wenn, dann würde wahrscheinlich, also gerade wenn die KI in irgendeiner
- 1:36:34Arnika Zinke: Form fehlerhaft, also zum Beispiel eben Bias hat, dann würde das eher auf den
- 1:36:37Arnika Zinke: Hersteller fahren als auf den Benutzer.
- 1:36:39Arnika Zinke: Was es aber eben schon gibt und das ist eben vor allem für Behörden,
- 1:36:42Arnika Zinke: wird es wichtig sein, ist eben diese Grundrechtefolgenabschätzung,
- 1:36:46Arnika Zinke: die vielleicht in dem Fall, den du genannt hast, gegriffen hätte,
- 1:36:49Arnika Zinke: weil sie sich dann schon bewusst gewesen wären.
- 1:36:51Arnika Zinke: Das geht aber dann schon gegen Personen, die dann zum Beispiel sozial benachteiligt
- 1:36:55Arnika Zinke: sind. Aber die Hauptklasse wäre eigentlich bei dem Hersteller.
- 1:36:58Arnika Zinke: Und es gibt in dem Sinne ein paar zusätzliche Anforderungen für Behörden.
- 1:37:04Arnika Zinke: Aber trotzdem muss eigentlich der Hersteller garantieren und sicherstellen,
- 1:37:08Arnika Zinke: dass die KI in Ordnung ist.
- 1:37:11Ralf Bendrath: Aber wenn ich das ergänzen kann, dieser holländische Sozialversicherungsfall,
- 1:37:15Ralf Bendrath: der hat uns natürlich hier alle bewegt.
- 1:37:17Ralf Bendrath: Und eine unserer Co-Verhandlerinnen war ja die grüne Abgeordnete aus Holland,
- 1:37:21Ralf Bendrath: Kim van Starrentaak im Innenmarktausschuss, neben Sergej Labudinski im Innenausschuss.
- 1:37:25Ralf Bendrath: Und da ist jetzt im Annex 3 für die Hochrisiko-KIs Punkt 5 drin,
- 1:37:31Ralf Bendrath: extra, der war auch schon vorher von der Kommission, den haben wir nur ein bisschen
- 1:37:33Ralf Bendrath: aufgebohrt, alles, wo eine KI eingesetzt wird zum Entscheiden,
- 1:37:37Ralf Bendrath: ob jemand Zugang zu essentiellen privaten Diensten oder essentiellen öffentlichen
- 1:37:43Ralf Bendrath: Diensten und Benefits, also...
- 1:37:48Thomas Lohninger: Also staatliche Leistungen, Sozialhilfe.
- 1:37:51Ralf Bendrath: Oder auch essentielle private Leistungen, wenn das irgendwie Versicherungsleistungen
- 1:37:54Ralf Bendrath: sind oder sowas, keine Ahnung.
- 1:37:56Ralf Bendrath: Dann fällt das auf jeden Fall unter Hochrisiko-KI, man muss die ganzen zusätzlichen Auflagen erfüllen.
- 1:38:02Ralf Bendrath: Unter anderem, wenn es um Gesundheitsdienste geht, aber auch darum zu entscheiden,
- 1:38:08Ralf Bendrath: ob jemand Anspruch auf irgendwelche Leistungen hat.
- 1:38:11Ralf Bendrath: Ob es Renten sind, Sozialversicherungsansprüche, was auch immer.
- 1:38:15Ralf Bendrath: Oder wenn man in dem Kontext versucht, die Kreditwürdigkeit von Leuten abzuschätzen mittels KI.
- 1:38:21Ralf Bendrath: Das ist auf jeden Fall auch Hochrisiko und braucht dann eben die ganzen Dokumentationspflichten,
- 1:38:25Ralf Bendrath: Bias, es muss angegangen werden in Trainingsdaten und, und, und.
- 1:38:29Thomas Lohninger: Das heißt, um es pragmatisch zu machen, wenn ich meine Haushaltsversicherung
- 1:38:33Thomas Lohninger: mir verwehrt wird oder das Jobcenter sagt,
- 1:38:37Thomas Lohninger: du kriegst deine Arbeitslose jetzt nicht mehr oder die Schulung nicht mehr bezahlt,
- 1:38:42Thomas Lohninger: dann wäre das Hochrisiko, auch wenn das vielleicht nur mit Excel passiert.
- 1:38:46Ralf Bendrath: Nee, nur wenn es auf Basis von einer KI passiert.
- 1:38:49Ralf Bendrath: Also wenn es schon irgendwie ein Machine Learning System dahinter hängen.
- 1:38:54Ralf Bendrath: Was aber immer ergreift, unabhängig vom AI Act, ist dann der Artikel in der
- 1:38:58Ralf Bendrath: DSGVO zu Profiling und automatisierter Entscheidungsfindung,
- 1:39:02Ralf Bendrath: wo ja eh schon drin steht,
- 1:39:03Ralf Bendrath: man darf als natürliche Person nicht sozusagen Opfer sein von einer negativen
- 1:39:09Ralf Bendrath: Entscheidung, die ausschließlich mit automatisierten Entscheidungssystemen getroffen wurde.
- 1:39:15Ralf Bendrath: Also da ist auch immer noch ein Mensch verantwortlich. Und ich habe immer noch
- 1:39:18Ralf Bendrath: das Recht, mich da auch zu beschweren entsprechend nach DSGVO und so.
- 1:39:22Tim Pritlove: Ja, ich denke, es wird dann nicht so lange dauern, bis die AI auch in Excel das Sagen hat.
- 1:39:26Tim Pritlove: Von daher fällt es dann vielleicht irgendwann doch wieder da drunter.
- 1:39:31Tim Pritlove: Na gut, also ein paar Lücken bestehen auf jeden Fall noch.
- 1:39:34Arnika Zinke: Ja, wenn du gerade Lücken ansprichst, kann ich noch eine Lücke nennen,
- 1:39:39Arnika Zinke: die wir leider im Endgesetz jetzt drinnen haben.
- 1:39:41Arnika Zinke: Also ich habe schon vorhin erwähnt, dass quasi das ganze Gesetz das Wichtigste
- 1:39:44Arnika Zinke: ist eigentlich, okay, jetzt neben den General Purpose AI Punkten,
- 1:39:48Arnika Zinke: die gut sind, die Hochrisikofälle und die Hochrisiko-KI.
- 1:39:52Arnika Zinke: Und da gibt es einen Artikel, der quasi sagt, was fällt in Hochrisiko und was
- 1:39:56Arnika Zinke: nicht. Das ist der Artikel 6.
- 1:39:57Arnika Zinke: Und das war eigentlich die Krux in dem Ganzen oder das Wichtigste in dem ganzen
- 1:40:02Arnika Zinke: Gesetz, nämlich was fällt also aus dem Annex, den wir dazu haben,
- 1:40:06Arnika Zinke: quasi die Bereiche drinstehen, tatsächlich in alle Anforderungen quasi, die im Gesetz stehen.
- 1:40:12Arnika Zinke: Und da gibt es jetzt quasi drei Möglichkeiten, wie man sich aus dem Gesetz wieder
- 1:40:16Arnika Zinke: rausholen kann, die relativ weit formuliert sind und möglicherweise auch noch
- 1:40:23Arnika Zinke: in Zukunft zu Problemen führen könnten, weil sie so weit formuliert sind.
- 1:40:26Arnika Zinke: Das heißt, man kann sich dann eigentlich wieder aus den Hochrisikoverpflichtungen
- 1:40:30Arnika Zinke: rausholen, wenn man in diese drei Bereiche fällt.
- 1:40:34Arnika Zinke: Die ganze Raison des Gesetzes, auf dem die Kommission auch ihre Logik aufgebaut
- 1:40:40Arnika Zinke: hat, ist eigentlich mit diesem Artikel 6 und mit diesen Ausnahmen ein bisschen zerstört worden.
- 1:40:45Arnika Zinke: Und das ist etwas, das für uns sehr hart hinzunehmen.
- 1:40:50Thomas Lohninger: Was sind das für Ausnahmen?
- 1:40:52Arnika Zinke: Ein ganz kleiner Moment. Also, wenn die KI nur narrow procedural,
- 1:41:00Arnika Zinke: also prozedurale Anwendungen sind, die quasi so ein bisschen nebenbei laufen,
- 1:41:07Arnika Zinke: aber nicht quasi das Hauptressort der KI sind, dann kann man sich rausnehmen,
- 1:41:12Arnika Zinke: was jetzt genau diese narrow procedural tasks sind.
- 1:41:15Arnika Zinke: Haben wir jetzt ein bisschen im Erwägungsgrund erklärt, könnte man aber auch
- 1:41:18Arnika Zinke: relativ weit begreifen.
- 1:41:21Arnika Zinke: Dann sagt es, wenn die KI nur versucht, eine bereits ausgeführte menschliche
- 1:41:26Arnika Zinke: Aktivität zu verbessern, was ist eine bereits ausgeführte menschliche Aktivität?
- 1:41:30Arnika Zinke: Das könnte alles sein. Ich glaube, Ralf hat gesagt oder jemand,
- 1:41:34Arnika Zinke: es könnte eine gebaute Pyramide sein.
- 1:41:36Arnika Zinke: Das ist ja auch eine beendete menschliche Aktivität. Also, ja,
- 1:41:41Arnika Zinke: problematisch, wenn das KI-System nur Decision-Making-Patterns versucht zu verbessern
- 1:41:49Arnika Zinke: und keine menschliche Entscheidung entwickelt.
- 1:41:57Arnika Zinke: Ersetzt.
- 1:41:59Thomas Lohninger: Aber das ist ja genauso wie das, was Ralfrat gesagt hat.
- 1:42:03Thomas Lohninger: Bei der DSGVO haben wir auch diesen guten Artikel, die automatisierten Entscheidungen,
- 1:42:07Thomas Lohninger: die sozusagen zustimmungspflichtig ist, wenn sie ausschließlich von einer Maschine getroffen wird.
- 1:42:13Thomas Lohninger: Also solange da irgendwo noch ein Mensch sitzt, der die ganze Zeit nur auf OK
- 1:42:17Thomas Lohninger: klickt zu dem, was die Maschine ihm vorgibt, kannst du dich eigentlich wieder rausreden.
- 1:42:23Arnika Zinke: Ja, was höchst problematisch ist und was eben auch zum Beispiel dieser Human
- 1:42:27Arnika Zinke: Oversight Artikel, also eine dieser Regeln, die die Hochrisiko-KI zu befolgen
- 1:42:32Arnika Zinke: haben, ist eben, dass es einen Human in the Loop gibt, also einen Menschen,
- 1:42:35Arnika Zinke: der da sitzt und eben okay drückt.
- 1:42:37Arnika Zinke: Und wir haben quasi auch versucht, bei den Verhandlungen zu erklären,
- 1:42:40Arnika Zinke: dass es sowas wie Automation Bias gibt, also dass man quasi davon ausgeht,
- 1:42:44Arnika Zinke: dass wenn die KI sagt, naja, die Person ist in irgendeiner Form kriminell,
- 1:42:47Arnika Zinke: dann wird das schon stimmen, weil die hat das ja aufgrund von irgendwelchen Parametern bemessen.
- 1:42:51Arnika Zinke: Und das ist eben genau das Problem, dass nur weil ein Mensch da sitzt und das
- 1:42:55Arnika Zinke: überprüft, das nicht immer mit einem großen Gedankengang einhergeht,
- 1:43:01Arnika Zinke: weil die Personen oft gar keine Zeit haben, sich da groß zu überlegen,
- 1:43:04Arnika Zinke: welche Parameter da jetzt in die KI angeflossen sind.
- 1:43:07Arnika Zinke: Und das ist natürlich schon problematisch, dass es jetzt diese Möglichkeiten
- 1:43:11Arnika Zinke: gibt, um sich quasi wieder aus dem AI rauszuholen.
- 1:43:14Arnika Zinke: Das gilt aber nur für KI-Systeme und nicht für die Modelle. Also für die Modelle
- 1:43:17Arnika Zinke: gibt es diesen Filter, in Artikel 6 für die gilt er nicht.
- 1:43:21Ralf Bendrath: Was wir in der Parlamentsposition, wenn ich mich richtig erinnere,
- 1:43:24Ralf Bendrath: dritte hatten, war ein ausdrückliches Verbot dafür, dass eine KI quasi Urteile
- 1:43:28Ralf Bendrath: schreiben darf, die der Richter am Ende nur noch unterzeichnet.
- 1:43:31Ralf Bendrath: Das ist aber leider im Trilog wieder rausgeflogen.
- 1:43:35Thomas Lohninger: Da würde ich gerne wissen, welcher Mitgliedstaat sich dafür eingesetzt hat,
- 1:43:38Thomas Lohninger: dass das künftig gehen kann.
- 1:43:40Ralf Bendrath: Keine Ahnung.
- 1:43:41Thomas Lohninger: Ja, wir haben da zu viel...
- 1:43:42Ralf Bendrath: Wir haben mit den Spaniern verhandelt vor allem. Aber wer dann dahinter steckt,
- 1:43:46Ralf Bendrath: ist uns immer so ein bisschen unklar, wenn man da nicht die Kontakte hat.
- 1:43:50Ralf Bendrath: Und natürlich eine Sache vielleicht noch zum Schluss.
- 1:43:53Ralf Bendrath: Das riesengroße Ding, das bis zum Schluss umstritten war und uns da irgendwie
- 1:43:56Ralf Bendrath: zwei Nächte noch gekostet hat, war halt die Frage mit Gesichtserkennung im öffentlichen Raum.
- 1:44:01Thomas Lohninger: Ja, ich wusste, dass das jetzt so kommt. Ich hätte dich sonst gleich danach
- 1:44:03Thomas Lohninger: gefragt. Wie ist das denn gelöst?
- 1:44:06Thomas Lohninger: Hier war die große Forderung der Zivilgesellschaft, Gesichtserkennung im öffentlichen
- 1:44:12Thomas Lohninger: Raum wirklich gänzlich als Hochrisikotechnik zu verbieten und daran anschließend
- 1:44:17Thomas Lohninger: natürlich auch alle anderen Formen biometrischer Erkennung am Gang,
- 1:44:21Thomas Lohninger: einfach alles, wo uns Bewegungsfreiheit im öffentlichen Raum weggenommen wird
- 1:44:26Thomas Lohninger: und Datenschutz eingeschränkt.
- 1:44:27Thomas Lohninger: Das war auch mit einer europäischen Bürgerinitiative nochmal bestärkt,
- 1:44:33Thomas Lohninger: diese Forderung, Reclaim Your Face, hieß die Kampagne.
- 1:44:36Thomas Lohninger: Und das hat es ja, glaube ich, auch in die Parlamentsposition geschafft.
- 1:44:42Thomas Lohninger: Nehmt uns nicht die Hoffnung. Was ist daraus geworden?
- 1:44:46Ralf Bendrath: Das übernehme ich mal, ja. Das ist eher mein Blutfallbereich.
- 1:44:49Ralf Bendrath: Ja, es steht jetzt in Artikel 5, Paragraph 1.h.
- 1:44:55Ralf Bendrath: Also Paragraph 1 ist, die folgenden KI-Praktiken sind verboten.
- 1:44:59Ralf Bendrath: Paragraph h, die Nutzung von Echtzeit-biometrischen Identifikationssystemen
- 1:45:04Ralf Bendrath: auf Entfernung in öffentlich zugänglichen Räumen für die Zwecke der Strafverfolgung.
- 1:45:11Ralf Bendrath: Ist verboten, steht so drin, aber leider ist der Satz dann noch nicht zu Ende.
- 1:45:14Ralf Bendrath: Der geht nämlich dann weiter, außer und insoweit, als solche Benutzung strikt
- 1:45:20Ralf Bendrath: notwendig ist für eines der folgenden Zwecke.
- 1:45:24Ralf Bendrath: Und dann kommen sozusagen die Ausnahmen, wo es dann doch erlaubt ist,
- 1:45:27Ralf Bendrath: die gezielte Suche nach spezifischen Opfern von Entführung oder Human Trafficking oder so.
- 1:45:34Ralf Bendrath: Zweitens die Verhinderung einer spezifischen,
- 1:45:39Ralf Bendrath: substanziellen und unmittelbar bevorstehenden Bedrohung für das Leben oder die
- 1:45:44Ralf Bendrath: physische Sicherheit von natürlichen Personen oder einer genuinen und gegenwärtigen
- 1:45:51Ralf Bendrath: oder vorhersehbaren Bedrohung einer terroristischen Attacke.
- 1:45:56Ralf Bendrath: Und drittens die Identifizierung und Lokalisierung von einer Person,
- 1:46:01Ralf Bendrath: die verdächtig ist, eine Straftat begangen zu haben, die mit einer Höchststrafe
- 1:46:08Ralf Bendrath: von mindestens vier Jahren Gefängnis bestraft werden kann.
- 1:46:11Ralf Bendrath: Also für die Zwecke wäre es noch erlaubt. Also die Idee war sozusagen dahinter
- 1:46:15Ralf Bendrath: dann am allerletzten Kompromiss, Donnerstag, Freitagnacht oder wann,
- 1:46:19Ralf Bendrath: kurz vor Weihnachten, dass wenn irgendwo jemand eine Tankstelle ausgeraubt hat
- 1:46:23Ralf Bendrath: und davonrennt oder davonfährt auf dem Motorrad oder so und vielleicht keinen
- 1:46:27Ralf Bendrath: Helm auf hat, dass man dann schnell in Echtzeit die Kameras,
- 1:46:30Ralf Bendrath: die es da in der Gegend gibt,
- 1:46:32Ralf Bendrath: wenn die sozusagen verbunden sind und Gesichtserkennung überhaupt können und
- 1:46:35Ralf Bendrath: sowas, einschaltet und sagt, hier, den finden wir mal diesen einen Räuber hier.
- 1:46:38Ralf Bendrath: Damit wir, solange der noch in der Nachbarschaft ist, irgendwie grob eine Chance
- 1:46:42Ralf Bendrath: haben, dass der irgendwie noch gefasst wird.
- 1:46:44Ralf Bendrath: Das war sozusagen die Idee. Da kann man dann sagen, ja, ist total offen und
- 1:46:48Ralf Bendrath: weit. Das hat aber bestimmte weitere Voraussetzungen noch.
- 1:46:51Ralf Bendrath: Das soll autorisiert werden von einer Justizbehörde oder einer anderen Behörde,
- 1:46:58Ralf Bendrath: die binnen der Entscheidungen treffen können, also de facto Staatsanwaltschaft
- 1:47:02Ralf Bendrath: dann wird das sein in der Praxis.
- 1:47:03Thomas Lohninger: Ein Richter?
- 1:47:04Ralf Bendrath: Ja, eben, Justiz oder Staatsanwaltschaft. Dann muss diese Behörde,
- 1:47:09Ralf Bendrath: die es anwenden will, vorher eine Grundrechtefolgenabschätzung gemacht haben mit dem System.
- 1:47:14Ralf Bendrath: Zumindest in der Regel, es gibt Ausnahmen. Dann muss es strikt limitiert sein in Bezug auf die Zeit,
- 1:47:23Ralf Bendrath: in der das gemacht werden darf,
- 1:47:25Ralf Bendrath: also die Dauer und den geografischen und persönlichen Anwendungsbereich.
- 1:47:29Ralf Bendrath: Du kannst ja nur die Nachbarschaft überwachen, aber nicht ganz Berlin oder so oder ganz Brüssel.
- 1:47:35Ralf Bendrath: Und jede Nutzung soll den zuständigen
- 1:47:39Ralf Bendrath: Marktaufsichtsbehörden und Datenschutzbehörden notifiziert werden.
- 1:47:44Ralf Bendrath: Und das Ganze ist aber sozusagen nur die Leitplanke. So weit darfst du maximal gehen.
- 1:47:50Ralf Bendrath: Das ist noch keine Rechtsgrundlage dafür. Es steht dann in § 5,
- 1:47:54Ralf Bendrath: um das machen zu können, müssen die Mitgliedstaaten selber noch eine Rechtsgrundlage
- 1:47:58Ralf Bendrath: in ihrem nationalen Recht schaffen.
- 1:48:00Ralf Bendrath: Also wir haben als KI-Gesetzgeber hier jetzt nichts erlaubt.
- 1:48:02Ralf Bendrath: Wir haben nur gesagt, wenn ihr das macht, müsst ihr diese Leitplanken einhalten.
- 1:48:06Ralf Bendrath: Und es steht ausdrücklich drin, die Mitgliedstaaten können auch restriktivere
- 1:48:10Ralf Bendrath: Gesetze verabschieden zu dem Thema.
- 1:48:12Tim Pritlove: Da ist aber jetzt ein Wort drin, nämlich das Wort Echtzeit.
- 1:48:17Tim Pritlove: Wenn ich das jetzt richtig verstanden habe, schließt diese ganze Regelung nur
- 1:48:21Tim Pritlove: die Echtzeitverwendung aus, aber nicht die Vorratsdatenspeicherung sozusagen.
- 1:48:28Ralf Bendrath: Die Vorratsdatenspeicherung von Kamerabildern ist nochmal ein ganz anderes Thema.
- 1:48:31Ralf Bendrath: Das ist nicht vom KI-Gesetz geregelt. Also wie lange so eine Kamera Bilder aufbewahren
- 1:48:35Ralf Bendrath: darf, das ist außerhalb des Geltungsbereichs vom AI-Act.
- 1:48:38Tim Pritlove: Ja, beziehungsweise wenn man halt jetzt sozusagen Gesichtserkennung macht auf
- 1:48:41Tim Pritlove: den Daten, aber halt nicht in Echtzeit.
- 1:48:43Thomas Lohninger: Du speicherst die fünf Minuten ab und danach machst du die Gesichtserkennung drüber.
- 1:48:48Tim Pritlove: Zum Beispiel, oder auch ein paar Tage so.
- 1:48:49Thomas Lohninger: Oder es ist halt irgendwie, du hast es vorher gesagt, nur für den strafrechtlichen
- 1:48:54Thomas Lohninger: Bereich. Die Privaten sind davon jetzt nicht umfasst.
- 1:48:57Ralf Bendrath: Die Privaten sind nicht erfasst und auch sowas wie Grenzkontrollübergänge sind nicht erfasst.
- 1:49:02Ralf Bendrath: Das ist von der Datenschutzgrundverordnung geregelt. Da gibt es zum Beispiel
- 1:49:05Ralf Bendrath: auch schon Entscheidungen der Datenschutzbehörden, wenn irgendwelche Fußballstadien
- 1:49:08Ralf Bendrath: ein Verbot hatten von Hooligans, dann haben sie teilweise Gesichtserkennung
- 1:49:12Ralf Bendrath: eingesetzt, um die einzelnen Hooligans, die ein Stadionverbot hatten, zu finden.
- 1:49:16Ralf Bendrath: Da gibt es Entscheidungen der Datenschutzbehörden, sozusagen außerhalb dieser
- 1:49:20Ralf Bendrath: Regelung hier. Was es aber auch noch gibt, ist eine Regelung zu retrograder
- 1:49:25Ralf Bendrath: biometrischer Gesichtserkennung, also Post-RBI, eben nicht in Echtzeit.
- 1:49:29Ralf Bendrath: Und da ist eben die Idee, dass das nicht mehr verboten ist, sondern nur noch
- 1:49:35Ralf Bendrath: Hochrisiko, was für uns ein super, super dicke Kröte war, das zu schlucken.
- 1:49:39Ralf Bendrath: Könnt ihr euch vorstellen.
- 1:49:40Ralf Bendrath: Wir wollten komplett verabredet von allem. Wir haben jetzt schon in Echtzeit
- 1:49:43Ralf Bendrath: da irgendwie ein paar Ausnahmen drin reingekriegt, die aber,
- 1:49:46Ralf Bendrath: wie gesagt, für spezifische Verdächtige und so nur greifen.
- 1:49:48Ralf Bendrath: Und für retrograde KI-Echtzeit, nein, für retrograde Gesichtserkennung im öffentlichen
- 1:49:55Ralf Bendrath: Raum, da brauchst du erstmal die Aufnahmen, sonst kannst du es nicht machen.
- 1:49:58Ralf Bendrath: Und da gibt es dann eben unter Datenschutzrecht schon Regeln,
- 1:50:01Ralf Bendrath: wie lange dürfen Videokameras die Daten speichern und so und nach wie vielen
- 1:50:05Ralf Bendrath: Stunden müssen sie gelöscht werden oder überschrieben werden.
- 1:50:09Ralf Bendrath: Und wenn du diese Daten noch hast, wenn die mal gespeichert sind und auch legal
- 1:50:13Ralf Bendrath: noch gespeichert waren, dann kannst du die jetzt für ähnliche Fälle benutzen,
- 1:50:17Ralf Bendrath: nämlich für eine gezielte Suche nach einer Person,
- 1:50:20Ralf Bendrath: die auch wieder einer Straftat verdächtig ist, in dem Fall nicht mal eine schwere
- 1:50:24Ralf Bendrath: Straftat, sondern generelle Straftaten, wiederum mit Autorisierung eines Gerichts
- 1:50:28Ralf Bendrath: oder einer Staatsanwaltschaft.
- 1:50:32Ralf Bendrath: Limitiert auf das, was strikt notwendig ist für die Ermittlung in einem spezifischen
- 1:50:38Ralf Bendrath: Strafverfahren, also kannst du die einfach allgemein erstmal alle so abscannen, ohne Anlass,
- 1:50:44Ralf Bendrath: In keinem Fall soll so ein Hochrisiko-KI-System genutzt werden für Strafverfolgungszwecke
- 1:50:50Ralf Bendrath: in einer ungezielten Art,
- 1:50:53Ralf Bendrath: untargeted way, ohne Link zu einer spezifischen Straftat oder einem Strafverfahren
- 1:50:58Ralf Bendrath: oder eben einer spezifischen drohenden Gefahr oder so.
- 1:51:03Ralf Bendrath: Und solche Nutzungen müssen dann zumindest in der relevanten Polizeiakte dokumentiert
- 1:51:09Ralf Bendrath: werden und auch den Marktaufsichtsbehörden und Datenschutzbehörden verfügbar
- 1:51:13Ralf Bendrath: gemacht werden auf Nachfrage.
- 1:51:16Ralf Bendrath: Und wir sind uns, glaube ich, alle echt einig, dass das nicht gut ist.
- 1:51:20Ralf Bendrath: Das ist irgendwie viel, viel offener und viel weiter, als wir es uns gewünscht hätten.
- 1:51:24Ralf Bendrath: Das war am Ende sozusagen der Kompromiss, der auch noch total verfahrensmäßig
- 1:51:29Ralf Bendrath: richtig übel gelaufen ist. Wir hatten am letzten Abend des Trilogs, das war das 12., 10.
- 1:51:35Ralf Bendrath: Dezember oder so, hatten wir noch keinen finalen Text zu dieser retrograden Gesichtserkennung.
- 1:51:41Ralf Bendrath: Wir hatten aber vorher einen Text von einer spanischen Ratspräsidentschaft bekommen,
- 1:51:46Ralf Bendrath: der irgendwie in die richtige Richtung ging. ging.
- 1:51:48Ralf Bendrath: Da war noch eine limitierte Liste mit Straftaten, wo das genutzt werden kann und so weiter.
- 1:51:53Ralf Bendrath: Aber irgendwie ist es dann nicht mehr dazu gekommen, noch einen finalen Text
- 1:51:56Ralf Bendrath: auszufaden in der Nacht.
- 1:51:57Ralf Bendrath: Und dann sind alle nach Hause und ins Wochenende und am Montag oder Dienstag
- 1:52:01Ralf Bendrath: haben wir noch mal wieder ein paar Aufräumtermine gehabt auf technischer Ebene,
- 1:52:04Ralf Bendrath: also Mitarbeiterebene.
- 1:52:06Ralf Bendrath: Und dann kriegen wir plötzlich von den Spaniern da einen Text präsentiert,
- 1:52:09Ralf Bendrath: der einfach komplett anders war als das, was wir gedacht hatten, wie die Einigung ist.
- 1:52:13Ralf Bendrath: Und dann ging es wirklich noch zwei Wochen hin und her.
- 1:52:16Ralf Bendrath: Die letzte Woche war dann irgendwie die die Sitzungsfeierwoche vor Weihnachten,
- 1:52:19Ralf Bendrath: wo alle schon im Urlaub waren.
- 1:52:20Ralf Bendrath: Ich saß da irgendwie an der Nordsee im Ferienhaus und habe mir noch E-Mails hin und her geschickt.
- 1:52:25Ralf Bendrath: Und dann ist am Ende das hier rausgekommen, wo dann auch irgendwie jetzt sozusagen
- 1:52:29Ralf Bendrath: keiner mehr das Fass nochmal komplett aufmachen wollte.
- 1:52:31Ralf Bendrath: Der Trilog war sozusagen schon fertig und dann wurde diese Kröte geschluckt.
- 1:52:37Ralf Bendrath: Muss man nicht gut finden, überhaupt nicht. Und die Bundesregierung hat,
- 1:52:39Ralf Bendrath: glaube ich, schon entschieden, dass sie es auf jeden Fall enger ziehen will,
- 1:52:43Ralf Bendrath: wenn es überhaupt in Deutschland irgendwie Gesetzesgrundlage dafür geben wird.
- 1:52:46Ralf Bendrath: Und wir werden natürlich weiter dafür kämpfen, wenn das Ding mal wieder renoviert
- 1:52:50Ralf Bendrath: wird oder andere Gesetzesvorschläge kommen, die das irgendwie berühren könnten,
- 1:52:54Ralf Bendrath: dass das auf jeden Fall enger gezogen wird, ganz klar.
- 1:52:57Ralf Bendrath: Aber an dem Punkt jetzt den ganzen AI-Act scheitern zu lassen,
- 1:53:00Ralf Bendrath: war es uns auch nicht wert genug, weil da einfach so viele Sachen drin sind,
- 1:53:03Ralf Bendrath: die einfach jetzt mal gut sind, dass sie an den Start kommen.
- 1:53:07Thomas Lohninger: Es war ja kurzzeitig so, dass es die Mehrheit im Rat in der Schwebe stand und
- 1:53:11Thomas Lohninger: wir beide haben uns ja genau zu der Zeit getroffen und du meintest,
- 1:53:14Thomas Lohninger: ob ich da irgendwie bei der österreichischen Justizministerin fragen würde.
- 1:53:17Thomas Lohninger: Ich bin mir bis heute nicht sicher, ob das Gesetzeswert wäre, gerettet zu werden.
- 1:53:23Thomas Lohninger: Aber um vielleicht auch da zum Abschluss zu kommen, würde mich von euch beiden
- 1:53:27Thomas Lohninger: noch interessieren, was mit diesem Gesetz denn jetzt wirklich so die prägnante
- 1:53:33Thomas Lohninger: Sache, der prägnante Missstand sein soll,
- 1:53:36Thomas Lohninger: den wir damit wirklich hoffentlich verbessern.
- 1:53:39Thomas Lohninger: Bei der DSGVO, was ja damals Facebook, da war die große Erwartungshaltung,
- 1:53:45Thomas Lohninger: dass wir damit endlich Facebook dazu bringen, mit personenbezogenen Daten besser umzugehen.
- 1:53:52Thomas Lohninger: Ich glaube, es ist sehr überschaubar, was wir damit wirklich geschafft haben,
- 1:53:55Thomas Lohninger: trotz aller guten Absichtsbekundungen damals. Wie ist es beim AI-Act?
- 1:53:59Thomas Lohninger: Also ist da jetzt Palantir zum Beispiel, müsste es da eigentlich Änderungen
- 1:54:05Thomas Lohninger: in der Realität geben mit diesem Gesetz, wo ihr sagt, da sollte wirklich sich
- 1:54:10Thomas Lohninger: etwas in der Praxis ändern oder auch die Schufa zum Beispiel.
- 1:54:13Thomas Lohninger: Also Kreditauskunft Hain ist da aus eurer Sicht, um es nochmal zu Ende ganz praktisch zu machen.
- 1:54:20Thomas Lohninger: Was erwartet ihr euch jetzt von dem AI-Act, an dem ihr so lange gearbeitet habt?
- 1:54:25Arnika Zinke: Ich fange mal an. Also ich glaube, dass so ein bisschen das,
- 1:54:29Arnika Zinke: was quasi immer unter diesem Begriff vertrauenswürdige KI,
- 1:54:33Arnika Zinke: made in Europe, quasi gedacht wird, dem quasi ein bisschen ein Gesetz dahinter
- 1:54:39Arnika Zinke: gelegt wird, was das eigentlich bedeutet.
- 1:54:41Arnika Zinke: Das heißt, welche konkreten Anforderungen haben wir an die zukünftigen KI-Systeme,
- 1:54:47Arnika Zinke: die in Europa auf den Markt gebracht werden?
- 1:54:50Arnika Zinke: Was sind sozusagen die Mindestanforderungen, die das erfüllen muss?
- 1:54:53Arnika Zinke: Und das Gleiche für die Modelle. Also es ist quasi eine Mindestanforderung,
- 1:54:58Arnika Zinke: ein bisschen eine Ausdeklinierung dessen, was wir quasi unter schönen Worten
- 1:55:02Arnika Zinke: die ganze Zeit erzählen, wie wir das gerne hätten.
- 1:55:05Arnika Zinke: Und ein paar Systeme sind eben komplett verboten, aber es sind eben viel weniger,
- 1:55:10Arnika Zinke: als wir eigentlich für notwendig gehalten hätten.
- 1:55:12Arnika Zinke: Also es ist nicht der große Wurf,
- 1:55:16Arnika Zinke: den sich manche erhofft hatten, aber ich glaube, wenn man sich das Gesetz anschaut
- 1:55:20Arnika Zinke: und auch wie das Gesetz gemacht ist,
- 1:55:22Arnika Zinke: dann konnte dieses Gesetz auch nie diese Erwartungshaltung erfüllen,
- 1:55:26Arnika Zinke: auch weil KI und automated decision making so viele Bereiche umfasst.
- 1:55:32Arnika Zinke: Das geht eben von biometrischer Massenüberwachung bis KI-Systeme,
- 1:55:38Arnika Zinke: die kreativ verwendet werden oder die sagen, zu welcher Schule du gehen sollst.
- 1:55:41Arnika Zinke: Und den Bereich so groß zu spannen, heißt halt auch, man kann nicht ganz oben
- 1:55:46Arnika Zinke: anfangen, sondern es ist quasi ein Minimalkonsens darüber, wie KI-Systeme in
- 1:55:53Arnika Zinke: Zukunft gemacht werden sollen.
- 1:55:55Arnika Zinke: Aber gerade auch darauf basierend, welche KI-Systeme jetzt schon am Markt sind,
- 1:55:58Arnika Zinke: ist es extrem schwierig zu sagen, weil auch da die Anforderungen ja auch viel
- 1:56:02Arnika Zinke: später erst in Kraft treten werden.
- 1:56:04Ralf Bendrath: Aber ganz konkret, wegen Palantir, wenn Palantir genutzt wird,
- 1:56:08Ralf Bendrath: um über individuelle Personen Vorhersagen zu machen, ob sie irgendwann mal eine
- 1:56:12Ralf Bendrath: Straftat begehen, dann muss das jetzt weg.
- 1:56:15Ralf Bendrath: Das ist nicht mehr erlaubt in Zukunft, so ganz konkret. Und es soll eben auch,
- 1:56:18Ralf Bendrath: wie gesagt, sowas wie diesen niederländischen Sozial-Social-Benefits-Skandal
- 1:56:23Ralf Bendrath: da irgendwie in Zukunft vermeiden, helfen.
- 1:56:25Ralf Bendrath: Eine Sache, die wir noch gar nicht erwähnt hatten, wo wir aber auch ziemlich
- 1:56:28Ralf Bendrath: drauf stolz sind, ist, dass jetzt in Zukunft viele KI-Systeme,
- 1:56:31Ralf Bendrath: vor allem die Allzwecksysteme, auch Energiebilanzen offenlegen müssen.
- 1:56:35Ralf Bendrath: Das Zeug verbraucht ja unglaublich viel Strom und auch Wasser.
- 1:56:39Ralf Bendrath: Das muss jetzt offengelegt werden, mindestens für die General-Purpose-KIs. Da bin ich mal gespannt.
- 1:56:46Ralf Bendrath: Also Ökobilanzen und so haben wir jetzt auch drin. Auch einer unserer Erfolge.
- 1:56:50Tim Pritlove: Das ist eine gute Regelung. Da bin ich auch gespannt, wie das ausgeht.
- 1:56:55Tim Pritlove: Ob man das überhaupt so berechnet bekommt. Wahrscheinlich schon irgendwie.
- 1:56:57Ralf Bendrath: Das kannst du einfach berechnen. Du hast irgendwie so viele Millionen Videokarten
- 1:57:01Ralf Bendrath: und guckst halt, was die dann Strom verbrauchen. Das ist nicht so schwer.
- 1:57:05Tim Pritlove: Ja, ist klar. Gut, ich denke, den AI-Act-Teil können wir damit beschließen, oder?
- 1:57:13Thomas Lohninger: Ich glaube auch, wenn es von eurer Seite nichts mehr gibt, dann,
- 1:57:16Thomas Lohninger: wir sind schon relativ lange, deswegen machen wir das jetzt vielleicht sehr kurz.
- 1:57:20Thomas Lohninger: Ich wollte nur nochmal so einen Ausblick auf die EU generell.
- 1:57:25Thomas Lohninger: Ihr sitzt ja auch weiter in Brüssel und seid da sehr nah dran und wir haben jetzt ein paar.
- 1:57:30Ralf Bendrath: Wir sind mittendrin.
- 1:57:30Thomas Lohninger: Genau, statt nur dabei und habe da ja auch wirklich auch, es heißt ja irgendwie
- 1:57:36Thomas Lohninger: so schön, dass das Herstellen von Würsten, von Sausages und das Gesetze machen,
- 1:57:41Thomas Lohninger: da will man nicht so genau wissen, wie es wirklich passiert und gleichzeitig
- 1:57:45Thomas Lohninger: ist die EU auch gerade am Ende ihrer Legislaturperiode, im Juni sind Wahlen.
- 1:57:51Thomas Lohninger: Man hat auch, glaube ich, gesehen, dass ganz viele netzpolitische Themen dann
- 1:57:55Thomas Lohninger: am Ende an den Mehrheitsverhältnissen im Parlament und natürlich auch in den
- 1:57:59Thomas Lohninger: nationalen Regierungen hängen.
- 1:58:02Thomas Lohninger: Und ja, nach allen Vorhersagen wird es einen Rechtsrott geben im Europaparlament.
- 1:58:07Thomas Lohninger: Das heißt, es wird eine Mehrheit geben aus den Fraktionen ID,
- 1:58:11Thomas Lohninger: was AfD, FPÖ ist, ECR, also die europaskeptischen Konservativen bis Rechtsextreme in manchen Fällen.
- 1:58:20Thomas Lohninger: Und halt auch der Europäischen Volkspartei.
- 1:58:23Thomas Lohninger: Und das wird natürlich, glaube ich, dann auch so diese Schlagzahl der Gesetze,
- 1:58:28Thomas Lohninger: vor allem wenn es darum geht, Harmonisierungen durchzuführen.
- 1:58:32Thomas Lohninger: Wahrscheinlich reduzieren.
- 1:58:33Thomas Lohninger: Was manchmal vielleicht sogar ganz gut wäre, wenn man sich mehr Zeit nimmt für
- 1:58:37Thomas Lohninger: die Gesetze, schaut, dass man wirklich eine breite Mehrheit hat.
- 1:58:41Thomas Lohninger: Insgesamt ist mein Eindruck, auch wenn ich euch heute so zugehört habe,
- 1:58:44Thomas Lohninger: dass ganz viel am Zeitdruck liegt.
- 1:58:47Thomas Lohninger: Dass etwas unbedingt bis dahin fertig werden muss und dann sind halt irgendwie
- 1:58:52Thomas Lohninger: drei Viertel der Leute schon auf Urlaub und Ralf muss irgendwie aus dem Ferienhaus
- 1:58:56Thomas Lohninger: heraus dann das fertig verhandeln.
- 1:58:59Thomas Lohninger: Das kann es ja nicht sein. Also ich meine, wenn sich Europa ernst nimmt,
- 1:59:04Thomas Lohninger: dann muss man den Gesetzestext vor sich haben ausverhandelt und dann entscheiden,
- 1:59:09Thomas Lohninger: ob der eine Mehrheit hat.
- 1:59:11Thomas Lohninger: Also ganz oft tut einem das ja schon beim Zuhören und Zuschauen weh,
- 1:59:16Thomas Lohninger: wie dann wirklich diese Entscheidungen, wie stümperhaft diese Entscheidungen zustande kommen.
- 1:59:22Thomas Lohninger: Aber ja, wie geht es euch damit und wie schaut ihr jetzt so auf die Zeit nach der Wahl?
- 1:59:28Ralf Bendrath: Vielleicht zu der ersten Frage, wie laufen sozusagen diese Trilogverhandlungen?
- 1:59:32Ralf Bendrath: Ist das wirklich immer so schlimm?
- 1:59:33Ralf Bendrath: Als wir die Datenschutz-Grundverordnung damals verhandelt haben,
- 1:59:36Ralf Bendrath: haben wir wirklich den Text vor uns gehabt. Der wurde auf meinem Laptop mitprotokolliert,
- 1:59:40Ralf Bendrath: je nach Verhandlungsstand.
- 1:59:42Ralf Bendrath: Und am Ende des letzten Triloges, das war auch so nachts um elf,
- 1:59:46Ralf Bendrath: aber immer noch eine halbwegs menschenwürdige Zeit, hatten wir einen fertigen Text.
- 1:59:50Ralf Bendrath: Text, der muss dann ein paar Mal noch horizontal angepasst werden,
- 1:59:53Ralf Bendrath: das haben wir dann noch kurz danach noch gemacht in meinem Büro und der konnte
- 1:59:56Ralf Bendrath: dann direkt an die Mitgliedstaaten rausgehen und auch an alle Abgeordneten, die beteiligt waren.
- 1:59:59Ralf Bendrath: Das habe ich jetzt ein paar Mal erlebt, dass das nicht so gelaufen ist.
- 2:00:03Ralf Bendrath: Mal gucken, wie es morgen Nacht wird bei den Gesundheitsdaten,
- 2:00:05Ralf Bendrath: ob wir da einen finalen Text haben, da ist es zumindest ein bisschen besser,
- 2:00:08Ralf Bendrath: dass jetzt schon mal Textentwürfe vorher flottieren.
- 2:00:10Ralf Bendrath: Beim AI-Hack war es einfach wirklich chaotisch, wir hatten beim letzten Trilog,
- 2:00:14Ralf Bendrath: als der anfing, noch 22 Punkte offen, haben dann wirklich von Nachmittags um
- 2:00:19Ralf Bendrath: drei die ganze Nacht durch bis zum nächsten Mittag um eins verhandelt,
- 2:00:23Ralf Bendrath: dann eine Pause gemacht,
- 2:00:25Ralf Bendrath: einmal schlafen können die Nacht dann und am Freitag um acht Uhr morgens ging
- 2:00:29Ralf Bendrath: es schon wieder weiter bis nach Mitternacht.
- 2:00:31Ralf Bendrath: Und da gab es dann einfach teilweise keine Texte. Ich habe von anderen Trilogen
- 2:00:35Ralf Bendrath: gehört, wo es teilweise nur so Bullet-Point-Listen gab, auf was man sich jetzt
- 2:00:39Ralf Bendrath: geeinigt hat, wo dann die technische Ebene hinterher noch einen Monat beschäftigt
- 2:00:42Ralf Bendrath: war, das auszuformulieren.
- 2:00:44Ralf Bendrath: Da hat, glaube ich, die Qualität echt ein bisschen gelitten in letzter Zeit, ist so mein Eindruck.
- 2:00:48Ralf Bendrath: Da gibt es aber jetzt auch schon eine Reaktion drauf und zumindest vom Parlament
- 2:00:52Ralf Bendrath: aus gibt es jetzt offenbar Bestrebungen, ein interinstitutionelles Abkommen
- 2:00:57Ralf Bendrath: zu verhandeln mit dem Rat und der Kommission, wie genau so Triloge eigentlich geführt werden müssen.
- 2:01:02Ralf Bendrath: Weil das oft immer noch sehr informell ist, die sind ja auch in den Verträgen irgendwo vorgesehen.
- 2:01:06Ralf Bendrath: Ich bin trotzdem der Meinung, man braucht so einen geschützten Raum,
- 2:01:09Ralf Bendrath: wenn man sich auf irgendwelche Texte einigen will. Da muss man halt die Köpfe
- 2:01:11Ralf Bendrath: zusammenstecken mit Ausschluss der Öffentlichkeit.
- 2:01:14Ralf Bendrath: Aber das braucht zumindest ein paar Regeln. Und da soll jetzt hoffentlich nach
- 2:01:18Ralf Bendrath: der Wahl mit den anderen Institutionen daran gearbeitet werden.
- 2:01:22Thomas Lohninger: Annika, wie siehst du das?
- 2:01:24Arnika Zinke: Ich glaube, das Problem war auch jetzt beim KI-Gesetz die einfache Unmenge an
- 2:01:29Arnika Zinke: Gesetzen, die jetzt noch verabschiedet werden sollten vor Ende der Legislaturperiode.
- 2:01:35Arnika Zinke: Und die Angst, die halt irgendwo immer auch mitgeschwungen ist,
- 2:01:38Arnika Zinke: ist, was, wenn wir dieses Gesetz eben nicht, dieses Mandat fertig kriegen.
- 2:01:42Arnika Zinke: Was bedeutet das dann mit einem deutlich rechteren Parlament?
- 2:01:45Arnika Zinke: Kriegen wir da noch die Punkte, die uns wirklich wichtig sind, durch?
- 2:01:48Arnika Zinke: Und vor allem auch im Hinblick darauf, dass eben Ungarn auch die nächste Ratspräsidentschaft
- 2:01:53Arnika Zinke: nach Belgien jetzt hat und damit dann viele von den Prioritäten,
- 2:01:58Arnika Zinke: die wir hatten, was Menschenrechte betrifft, sehr unwahrscheinlich gewesen wären.
- 2:02:01Arnika Zinke: Das heißt, es hätte sich noch weiter verzögert und dann wären wir im Jahr 2025
- 2:02:04Arnika Zinke: gewesen, wo wir dann wieder angefangen hätten, an KI-Gesetzen zu arbeiten und
- 2:02:08Arnika Zinke: dann sind wir halt auch keine Vorreiter mehr.
- 2:02:10Arnika Zinke: Also dann hätten wir eigentlich vielleicht sogar das Gesetz nochmal komplett
- 2:02:12Arnika Zinke: neu machen müssen. Also das ist halt immer mit geschwungen, aber ich gebe grundsätzlich
- 2:02:17Arnika Zinke: recht, dass die Tatsache, dass wir keinen finalen Text hatten,
- 2:02:20Arnika Zinke: das war einfach unglaublich. Und wir haben auch wirklich drum gebettelt.
- 2:02:22Arnika Zinke: Und das war einfach dann auch vielleicht der Zeit geschuldet,
- 2:02:26Arnika Zinke: die wir da gesessen sind, ist dann einfach ausgerufen worden,
- 2:02:29Arnika Zinke: dass es einen Deal gibt und dann haben sich halt auch Politiker mitreißen lassen.
- 2:02:34Arnika Zinke: Diesen Deal einfach dann festzusetzen.
- 2:02:36Arnika Zinke: Und ja, ich finde das auch super problematisch und ich hoffe auch,
- 2:02:41Arnika Zinke: dass es in Zukunft besser läuft.
- 2:02:42Arnika Zinke: Ich weiß auch, dass wir uns in dem Ausschuss, der sich eben mit den ganzen Prozessen
- 2:02:47Arnika Zinke: beschäftigt und den Rules of Procedure dafür einsetzen, dass es eben auch bessere
- 2:02:52Arnika Zinke: Regeln in den Trilogen gibt, dass es auch etwas mehr Transparenz gibt.
- 2:02:54Arnika Zinke: Also es muss nicht unbedingt einen Livestream geben, aber dass gewisse Dokumente
- 2:02:57Arnika Zinke: auch etwas transparenter sind.
- 2:02:59Arnika Zinke: Und das hoffe ich mir für die Zukunft auch eben auch, um das Vertrauen in die
- 2:03:04Arnika Zinke: EU-Institutionen auch zu verbessern.
- 2:03:08Arnika Zinke: Absolut.
- 2:03:09Thomas Lohninger: Ich glaube, der Zugang zu Texten, ich meine, ich habe die ja dann oft über Kanäle,
- 2:03:14Thomas Lohninger: aber dass das nicht öffentlich ist, ist wirklich ein Unding.
- 2:03:17Thomas Lohninger: Was in Parlamenten diskutiert wird, sollte öffentlich sein.
- 2:03:20Thomas Lohninger: Und ein Vorschlag für diese Regeln, die ihr euch geben wollt,
- 2:03:24Thomas Lohninger: es würde schon sehr viel helfen, wenn Europaabgeordnete sich nicht bereit erklären,
- 2:03:30Thomas Lohninger: auf irgendwelchen Fotos mit der Kommission und der Ratspräsidentschaft zu sein,
- 2:03:34Thomas Lohninger: bis der Text wirklich ausverhandelt ist.
- 2:03:36Thomas Lohninger: Weil oft ist es so irgendwie das getwitterte Foto und jetzt sind wir fertig
- 2:03:40Thomas Lohninger: und dann stehen alle auf und glauben, dass sie wirklich fertig sind,
- 2:03:44Thomas Lohninger: auch wenn danach noch ganz viel wegverhandelt wird.
- 2:03:47Thomas Lohninger: Das haben wir leider ein paar Mal gesehen und das ist nur ein billiger Trick.
- 2:03:51Thomas Lohninger: Ich hoffe, das war heute trotzdem eine Sendung, die nicht nur traurig zurücklässt,
- 2:03:56Thomas Lohninger: sondern ein bisschen aufgezeigt hat.
- 2:03:57Ralf Bendrath: Cyber, Cyber, alles gut.
- 2:03:59Tim Pritlove: Aber jetzt will ich noch wissen, hilft euch denn AI sozusagen auch bei der Analyse
- 2:04:05Tim Pritlove: dieser ganzen Textvorschläge?
- 2:04:07Tim Pritlove: Ich meine, ihr seid ja auch die ganze Zeit so in diesem Business mit,
- 2:04:10Tim Pritlove: ihr kriegt so viel Text zugeschickt und permanent müsst ihr irgendwie verstehen,
- 2:04:13Tim Pritlove: was da jetzt eigentlich mit gemeint ist.
- 2:04:16Tim Pritlove: Kommt da sozusagen auch schon die LLM zum Einsatz oder macht ihr das alles noch von Hand?
- 2:04:23Thomas Lohninger: Welcher Teil von May I Act wurde von ChatGPT geschrieben?
- 2:04:25Arnika Zinke: Also ich kann sagen, das einzige Mal, wo ich in meinem Leben Chachapiti verwendet
- 2:04:32Arnika Zinke: habe, um mit meinem Freund zu brainstormen, welche Hundenamen wir uns überlegen möchten.
- 2:04:37Arnika Zinke: Ich schwöre. Also wir haben alle Texte selber gelesen und selber analysiert
- 2:04:42Arnika Zinke: und es waren sehr, sehr viele Texte.
- 2:04:44Arnika Zinke: Aber die Versuchung ist natürlich groß, aber es spielt eigentlich nicht wirklich
- 2:04:49Arnika Zinke: eine Rolle, weil gerade diese Texte so spezifisch sind und so technisch und so kontextbasiert,
- 2:04:55Arnika Zinke: dass es schwierig wäre und ich finde auch ethisch problematisch,
- 2:04:59Arnika Zinke: das durch irgendeine KI zu jagen.
- 2:05:01Tim Pritlove: Ja, okay.
- 2:05:04Tim Pritlove: Man kann es ja auch...
- 2:05:06Tim Pritlove: Ganz praktisch sehen, einfach als Tool, also ich gebe zu,
- 2:05:11Tim Pritlove: dass jetzt zum Beispiel auch gemacht zu haben, ich nehme mir so einen kompletten Text,
- 2:05:17Tim Pritlove: den ich jetzt, wenn ich den lesen würde, ohnehin nicht verstehen würde,
- 2:05:20Tim Pritlove: weil mir einfach das juristische Modell dafür fehlt und die Dingertaugung sicherlich
- 2:05:26Tim Pritlove: für vieles nicht, aber dieses Text zusammenfassen, das kriegen die schon irgendwie ganz gut hin.
- 2:05:30Tim Pritlove: Und dann kann man halt zumindest schon mal reinstochern und sagen so,
- 2:05:33Tim Pritlove: wird da etwas erwähnt zu dem und dem und so weiter und das ja,
- 2:05:37Tim Pritlove: das sind schon mal ganz hilfreiche Ansätze für mich, aber dass ihr das professioneller
- 2:05:41Tim Pritlove: handhabt, daran habe ich keinen Zweifel.
- 2:05:43Ralf Bendrath: Word und solche Software kann ja Auto-Summarize schon länger,
- 2:05:46Ralf Bendrath: da brauchst du keinen Chatbot für.
- 2:05:48Ralf Bendrath: Aber unser Job ist halt leider nicht nur die Zusammenfassung zu machen,
- 2:05:52Ralf Bendrath: sondern das Ding im Detail zu lesen und zu verstehen und umzuschreiben,
- 2:05:55Ralf Bendrath: da kommt einfach kein Weg dran vorbei.
- 2:05:57Tim Pritlove: Na klar. Na gut, dafür seid ihr ja auch hier die Profis.
- 2:06:01Tim Pritlove: Vielen, vielen Dank für eure Ausführungen und natürlich auch für eure Arbeit an den Gesetzeswerken.
- 2:06:08Tim Pritlove: Das ist ja mit wenig Urlaub gesegnet, wie wir gerade gehört haben.
- 2:06:12Tim Pritlove: Und ja, das ist ja eine Entbehrung. Dann kriegst du vielleicht den nächsten
- 2:06:16Tim Pritlove: neuen Eintrag, Annika, auch bei der IMDB, wenn du dann wieder in Hollywood-Fußstapfen steigst.
- 2:06:27Arnika Zinke: Ja, danke euch für die Einladung.
- 2:06:29Thomas Lohninger: Danke auch von meiner Seite und bitte weitermachen und bis zum nächsten Mal.
- 2:06:35Tim Pritlove: Danke. Alles klar, das war's heute vom Logbuch Netzpolitik.
- 2:06:40Tim Pritlove: Bald geht's wieder weiter, dann vielleicht auch wieder mit Linus.
- 2:06:42Tim Pritlove: Wir sagen tschüss und bis bald.