Latest / Coding Buddies | Tech & Dev-Mindset / #158 AI kannibalisiert sich – wenn dein Code sich selbst zerstört

Transcript

#158 AI kannibalisiert sich – wenn dein Code sich selbst zerstört · Coding Buddies | Tech & Dev-Mindset

0:00
Heute sprechen wir über einen neuen AI Agents Benchmark Test
0:03
und der hat wirklich erstaunliche Ergebnisse
0:05
geliefert. Die einen wird es vielleicht
0:07
überraschen, die anderen nicht und für manche wird es auf jeden
0:10
Fall ein Warnzeichen sein, also viel Spaß Coding Buddies Dein
0:15
Podcast rund um Softwareentwicklung und
0:17
aktueller Tech News herzlich Willkommen.
0:31
Hello, Hello und Herzlich Willkommen zur neuen Folge vom
0:35
Coding Buddies Podcast. Es ist natürlich mal wieder Zeit
0:38
für ne neue Folge, so wie jede Woche und zwar mit mir, mit Fabi
0:41
und dem Tino. Tino sitzt mir gegenüber,
0:44
gleiches Grinsen sehr gut, Tino grüßt dich.
0:49
Fabi grüßt dich. Ich hab gedacht, wann sagt das,
0:51
wann sagt das, wann ist mein Outfit, wann darf.
0:54
Ich was sagen? Was geht ab Fabi?
0:56
Was geht ab? Ja, was geht ab?
1:01
Ich hab gute Laune ja nicht zu, nicht zu dem, nee, wie sagt man
1:05
also einfach deshalb, weil man kriegt das ja in der Folge mal
1:09
nicht mit, aber bis wir mal anfangen so ne Folge
1:12
aufzunehmen, ja dann dauert es immer schon gern mal so 10
1:14
Minuten, einfach weil wir noch so n bisschen.
1:18
Rum. Ja, ich finde, wir könnten aus
1:21
dem, was wir vorher immer machen, ja, wo wir uns selbst
1:24
immer gefühlt Bepissen vor lachen.
1:27
Könnten wir eigentlich könnten wir eigentlich auch schon
1:31
Podcast folgen machen? Aber kriegen wir.
1:34
Genauso viel folgen zusammen, aber mir ist das schon
1:38
aufgefallen, dass du in letzter Zeit wieder sehr viel sehr gute
1:41
Laune hattest. Freut mich natürlich, ist ja
1:42
auch sehr gut. Wir hatten ja vor n paar Wochen
1:46
noch so immer dieses Wetterthema und Schnee und kalt und bäh und
1:51
das hat ja schon deine Laune so n bisschen getrübt.
1:53
Also man kann schon sagen, dass deine Laune n bisschen
1:55
korreliert mit dem Wetter draußen oder könnte das sein?
1:58
Alter nee, finde ich nee, gar nicht.
2:01
Nein, damit fangen wir jetzt nicht an.
2:04
OK, ich zeig dir jetzt so ne Schneekugel hier Instagram.
2:10
Ja, aber ist auch absolut verständlich, weil das Wetter
2:12
wird einfach zunehmend besser, es wird wärmer, man kann wieder
2:15
mehr draußen machen und das muss sogar ich als developer und du
2:20
als Developer zugeben, ja. Es ist auch cool, mal draußen zu
2:23
sein und deswegen, ich glaube, das hat schon, das macht schon
2:26
was mit dir, oder? Ich hab irgendwann mal ich mein
2:29
Sonne draußen ist immer geil ne so ich hab irgendwann glaub ich
2:32
auch meiner Podcast folge gesagt ich find es auch geil wenn es
2:36
draußen richtig geiles Wetter ist.
2:38
Und ich trotzdem immer mal drin sitze.
2:39
Also ist auch schon schon geil, weißt du, wenn du so
2:42
Rausdrückst, so Sonnenschein, alles gut.
2:45
Stimmt, du hattest gesagt, du freust dich dann für die
2:47
anderen, die gerade in der Sonne draußen rumlaufen.
2:49
Das ist voll selbstlos, ist Ertig.
2:53
Hab ich das hab ich auf jeden Fall gesagt.
2:57
Doch, doch, ich bin der Meinung, dass, so ist es abgespeichert.
3:00
So kam es bei mir an. Ja, du hast ja heute n ganz
3:04
cooles Thema mitgebracht und es kann sein, dass wir da auch n
3:06
bisschen brauchen. Für deswegen würde ich mal
3:07
sagen, lass uns nicht zu lange rumblödeln, sondern jetzt mal so
3:12
zu dem Thema kommen. Ich find das Thema klingt sehr
3:16
gut, es ist so n Thema was du quasi so von dir aus mitgebracht
3:21
hast. Das heißt ich bin heute eher der
3:24
ich diskutier mit dir darüber part, aber du musst halt noch
3:26
mal so n bisschen sagen worum es geht, ne?
3:30
Lass mich nicht im Dunkeln stellen und die Zuhörerinnen und
3:32
Zuhörer auch nicht. OK, Tino, könntest du mal ganz
3:35
kurz beschreiben. Nee, ich, ich hab jetzt letztens
3:42
mitgekriegt so n bisschen gelesen darüber, dass es so n
3:45
ich sag mal n neuen Benchmark Test gibt und zwar über AIS ne
3:50
also ich mein es gibt ja ganz viele verschiedene LLMS die man
3:52
irgendwie verwenden kann. Und da wird ja auch oft immer
3:55
gesagt, also logischerweise wird da geguckt, OK, wie gut
3:58
performen die, was sollte man da vielleicht nutzen, was hilft
4:02
einem am am besten gerade auch für verschiedene, also für
4:05
verschiedene Anwendungsfälle, weil du hast ja auch nicht
4:07
vielleicht immer, also wir sind natürlich in unserer Coding
4:10
Bubble, das ist ja klar, aber es gibt natürlich auch noch andere
4:13
Anwendungsfälle, ne, also andere nutzen ja auch AI nicht nur wir,
4:17
auch wenn wir vielleicht am meisten AI benutzen, ich weiß es
4:20
nicht, wie ich mich nie 2000 Fenster lehn.
4:23
Ist ein so ein Anwendungsfall, so Katzenvideos zu machen, die
4:27
auf der Veranda stehen und mit irgendwas rumschießen?
4:29
Kennst du diese ey ey Videos? Oh Gott, die sind einfach
4:33
überall gewesen, eine Zeit lang, das scheint ein Anwendungsfall
4:36
zu sein sowas zu machen. Definitiv ein Anwendungsfall,
4:39
wahrscheinlich auch Social Media und so.
4:40
Es gibt ja mittlerweile auch leider Gottes Podcasts, die
4:43
ausschließlich Ai generiert sind.
4:46
Ist auf jeden Fall krass, aber die Anwendungsfälle hatte ich
4:48
jetzt gerade nicht unbedingt im Kopf, sondern so glückliche
4:51
Anwendungsfälle. Weißt du nicht wo der RAM
4:53
einfach nur teurer wird, deswegen fand ich noch mal n
4:58
bisschen off topic, hatten wir ja die Woche auf Discord oder
5:02
was letzte Woche weiß nicht mehr genau, aber ich.
5:04
Fand es so witzig mit der Übersetzung, da haben wir noch n
5:06
Screenshot bekommen vom System mit den Eigenschaften und dann
5:11
wieviel RAM hat denn das Gerät und dann war das einfach
5:13
übersetzt mit Schafbock. Fand ich einfach super witzig.
5:17
Ein Gigabyte schafbock, 2 Gigabyte schafbock, ja, wenn man
5:23
da ein bisschen drüber nachdenkt, mehr oder weniger,
5:26
dann kommt man auf jeden Fall darauf, dass es vielleicht die
5:28
Übersetzung sein wird. Das hat bei mir ein bisschen
5:29
gedauert. Erst das wir so hä ah okay.
5:34
Also bei mir kommt's jetzt an. Okay gut, gut, gut, gut, sehr
5:38
gut. Ja, das war mir wichtig, dass
5:39
wir das mal aufklären für dich. Aber das war sehr.
5:42
Das war auf jeden Fall lustig. Na ja, auf jeden Fall.
5:44
Wie gesagt, du kannst ja verschiedene LLMS benutzen und
5:48
es sind ja nicht alle genauso wie die anderen, also die haben
5:50
ja schon Unterschiede und es wurde ja trotzdem irgendwie
5:54
getestet um zu gucken, OK wie gut performt ist so n Ding ne
5:57
also zum Beispiel gibt gab es ja auch so Tests, dass bestimmte
5:59
Prüfungen auf zum Beispiel in Unis oder so dem diese Tests
6:04
oder diese Klausuren Prüfungen wie man sie auch mal nennen mag
6:06
wurden ja LLMS gegeben und dann sollten die LMS das lösen, ja
6:10
und daran wurde ja zum Beispiel das waren Tests die gemacht
6:13
wurden und. Verschiedenste andere oder halt
6:19
auch mal in github Issue lösen oder es gibt verschiedene Dinge
6:24
ne um dann halt einfach zu gucken, gerade im
6:27
Softwareentwicklungsbereich OK, wie gut wird denn jetzt zum
6:30
Beispiel ne Coding Aufgabe also erfüllt ne das ist natürlich
6:35
auch irgendwie ganz interessant, gerade wenn du es zum Coden
6:37
benutzt. Ist es ja wichtig zu sagen, OK,
6:40
kommt da jetzt wirklich nur Müll raus mit diesem Assistenten, den
6:44
ich da vielleicht nutze? Ich sag jetzt auch bewusst
6:46
Assistenten oder kommen da halt auch gute Sachen raus, die ich
6:50
verwerten kann, die ich benutzen kann, ne und wenn ich jetzt so n
6:52
github issue habe und sage OK code mir das mal.
6:56
Das heißt, du gibst dem nen Snapshot von einem Repository
6:59
und sagst hier ist zum Beispiel n issue, das muss gelöst werden.
7:02
Die AI versucht das Problem zu fixen und dann hast du halt am
7:05
Ende grüne Tests und dann war es immer so ja OK war erfolgreich,
7:09
passt ne aber das ist nicht. Das stimmt ja, aber das sind
7:13
natürlich sehr lokale Probleme, ne, also sehr klein abgesteckt,
7:18
also so fein säuberlich getrennt.
7:21
Dass du sagen kannst, OK, ja, irgendwie hab ich das Gefühl,
7:24
dass das kann man machen. Also das ist ja im Prinzip auch,
7:27
gerade wenn du so Einsteigerinnen und Einsteigern
7:31
die Mitarbeit Ermöglichst am Anfang und sie vielleicht noch
7:34
so anlernst es ist ja genau das auch ne, dass du sagst, ja hier
7:37
guck mal, hier ist n wirklich gut abgestecktes Problem, das
7:40
ist n guter Entry Point sozusagen und dann schau mal,
7:44
dass die Tests am Ende grün sind, so also.
7:47
Macht man ja da genauso ne, das ist halt förderlich, weil du
7:50
hast halt nicht viel drumherum dann.
7:52
Richtig, genau. Und das ist ja auch prinzipiell
7:56
gar nicht, wie gesagt, nicht verkehrt ist schön, ist schöner
7:59
Vergleich auf jeden Fall, aber es es spiegelt ja nicht wirklich
8:02
so n softwareprojekt wieder wie man es vielleicht so eigentlich
8:05
kennt. Ne, also wirklich, dass du
8:06
sagst. Du hast ne Entwicklung über
8:07
Monate oder vielleicht Jahre. Du hast ganz viele Komponenten,
8:12
die mehr oder weniger dependent oder Interdependent, also ne
8:16
Abhängigkeit haben oder eben nicht und es kann natürlich auch
8:20
dazu kommen. Ich mein das kennt man ja, das
8:22
kennt ja wahrscheinlich jede Entwicklerin oder jeder
8:23
Entwickler, dass er sagt, OK, ich hab hier irgendwie mal was
8:26
verändert und komischerweise ich kann es noch nicht ganz
8:30
erklären, aber irgendwie tritt da n Problem auf.
8:32
Und du denkst im ersten Moment ja, das hat aber damit, es kann
8:35
damit nichts zu tun haben. Ich bin mir wirklich sicher,
8:37
dass es damit nichts zu tun haben kann, komischerweise dann
8:39
aber doch, so weißt du, und deswegen ist es halt nicht
8:46
unbedingt ausschlaggebend oder aussagekräftig zu sagen, du
8:50
testest ne AI mit einem Test der n einmaligen fix halt testet so
8:57
ne sondern. Es ist ja besser zu gucken, OK,
9:00
wie ist das Ganze im komplexen Verbund, ne, also wie zum
9:03
Beispiel verändert sich auch die Wartbarkeit des Systems dann
9:06
durch diesen fix beispielsweise oder durch mehrere Fixes
9:09
hintereinander. Ne, ja, das ist halt n guter
9:13
Punkt, weil das auch ein Hauptkritikpunkt bei AI Code
9:19
ist. Ne oder das Coden mit AI
9:21
Unterstützung. Dass man sagt, ja, OK, so kleine
9:24
Probleme können ganz gut gelöst werden, dann kriege ich so n
9:26
Code Snippet, der funktioniert aber sobald mein Problem
9:29
komplexer wird oder mehrere Stellen dafür analysiert und
9:34
beachtet werden müssen, dass ich dann irgendwann, das hatten wir
9:37
auch auf dem auf Twitch zum Beispiel ganz oft mit mit der
9:41
Community das Thema, dass man irgendwie in so ne
9:43
Abwärtsspirale reinkommt und die Qualität immer mehr abnimmt, bis
9:47
hinzu völlig absurd wird und man sich denkt, so OK, ich kann an
9:50
der Stelle jetzt aufhören. Irgendwelche prompts zu senden
9:55
sozusagen, weil da kommt nur noch Mist bei rum, das hilft mir
9:58
nicht mehr und das ist halt auch glaub ich das, wo man sagen
10:02
muss, was unterscheidet echte Projektarbeit, echte
10:05
Softwareentwicklung von so kleinen lokalen Problemen, was
10:08
du gerade genannt hast, weil diese Kritik haben wir ja auch
10:12
selbst, das erfahren wir auch selbst, dass das oft passiert
10:15
und auch sehr viele andere. Und es absolut gerechtfertigt zu
10:19
sagen, das hat dann nicht so eigentlich mit richtiger
10:22
Softwareentwicklung am Ende zu tun.
10:23
Ne, bei Twitch hatten wir glaub ich auch ging es auch darum,
10:27
dass wie soll ich sagen, die Erfahrung kam, dass zum Beispiel
10:35
du kannst dann nen sagen wir du hast Code und die AI.
10:39
Soll die den Code refact dann so und dann bist du ja vielleicht
10:42
irgendwann mal an einem Punkt wo du sagst okay ey du hast es halt
10:45
refact, das ist okay so es passt ne, du bist ja nicht wirklich
10:48
permanent 24 7 am Code refact dann so ne, also man sollte es
10:52
regelmäßig machen, auf jeden Fall, aber du bist ja nicht
10:54
ununterbrochen dabei Code zu refact dann du fängst ja nicht
10:57
an ne Funktion zu refact dann um dann hinterher direkt im
11:00
Anschluss zu sagen und jetzt refactor ich die noch mal ey,
11:02
jetzt refactor ich die noch mal ne also du weißt was ich meine
11:06
ne also sicherlich kann man sich jetzt hinstellen und sagen na ja
11:08
aber man könnte ja vielleicht noch was finden.
11:11
Nein das mein ich jetzt aber nicht, sondern ne du hast halt
11:13
wirklich dein Bestes getan, so und gerade da war dann die
11:17
Erfahrung, dass AI halt auch wirklich einfach mal sagt, OK,
11:21
ich mach aber immer was, also du kannst jedes Mal sagen Refactor
11:24
das und AI wird was tun ne das ist zum Beispiel halt auch genau
11:27
das Ding und da geht es dann im Endeffekt auch hin.
11:30
Und um genau sowas zu testen, um dann wirklich zu evaluieren, wie
11:34
gut sind denn LLMS auch wirklich in diesem Bereich?
11:37
Ne, also in diesem Kontext auch den, den wir jetzt gerade
11:39
angerissen haben. Dafür wurde dann der sogenannte
11:43
SWECI Test gemacht. Ne ist so n Benchmark Test, der
11:46
genau halt versucht das zu zu checken ne also CI steht hier
11:49
wirklich für Continuous Integration SWE Software und es.
11:56
Ist ungefähr so aufgebaut, dass du halt 100 Aufgaben hast aus.
12:01
Ich glaub 68 Python reports, Tories und die Entwicklung oder
12:06
diese diese Test Entwicklung, also diese diese Tests, ne die
12:09
Entwicklung der Software. Diese Aufgaben hat ungefähr so
12:12
233 Tage Entwicklung gedauert, also wirklich mehrere Monate ne
12:15
also da so weiß nicht roundabout 71 Commits pro task task ne um
12:19
mal wirklich facts zu nennen hier ne und.
12:26
Jeder also die Entwicklung des Tests oder oder.
12:30
Also das, was die dann tun muss, ne.
12:33
Ah OK, die Bearbeitungsdauer sozusagen durch die Agents dann.
12:36
Genau, genau genau, also OK ne. Also beziehungsweise du hast.
12:40
Also du hast noch mal ganz kurz so n Test ne wenn du so n Test
12:44
fährst mit einer RI, dann hast du im Durchschnitt also ungefähr
12:47
100 Aufgaben die gelöst werden müssen.
12:49
Ne, es war wurden ungefähr also 68 Repositories genutzt, mit
12:53
denen das wirklich passiert, also wo wo diese Tests gelaufen
12:56
sind und durchschnittlich hat es halt 233 Tage gedauert für so n
12:59
also diesen Test durchzuführen und es gab halt durchschnittlich
13:02
71 Kommits pro task ne und dann war es halt so, dass sozusagen
13:07
jede Aufgabe. Simuliert im Endeffekt dann ein,
13:14
ich sag mal lebenslanges Entwicklungsprojekt.
13:18
Also ne ne Geschichte eines Projektes, also eine
13:20
Entwicklungsgeschichte wie man es auch immer nennen mag, also
13:22
die History eines Projektes ja so und der Benchmark
13:29
funktioniert jetzt so, dass du die, dass dieser Prozess der
13:33
läuft, der ist. Wieso ne CI loop ne, also du
13:35
hast halt quasi immer irgendwie die AI bearbeitet.
13:39
Das Problem ja und packt dann quasi die Bearbeitung sozusagen
13:44
in in so ne Loop rein, dann wird das quasi getestet, überprüft ob
13:48
das passt. Wie auch immer, ne und dann geht
13:50
das wieder von vorne los ne und pro Aufgabe gab es immer
13:53
ungefähr so 20 Iterationen auf dieser CI loop und es war dann
13:58
so vom Ablauf erstmal sind Testzeit fehlgeschlagen ne der
14:01
Agent analysiert dann das Problem, dann verändert der
14:05
Agent den Code ne also. Dieses klassische es ist
14:07
irgendwas fehlgeschlagen, also musst du dir, sagst du dir,
14:10
warte mal wieso, was ist jetzt das Problem, ich muss es fixen,
14:12
so ne Code wird verändert, CI läuft erneut und dann hast du
14:18
entweder halt wieder n grünen stand alles ist gut oder du hast
14:21
halt neue Fehler die entstehen können ne und da war es dann
14:24
halt auch natürlich so, dass durchaus das simuliert wurde,
14:28
dass halt eben bestimmte Fehler auch auftreten, dann an der
14:30
Stelle ne, damit du halt wirklich dieses dieses Ich sag
14:36
mal echte Projekterlebnis hast. Weißt du?
14:39
Ja OK, also es war so n bisschen simuliert das Ganze genau heißt
14:43
man hat quasi mit einem Stand gestartet, der nicht
14:46
funktioniert sozusagen. Also am Anfang waren die Tests
14:48
schon rot ne und dann hat man das immer fixen lassen,
14:51
sozusagen und wieder simuliert, dass neue Fehler reinkommen.
14:54
Sozusagen OK genau. Und die Aufgabe war halt, und
15:00
das war halt wirklich wichtig, was halt eben auch gemessen
15:02
wurde, der Agent. Muss jetzt nicht nur einfach
15:05
Tests bestehen und sagen, OK das das passt so ne ich hab jetzt
15:07
alles grün ist gut oder einen bestimmten Teilbereich der dann
15:12
zum Beispiel Grün ist, sondern es ist wichtig, dass halt alle
15:14
bestehenden Tests halt eben auch immer noch weiterhin grün
15:17
laufen. Ne, dieses typische du
15:18
entwickelst irgendwie an einer neuen Aufgabe.
15:21
Du hast vielleicht irgendwie rote Tests, du fix die und dann
15:24
sollen nicht nur die Tests in dem Kontext in dem du gearbeitet
15:27
hast grün sein, sondern wirklich auch alles andere drumherum ne,
15:29
also das soll halt eben nicht dieser Effekt auftreten, nicht
15:32
am Anfang meinte. Du änderst was und denkst dir so
15:35
OK, passt alles und hä, wieso ist das gerade rot?
15:40
Ne es kann nicht von meinem fix sein und dann am Ende merkst du
15:43
aber OK komischerweise ah OK ne das ist halt eben doch passiert
15:47
und genau das soll sozusagen gemessen werden, dass genau das
15:51
eben nicht auftritt, ne? Ja gut, ich mein, Wir sprechen
15:54
ja hier von Continuous Integration, ne, also in dem
15:56
Benchmark ja auch. Und dann sollte es ja ne
16:00
Bedingung sein, dass alle Testgrünen sind, bevor du den
16:02
Code integrierst in die Codebase.
16:05
Also das sollte schon gegeben sein von der von dem Agent,
16:08
sozusagen von der Entwicklung. Genau.
16:11
Und dann war das Ganze so aufgebaut, dass du halt in
16:15
diesem Benchmark 2 Rollen hast. Ne, das heißt du hast dann nen
16:17
Architekt. Agent, der sozusagen analysiert
16:21
halt eben die CI Fehler und und schreibt dann die Requirements.
16:25
Das heißt es wird dann geguckt irgendwas läuft auf der Pipeline
16:28
nicht richtig ne und dieser eine Agent von dieser LLM die
16:32
getestet wird sagt dann ey Pass auf wir haben nen Fehler da und
16:35
da ich schreib jetzt requirements damit das eben
16:37
gefixt wird und dann hast du sozusagen den Programm Agent der
16:40
wiederum sagt OK ich implementier dann halt den Code
16:44
und das soll dann im Endeffekt so n bisschen.
16:49
Die Real so reale Software Teams widerspiegeln ne, dass sozusagen
16:52
das Analyse nicht gleich Implementierung ist, obwohl ich
16:55
da ganz ehrlich bin und sagen muss.
16:57
Tino seh ich halt auch anders, weil ich finde gerade im Full
17:03
Stack Bereich beispielsweise bist du halt einfach dafür
17:05
verantwortlich, dass deine Software läuft.
17:07
Ich weiß nicht wie du das siehst, weil ich eigentlich weiß
17:09
ich wie du das siehst. Ich find es halt komisch zu
17:13
sagen Du hast einmal diese Analyse unabhängig von der
17:16
Implementierung so. Aber das wurde jetzt halt mehr
17:19
gemacht. Die Frage ist halt, was jetzt
17:22
mit Analyse da gemeint ist, wie die das wo der Schnitt da ist.
17:26
Ja, das war wahrscheinlich jetzt nicht so detailliert
17:29
beschrieben. Die Frage ist Halt, ist es die
17:31
Analyse wie ich es jetzt technisch löse oder sind es so
17:34
fachliche Sachen? Ne, also so reden wir hier zum
17:38
Beispiel von der Rolle PO und Entwickler die da miteinander
17:41
kommunizieren oder sind es irgendwie alles Entwickler?
17:43
Aber einer sagt jetzt Pass auf wir haben.
17:45
An der und der Stelle in der Klasse n Problem, dass das die
17:48
Anforderung ist, dass das und das passiert.
17:50
Und jetzt implementieren wir das.
17:51
Dann bin ich natürlich ganz bei dir, dass das irgendwie alles
17:54
Tätigkeit eines Entwicklers ist. Das ist wahrscheinlich auch
17:57
nicht so ausführlich beschrieben gewesen, ne?
17:59
Ja, also ich glaube ich. Ich meine, wenn man da jetzt
18:02
vielleicht noch mal irgendwie sich das im genauen anguckt,
18:04
dann kriegt man es wahrscheinlich auch irgendwie
18:06
noch raus, aber das Ding ist. Für mich klang es halt auf jeden
18:10
Fall so, dass es halt eben so ist, dass du hast halt diesen
18:12
einen. Du hast halt diesen
18:13
Analysepartner und prinzipiell ist es ja auch irgendwo auf
18:16
einer Metaebene, sag ich mal möglich, dass du sagst, du
18:19
guckst ob, was halt nicht richtig funktioniert, es muss ja
18:22
auch nicht immer unbedingt jetzt, sagen wir mal in der CI
18:24
sein, es kann ja, die CI kann ja auch.
18:27
Sozusagen stellvertretend für User entdeckt Halt n Problem ne
18:31
und das wird sozusagen weitergereicht.
18:32
Du meinst an genau an so NPO, das versteh ich, ist auch n
18:36
guter Gedankengang von dir, so dass man sagt das könnte ja auch
18:38
PO und Entwickler entwicklerinnen sein, sozusagen
18:41
diese Rollenverteilung, aber wenn ich mir denk, also aus
18:46
dieser Perspektive heraus zu sagen, irgendwas ist rot auf der
18:49
Pipeline, dann seh ich das halt einfach beim Entwickler, so
18:51
weißt du, deswegen fand ich das so n bisschen komisch vom vom
18:54
Naming. Aber genau das ist im Endeffekt
18:58
so. Die Situation ne und am Ende
19:03
wurde dann halt geguckt und halt es, es wird ja immer so, es gibt
19:07
ja so n Maß ne so wo man sagt was ist wichtig, worauf wird
19:10
jetzt geachtet ne und es wird jetzt zum Beispiel nicht
19:12
unbedingt darauf geachtet zu sagen.
19:15
Du hast n einzelnen Fehler und der wird gefixt, sondern es war
19:19
halt wichtiger zu sagen was wie wie performt diese
19:23
Gesamtsoftware später ne, das heißt wenn früher in diesem
19:28
Prozess, in dieser Simulation sag ich jetzt mal zwar perfekt
19:32
irgendwelche Fixes gemacht wurden, aber später das System
19:35
immer schlimmer wurde, sag ich jetzt mal.
19:37
Oder immer mehr Fehler im Nachhinein aufgetreten wurden.
19:40
Das galt dann halt als schlecht, das heißt, es war auch
19:42
gleichzeitig wiederum nicht schlimm, wenn am Anfang
19:46
irgendwie fix ist, noch nicht richtig hundertprozentig gut
19:49
umgesetzt wurden, wenn es noch nicht so richtig, noch nicht so
19:52
richtig gepasst hat. Weißt du also sagen wir mal, du
19:55
hast den ersten Fix und du löst ihn nur zu 50% könnte man ja
19:58
jetzt sagen, OK das ist schlecht, ne.
20:00
Wenn du aber am Ende sag ich jetzt mal immer weiter das
20:03
System verbesserst, sodass du am Ende sagen wir mal Ich nenn
20:07
jetzt einfach mal zahlen so n System von 90 von 100%
20:10
geschaffen hast. Weißt du also um um das mal so
20:12
auf einer Zahlenebene zu verständlich zu machen, dann war
20:15
da ist das halt tausendmal besser als wenn du am Anfang
20:17
aber so n so n fix 100% machst hinter deinem System aber nur 60
20:22
von 100 Punkten bekommt, weißt du ich meine.
20:24
Ne. Und da war es dann halt so, dass
20:27
so Regressionsfehler nennt sich das ja immer dieses wiederholte
20:30
Laufen der Pipeline sozusagen, wenn da dann halt Fehler später
20:33
aufgetreten sind. Das wurde halt stärker bestraft
20:36
als. Wenn du halt, sagen wir mal
20:38
früher mal n Fehler drin hattest, so.
20:41
Ja OK, also es geht halt wirklich um die Entwicklung und
20:44
Wartbarkeit dahinter und wie stabil das System ist sozusagen
20:47
oder die Softwareentwicklung dahinter auch so.
20:49
Stichpunkttechnische Schulden oder so, die sich dann
20:51
vielleicht aufbauen, ne, ich mein, das kennt man ja.
20:54
Ist jedem ein Begriff. Ja, ist auf jeden Fall n ganz
20:58
interessanter Aufbau, auch dass halt mehrere Agents da
21:01
involviert sind, dass man halt wirklich.
21:03
Weil es geht ja ganz oft darum, kann ich jetzt so
21:05
Softwareentwicklerinnen und Entwickler ersetzen, ist ja ne
21:08
Angst von vielen wird auch viel diskutiert, ist auch so n
21:11
bisschen Panikmache und ja sag ich mal es kommt halt gut in den
21:17
Medien so was zu sagen ne also das polarisiert Halt und
21:22
natürlich muss man so n Test dann auch so aufbauen, dass man
21:24
sagt OK wir haben jetzt mehrere Agents, wir ersetzen jetzt so n
21:26
Team ne und mal gucken wie sie diese Software entwickeln und
21:29
deswegen. Ist gerade so so ne die
21:33
Regression dabei zu betrachten sehr plausibel das zu tun und
21:38
auch wichtig ne das zu analysieren weil wie verhält es
21:40
sich über Zeit wenn ich jetzt einen so n task hab und der wird
21:43
ganz gut entwickelt und ich stell mich hin ach guck mal 30
21:48
Sekunden ja super fertig das schafft niemals n Entwickler ja
21:52
OK klar kannst du so schnell vielleicht nicht coden dann ne
21:55
oder kriegst Ding das Ergebnis nicht geliefert.
21:58
Aber die das Spannende ist ja wirklich, wie verhält sich es
22:01
über Zeit und fährt man so n Projekt gegen die Wand so
22:03
wirklich massiv gegen die Wand, dass es halt überhaupt gar nicht
22:06
mehr funktioniert und alles n Bach runter geht?
22:08
Oder können Sie halt dieses Level halten?
22:11
Das ist das spannende jetzt, was man da denn versucht
22:14
herauszufinden und ich muss sagen ich find das selbst auch
22:16
super spannend ja bin gespannt was das Ergebnis.
22:19
Ist da kommen wir gleich drauf. Ich find halt zum Beispiel ich
22:22
mein das, das kennst du sicherlich auch.
22:24
Wenn du so ein du hast ein Projekt und du sagst jetzt zum
22:26
Beispiel, du hast wirklich einen kleinen Task und sagst jetzt AI,
22:28
mach das so ne, vielleicht beschreibst du so, es geht jetzt
22:31
nicht darum, dass du wirklich sagst, ich gebe jetzt die
22:33
Anforderungen aus so einem Ticket da rein, sondern du
22:35
beschreibst halt, dass du sagst, ich möchte gerne, dass sich die
22:37
Software da da und dahingehend verändert ne so, dann ist es ja
22:42
relativ easy, dass du wirklich eine Lösung bekommst, dass die
22:45
AI etwas vorschlägt und sagt, OK, hier bitteschön ne, du
22:48
testest das aus und sagst vielleicht OK, das funktioniert
22:51
schon, das passt schon irgendwie so ne.
22:54
Aber wenn du jetzt zum Beispiel an einem an einer anderen Stelle
22:57
wieder was ähnliches machst, dann haut der dir wieder ne
23:00
Lösung rein und dann hast du aber irgendwann den Punkt, dass
23:03
vielleicht einfach Code Dopplungen da sind, wo du
23:06
vielleicht aber intuitiv als Entwickler oder Entwicklerin dir
23:09
denkst. Na ja, also ich hätte jetzt
23:11
schon irgendwo nach einer gewissen Menge an Dopplungen
23:13
vielleicht auch mal ne Single Source of Truth eingebaut, das
23:17
ganze vielleicht mal refected und so weiter ne.
23:20
Kleines Mini Beispiel dazu ist jetzt vielleicht nicht so
23:24
hundertprozentig das, aber ich hatte das zum Beispiel mal mit
23:27
mit CSS Code ne wo wo man sich dann so denkt so ich finde CSS
23:30
bin ich ehrlich ist jetzt nicht mein absolutes Steckenpferd so
23:33
man kommt damit halt klar, aber es hilft natürlich auch schon
23:37
einfach mal so ein bisschen so von AI so mal was sich geben zu
23:40
lassen weißt du und. Dann wird halt in der einen
23:44
Seite n Button gestylt und in der nächsten Seite wird wieder n
23:47
Button gestylt, der aber genauso aussieht sieht wie der andere,
23:49
aber die AI kam niemals darauf zu sagen und das packen wir
23:52
jetzt mal nicht Side CSS so allgemein ne so und das sind so
23:57
Dinge. Na ja, gut, man muss natürlich
23:59
sagen, da gibt es ja auch diesen witzigen Satz und ich find, der
24:02
ist halt auch n bisschen zutreffend, bisschen provokant,
24:04
aber auch zutreffend, dass CSS so Wright only ist und nicht
24:08
mehr gelesen werden kann, dass du das so schreibst, sieht
24:11
richtig aus, jut. OK guck ich mir nie wieder an,
24:13
was da drin ist, weil es halt auch echt schnell eskalieren
24:16
kann, ne, vielleicht denkt sich das ja ja.
24:19
Auch. Ja, aber es ist es ist.
24:22
Es ist ja nur ein kleines Beispiel.
24:23
Es ist ja das, das kannst du halt auch so auf Mappen, auf auf
24:26
normalen Code und das sind halt dann auch wieder so Probleme, wo
24:28
du gerade wenn du vielleicht noch nicht so richtig Erfahrung
24:32
hast, dass du dann in diesen Bereich kommst, wo du denkst,
24:35
ey, das funktioniert ja richtig, richtig geil, ja, und dann
24:38
kommst du aber genau in diese Hölle oder in diesen, in diese,
24:41
dieses Testproblem, was wir jetzt ansprechen, weil.
24:44
Es ging ja, wie gesagt mit dieser Regressionsrate, die da
24:47
überprüft wurde, wurde er geguckt wie oft n Agent etwas
24:51
repariert, ohne dass er etwas anderes halt am Ende wieder
24:54
kaputt macht und die Ergebnisse waren halt schon stark, weil die
24:57
Mehrheit aller Modelle wirklich genau dieses diese.
25:03
Dieses Maß, was ich gerade genannt hab, nur kleiner 25%
25:07
erfüllt hat, also nicht mal ein Viertel oder maximal ein Viertel
25:11
der also der meisten Modelle. Nein, so nein warte.
25:14
Die meisten Modelle haben nur zu.
25:16
Wenig Statistik genau also du nimmst ein Modell und die
25:21
Wahrscheinlichkeit, dass das Modell später etwas kaputt macht
25:23
ist liegt bei 75%. So ist schon sehr hoch, das
25:27
meine ich damit ne ein bisschen herausgestochen herausgestochen
25:32
hat hier Cloud Opus ne kennt man ja, ist sicherlich vielen
25:36
Begriff jetzt sagt wahrscheinlich der eine oder
25:38
andere so alter ich hab es schon immer gesagt Opus.
25:41
Rockt, so weißt du ja, stimmt, das ist ein Modell, was?
25:46
Auch polarisiert also gefühlt jede neue Version und dann
25:49
stellst du irgendwann fest. Ja, so geil ist doch nicht und
25:51
dann kommt die nächste und dann. Aber jetzt ist richtig, richtig
25:54
geil. Ja, es gibt so viele Fans von
25:58
Opus, auch jetzt gerade mit der 4 Sechser Version ne die ja ist
26:03
ja auch schon wieder ne Weile her, ich muss sagen ja die
26:05
Ergebnisse fühlen sich besser an, aber das was wir anfangs
26:09
kritisiert haben passiert da genauso.
26:10
Ja, ist echt so. Also ich bin ganz ehrlich, so in
26:14
letzter Zeit wo ich auch n bisschen mehr mit Opus
26:16
gearbeitet hab, muss ich sagen es fühlt sich jetzt nicht
26:21
deutlich besser an als irgendein anderes Modell, aber ist normal.
26:25
Ja, also. Es ist, die Ergebnisse sind
26:28
manchmal passender oder auch irgendwie.
26:32
Ja, also geh mal ein besseres Gefühl, aber du kommst halt in
26:35
die gleiche Teufelsküche, wenn es sich halt mal wieder n paar
26:38
rund. Dreht so ne.
26:40
Aber selbst bei opus kannst du halt ne Münze werfen, ne, also
26:43
dass n opusmodell trotzdem zu 50% roundabout halt eben später
26:49
auch eigene Fixes wieder kaputt macht und das ist halt schon
26:52
krass, muss man halt wissen. Ne, das ist n Ding wo man halt.
26:56
Also es ist natürlich deutlich besser als 75 wie der
26:58
Durchschnitt sag ich mal ne ja, aber 50 ist halt immer noch sehr
27:01
hoch. Ja wie du meinst, das ist n
27:03
Münzwurf ist halt weiß nicht wie es bei dir ist, aber immer wenn
27:05
Münzwurf ist verlier ich komischerweise.
27:09
Du musst auf der richtigen Seite stehen.
27:11
Ach so, ach so, ja das Richtige wählen vorher meinst du,
27:15
logisch, nee, aber das ist halt n Ding, da muss man halt glaub
27:19
ich auch n bisschen mit mit Deal ne und das muss man sollte man
27:22
auch irgendwie auf dem Schirm haben, gerade wenn man sagt OK
27:25
ich vibe Code jetzt mit irgend ne Software zusammen ist halt
27:28
irgendwie n Ding gerade wenn du ne gerade wenn du dir ne
27:31
Software überlegst wo du sagst oder wo du weißt das hat auch
27:35
noch so n bisschen. Wie sagt man Wartungsbedarf?
27:39
Ne, also wenn du jetzt eine Software machst und die viele
27:42
Software Softwares die Mehrzahl davon wertsoftware Software, die
27:49
werden ja später auch benutzt, viel ne und müssen
27:52
dementsprechend halt auch angepasst werden, auch mit den
27:54
ich sag mal userbedürfnissen angepasst werden, das ist
27:59
Wartung am Ende auch ne und auch Erweiterung und solche Sachen
28:03
also das da muss man muss man halt wissen.
28:06
Ja, aber ich find es jetzt gar nicht so verwunderlich.
28:08
Also ich find die Quote ist sehr hoch, das ist schon krass, aber
28:12
das eine höhere Quote da ist find ich gar nicht so
28:15
verwunderlich, weil du hattest ja auch am Anfang erwähnt, dass
28:17
alte Tests immer so lokale Probleme waren oder so kleine
28:21
Abgesteckte und dafür funktioniert es ja auch gut ne,
28:23
wenn du eben sagst ey ich brauch ne Funktion die das das und das
28:27
Macht und die ist so richtig schön autark, dann kriegst du
28:30
auch gute Lösungen und die sind auch gut gecoded ja also das
28:32
bekommt ja kein richtiger Murks zurück.
28:34
Aber das sind halt so lokale Problemlöser, ne.
28:40
Also das was du da zurückkriegst ist sehr gut für lokale Probleme
28:44
und dann auch so für lokale Optimierung sowas zu sagen wie
28:47
hier guck dir die Funktion an, was würdest du optimieren?
28:49
Mal abgesehen davon, wenn du sagst was würdest du optimieren
28:52
baut der immer irgendwas um weil er das Gefühl hat ich muss
28:54
optimieren so weißt du. Aber sie sehen halt nur, denn
28:59
diesen kleinen Ausschnitt, denn eventuell den Fehler da drin ne
29:03
oder vielleicht nen fehlenden Test und gucken OK was passiert
29:06
da, das wird aufgerufen. Gut dann bau ich da drin um so
29:08
ne aber es hat nie den Gesamtblick da drauf also so ne
29:12
so n Agent guckt gefühlt nicht auf die ganze Software, auch
29:16
wenn du ja keine Ahnung was du alles machen kannst.
29:18
Du kannst sagen guck dir diese Files an, dafür bezieh das und
29:21
das mit ein. Du gibst ihm irgendwie das
29:23
Gefühl, das ganze Projekt im Blick zu haben, aber so richtig
29:25
weißt du es auch nicht und es fühlt sich auch nicht so an, als
29:27
wenn das hat, weil wie gesagt es sehr lokal, immer alles
29:30
betrachtet wird. Ne und so implizite
29:35
Abhängigkeiten sag ich mal, sind denn auch einfach nicht
29:39
berücksichtigt, oft ja oder auch Auswirkungen, was hat das wenn
29:43
ich das jetzt mache, ja gut, dann ist der Test grün, aber das
29:45
wird mir doch definitiv noch in die Suppe spucken, spielt ja gar
29:48
keine Rolle, genau. Und das ist halt n
29:52
Riesenproblem, was halt zu systematischen Fehlern einfach
29:55
führt, weil halt auch nie zum Beispiel auch nie so ne richtige
29:59
Architektur aufgebaut wird. Es wird halt dann in der Suppe
30:02
rumgerührt, bis es wieder irgendwann passt, aber auch
30:05
überhaupt nicht eingehalten, dass irgendwelche.
30:09
Vorgaben da drin sein müssen, dass man irgendeine Architektur
30:12
einhalten möchte oder so. Das passiert halt nicht ne und
30:15
deswegen verwundert mich das Ergebnis nicht, diese lieblose
30:18
Suppe, wo noch reingesprungen wird die ganze Zeit dann
30:21
rumgerührt wird. Ja, das ist halt so wie wenn du
30:26
keine Ahnung zu Hause n Rohr irgendwie reparierst in deinem
30:29
Haus oder so ne und dann dir denkst also und nicht checkst,
30:32
dass sich halt der gesamte Wasserdruck verändert ne ja
30:35
also. Ich weiß jetzt nicht, ob das n
30:37
tatsächlicher Anwendungsfall wäre, aber ja, das ist so.
30:40
N Rohr ist kaputt, ne, du bist ja kurzsichtig sagt OK ich
30:43
reparier das jetzt aber du. Setz irgendwas ein da.
30:48
Genau also du. Du machst es irgendwie, aber du
30:50
achtest halt nicht darauf, dass ich vielleicht irgendwie, warum
30:52
auch immer, durch deinen Fix der Wasserdruck irgendwie der steigt
30:56
stark an und irgendwann hast du n keinen Druckausgleich.
30:59
Ja genau, irgendwann hast du ne Leitung die platzt oder was auch
31:02
immer, weil du halt irgendwas gemacht hast, was aber später
31:04
halt wieder n anderes Problem erzeugt.
31:06
Oder was weiß ich du. Na ja, OK.
31:08
Weiß nicht, wenn du überall Wasser anmachst, dann hast du
31:10
hinterher kommt kein Wasser mehr, weil zu wenig Druck und du
31:13
hast ne was auch immer. Ist jetzt nur aus den Haaren
31:15
gesogenes Beispiel, aber du hast halt, also es kommt halt durch.
31:20
Diesen Test konnte man erkennen, dass diese Weitsichtigkeit für
31:24
sowas ne für diese Probleme, die sich irgendwie bedingen können,
31:28
halt eben wie du ja auch meintest, so ne, dass das Halt
31:32
nicht gegeben ist. Bei vielen NLMS ne und bei
31:35
einigen mehr und bei anderen weniger, aber eigentlich bei
31:38
allen ist es so. Also ich find es, es ist halt
31:42
auf jeden Fall ne coole Art und Weise das zu testen und besser
31:44
als zu sagen ey ich geb euch immer so einzelne Task und du
31:47
ihr Fixt das und dann denkst du oh Mensch hier guck mal den mal
31:50
aber richtig hohe Erfolgsquote ne da find ich ist das schon
31:53
viel aussagekräftiger. Jetzt ist das natürlich irgendwo
31:58
ja auch begrenzt ne also du hast ja gesagt zum Beispiel 100
32:00
Aufgaben. Dann ist es ja nur in Python
32:04
gewesen glaub ich. Ne man hat mit Open Source
32:08
Repositories gearbeitet. Ja OK das sind jetzt vielleicht
32:11
alles so Einschränkungen wo jetzt Leute kommen können und
32:16
sagen Na ja, aber hier wenn ich hier aber mit javascript
32:20
unterwegs bin dann läuft richtig ja also ja gut mag sein,
32:24
vielleicht muss man das auch mal so für andere Sprachen jetzt
32:27
sozusagen ausrollen. Aber ich würd das nicht mal
32:30
unbedingt so krass auf die Sprache Münzen.
32:32
Ne und Python hat sich wahrscheinlich da auch einfach
32:34
angeboten, genauso wieder die Nutzung von Open Source
32:37
Repositories ne und 100 Aufgaben finde ich ist von der Stichprobe
32:43
her, also von der retschieren Anzahl schon auch
32:46
aussagekräftig, ne gerade wenn man überlegt.
32:49
Wieviel Iterationen denn da drunter wieder gemappt waren und
32:53
so und die Laufzeit allein schon ne.
32:54
Also da kannst du ja nicht sagen, OK, wir haben jetzt n
32:56
Benchmark Test gemacht, ja wie lange?
32:58
Ja wir haben jetzt eine so ne Sache nicht, statt einer haben
33:00
wir 2 laufen lassen und deswegen können wir jetzt sagen so läuft
33:03
immer noch ja also das ist halt so also ich find das ist halt
33:08
auf jeden Fall cool umgesetzt gewesen und es bringt halt
33:11
zumindestens jetzt an der Stelle und da komme ich jetzt ins Spiel
33:15
ja. Ne so gewisse Thesen mit sich,
33:20
die auf jeden Fall diskussionspotenzial haben und
33:23
ich finde, darüber könnten wir jetzt so im letzten Teil der
33:26
Folge, weil es soll ja nicht nur um die Ergebnisse gehen, das ist
33:30
ja nicht ne reine News folge, sondern auch wir wollen ja mal
33:32
unseren Senf dazu abgeben, wenn wir es nicht schon so nebenbei
33:35
mitgemacht haben, ne und zwar möchte ich noch mal auf das
33:40
Thema kommen AI. Ersetzt keine Entwickler oder?
33:45
Jetzt hast du 2 Lager die einen sagen auf jeden Fall werden wir
33:47
ersetzen, die anderen sagen auf keinen Fall, weil alle Projekte
33:49
gehen Bach runter, jetzt hast du dieses Ergebnis für mich
33:54
persönlich symbolisiert dieses Ergebnis eher, dass die Leute,
33:58
die gesagt haben, OK es ist n Tool, aber wir können nicht
34:00
ersetzt werden damit, weil dann gehen hier alle Projekte vor die
34:03
Hunde, das spielt denen halt natürlich total in den Karten
34:06
und ich mein da zähl ich uns beide auch dazu, das heißt es.
34:11
Bestätigt ja irgendwo unsere Sicht der Dinge.
34:13
Ne und auch wir haben ja ne Folge gemacht über wie sich Open
34:18
Source zum Beispiel verändern kann, die Kultur dahinter ja,
34:21
dass halt unglaublich viele, also eine Flut an Pull request
34:26
kam durch Agents und Geweibecoded n Code, was die
34:29
ganzen Maintainer gar nicht mehr händeln konnten und auf die
34:32
Barrikaden gegangen sind. Ich finde das spielt jetzt hier,
34:35
das zeigt dieses Ergebnis auch, ja du lässt das zwar irgendwie
34:38
schnell coden, aber du hast n Riesen.
34:41
Wartungsaufwand oder wie siehst du das?
34:42
Also, wenn irgendwie ja mit 75 prozentiger Wahrscheinlichkeit
34:46
bei den meisten Modellen irgendwann wieder was kaputt
34:48
geht, heißt das für mich verdammt noch mal, das wird
34:51
anstrengend das zu warten das richtig zu erkennen, rechtzeitig
34:54
zu erkennen das zu fixen, ohne dass man komplett in diese
34:57
Abwärtsspirale reinkommt. Ja, was ich, was ich halt geil
35:00
finde ist, man kann sich jetzt auch hinstellen und sagen, ja
35:02
OK, technische Schuld zum Beispiel baut sich auf und
35:04
demzufolge passiert sowas ja auch ne das also es es war ja
35:08
quasi wurde ja explizit genannt, dass es so ne Art technische
35:11
Schuld ist, die sich aufbaut und demzufolge halt auch Fixes am
35:14
Ende sozusagen wieder selbst kaputt gemacht werden ne und ich
35:18
denk mir so ja klar, normalerweise bauen sich baut
35:20
sich auch technische Schuld auf. Wenn normal, also wenn wenn
35:24
menschliche Entwickler und Entwicklerinnen an Projekten
35:27
arbeiten, OK, gucken wir uns ganz kurz an wieso, weil man
35:30
immer oder meistens entsteht sowas durch Zeitdruck.
35:33
Ja ich will jetzt aber auch mal wissen, wie zum Beispiel so n
35:36
Zeitdruck sich auswirkt ja wenn du zum Beispiel nur noch Code
35:39
generieren lässt, ja dann bist du nicht schneller, sondern du
35:42
hast einfach nur schneller mehr technische Schuld aufgebaut.
35:46
Weißt du nach diesem Test so, das ist für mich die logische
35:51
Schlussfolgerung daraus. Und nur weil du mehr Code
35:54
erzeugen kannst, beispielsweise heißt das noch lange nicht, dass
35:56
es besserer Code ist. Sondern halt.
36:00
Vielleicht sei doch auch nicht immer alles ne.
36:02
Genau, sondern halt vielleicht eben mehr Wartungsarbeit.
36:04
Dadurch entsteht ne die oder technische Schuld sich dadurch
36:07
aufbaut und ich fand auch letztens hab ich auch noch mal
36:11
so n so n so n kleines Video gesehen, da ging es genau um
36:14
diese Aussage, die irgendwann mal getätigt wurde.
36:18
Ich will jetzt gar keinen, keine Person benennen, weil ich glaub
36:21
es haben n paar Personen gesagt, aber so was wie 90% des gesamten
36:25
Codes wird irgendwann nur noch durch AI geschrieben.
36:28
Ne wo ich mir so wo ich mir so dachte Boah Alter, das ist schon
36:30
krass, aber wenn du jetzt mal überlegst ja, dass die Anzahl an
36:36
Code die ein Mensch schreibt stabil bleibt gleich bleibt aber
36:41
einfach nur ne Prozent des Verhältniss.
36:44
Einfach nur noch mehr viel, viel mehr Code generiert wird.
36:48
Natürlich hast du irgendwann 90% Code, der generiert wird, aber
36:51
keiner sagt 90% guter Code wird generiert, sondern es kann nur
36:55
wenn nur 10% davon denn verwendet wird genau ja, aber
36:59
das ist halt das Ding und da muss man halt eben solche
37:02
Aussagen auch eben wirklich ich sag mal mit Bedacht genießen ne
37:08
und nicht einfach sagen Oh mein Gott Panik.
37:10
Und ich find halt, dass. Diese Velocity ne, also dieses
37:15
Code Code Code Code und lösen, lösen, lösen auch.
37:19
Ja, das zeigt ja dieser Benchmark Test ja auch, dass das
37:22
einfach nicht so funktionieren kann und wir sagen ja immer es
37:25
ist n gutes Tool was man verwenden kann zum Brainstormen,
37:28
zum Code Snippets generieren, aber am Ende wird man nicht so
37:33
massiv schneller, es kommt immer auf die Task an wie komplex sie
37:36
ist aber es hilft ne also es macht einen schon irgendwie
37:39
effektiver. Aber es man wird nicht unendlich
37:42
schnell und ich finde, das ist halt genau der Punkt.
37:44
Also es zeigt, dass man AI richtig einsetzen soll und nicht
37:49
übernehmen lassen soll. Ne, also damit meine ich nicht
37:51
dass ersetzen, du kannst ja genauso da nehmen.
37:54
Sitzen und sagen ja, OK ja, ja ja, confirmed ja gut, passt
37:58
passt fast approved am Ende so ne.
38:00
Na ja wär ja theoretisch möglich.
38:03
Nein du bist natürlich weiterhin in der Verantwortung, du bist in
38:07
der Verantwortung dafür zu sorgen, dass die Codequalität
38:10
stimmt, weil es dein Produkt ist.
38:11
Ne, du bist als Entwickler weiterhin dafür verantwortlich
38:14
und so muss man das auch sehen und ne andere These, die man
38:18
daraus ja ziehen kann ist gut. OK, mal angenommen wir lassen
38:23
jetzt auch viel Code generieren und zwar in der Art und Weise
38:27
wie ich es gerade meinte, also als Unterstützendes und nicht
38:30
ersetzendes Tool sag ich mal ne. Dann ist ja irgendwo der Skill
38:36
ein Systemverständnis zu haben und zu wissen, wie sieht
38:39
Softwarearchitektur aus, wie sieht gute Softwareentwicklung
38:42
aus, was muss ich alles berücksichtigen.
38:44
Ja, das wird ja immer wichtiger, die Basics werden auch immer
38:47
wichtiger, weil ich ja jetzt n Tool an die Hand bekomme, was
38:51
schnell ausführen kann, aber ich muss das ja bewerten können und
38:55
auch eingreifen können und deswegen ist dieses Verständnis
38:58
finde ich, also das zeigt mir auch dieser Benchmark Test oder
39:01
das Ergebnis. Dass das einfach noch wichtiger
39:04
wird, weil ja auch viele Quereinsteiger, einsteigerinnen,
39:07
Einsteiger, auch Leute, die überhaupt überlegen, in die
39:10
Softwareentwicklung zu gehen, ja auf uns zukommen und fragen,
39:12
lohnt sich das noch? Ja, es lohnt sich auf jeden Fall
39:15
noch, aber es lohnt sich noch umso mehr, jetzt in der Zeit
39:19
noch mehr die Basics zu verstehen, ja, und auch wirklich
39:22
n bisschen back to the roots zu gehen.
39:24
Klar, es gibt unglaublich hippe Softwarearchitekturen und
39:28
Patterns und Prinzipien und alles richtig, ja, aber auch
39:33
wirklich mal Softwareentwicklung mit allen Facetten in den
39:36
Grundlagen zu verstehen. Und da will ich jetzt nicht
39:39
sagen, so, ja ich hab das hier alles komplett verstanden.
39:41
Ja also nee, ich finde man kann nach keine Ahnung 1015 Jahren
39:46
Entwicklung immer noch sich denken verdammt das hab ich
39:49
komplett nicht mehr auf dem Schirm gehabt oder ey davon hab
39:52
ich auch noch nichts gehört so ne.
39:53
Aber dass man da auch sich weiterentwickelt und dran
39:56
bleibt, ist halt umso wichtiger. Dann also ich denke auch, dass
39:59
es nicht unbedingt zwangsläufig sein muss, dass ein Entwickler
40:02
oder eine Entwicklerin der heutigen Zeit oder der Zukunft
40:06
super viel Code schreibt, also wirklich selber schreibt, aber
40:09
das Verständnis was da passiert muss halt da sein, das ist sehr
40:12
sehr wichtig und genau deswegen braucht muss man dieses
40:15
Verständnis auch aufbauen, Dinge zu tun, einfach nur die ganze
40:19
Zeit irgendwas in die AI einzugeben und das was rauskommt
40:22
einfach blind zu übernehmen und. Ist halt haben wir glaub ich
40:24
auch schon mal gesagt. Genau ne Sache wo man sich sagen
40:27
kann OK solche da kann man schon ersetzt werden weil was bringt
40:31
es dir wenn du nur durchwinkst so ne und dieses Verständnis
40:35
nicht mitbringst so ne und ich meine man sieht halt im
40:41
Endeffekt ja NLLM hat nicht so n Gedächtnis das ist jetzt kein
40:46
richtiges Denken was da passiert.
40:51
Aber und du brauchst halt auf jeden Fall genau aus diesen
40:52
Gründen noch n ownership Gefühl für dein System.
40:56
Ne, das ist halt einfach wichtig, das muss halt da sein.
41:00
Was natürlich spannend ist. Es können natürlich jetzt auch
41:02
Leute hervortreten, die sagen, na ja, natürlich, das sind alles
41:06
Architekturen, Modelle, Arbeitsweisen, die ja auf uns.
41:12
Coderinnen und Codern Gemappt sind ne, also dass quasi
41:15
Menschen das danach arbeiten können das ich mein das ist n
41:18
Argument, das kannst du immer bringen, ja dass sozusagen die
41:20
Maschine. Gar nicht so eigentlich arbeiten
41:24
würde und man diese Modelle irgendwie drauf drückt.
41:26
Ja zum Beispiel zu sagen in diesen Iterationen mit CI und
41:30
so, vielleicht würden ja Agenten unter sich sozusagen gar nicht
41:34
so arbeiten, sondern in irgendeinem chaotischen Modell,
41:36
aber am Ende kommt was richtig gutes raus, wie auch immer, ne,
41:39
also ja vielleicht passen unsere Weltmodelle dazu nicht.
41:44
Das bleibt natürlich irgendwo offen.
41:46
Das Argument kann man so als Diskussions Totschlagargument
41:50
bringen und alle stehen weiterhin im Dunkeln, sozusagen.
41:53
Ja gut, kann sein, kann ich nicht widerlegen, aber ich
41:57
finde, dass man trotzdem jetzt schon wirklich gute Take aways
42:00
da mitnehmen kann. Ne, also aus diesen also
42:03
natürlich Liebe, zuhören, Liebe zuhören aus dieser Folge hier,
42:05
weil wir es ja für dich besprochen haben, aber auch
42:08
allgemein, wenn man den Artikel gesehen hat.
42:11
Hast du Bock, das vielleicht noch mal so n bisschen so am zum
42:13
Abschluss zusammenzufassen? Ja, also ich find auf jeden Fall
42:16
was sehr sehr wichtiges und wo man auf jeden Fall, was man sich
42:19
in den Kopf rufen muss. Es ist n definitiven Unterschied
42:23
Code zu generieren auf der einen Seite oder n System wirklich
42:26
langfristig zu entwickeln und zu warten, das ist halt einfach
42:29
wichtig muss man im Kopf haben das ist ne Code Generierung ist
42:33
nicht einfach nur OK ich kann ne ne geile Software zwangsläufig
42:37
dadurch erstellen. Man muss es halt stabil halten.
42:42
Die Codebase muss irgendwie stabil gehalten werden, auch
42:45
wenn AI den Code halt schreiben kann.
42:47
So und gerade dieses diese langfristige Entwicklung, diese
42:54
Regression, die da sozusagen getestet wurde, ne, das ist halt
42:57
eben noch ein ungelöstes Problem, offensichtlich.
43:01
Was ja nicht heißt, dass es nicht gelöst werden kann.
43:04
Aber es gibt ja auch andere Probleme bei AID wahrscheinlich
43:07
auch genau zu solchen Ergebnissen eben führen, was ja
43:11
auch einfach Probleme sind, die noch nicht gelöst sind, ne, also
43:13
wir können gerne mal, falls dich interessiert Liebe zuhören,
43:15
lieber zuhören können wir gerne auch über Probleme die AIS hat
43:19
mal ne Folge machen, das ist kein Problem und ansonsten ja.
43:25
Also bugfixen kann ne Software System main tan hab ich Software
43:31
gesagt, kann AI aber system main TAN kann AI halt eben noch nicht
43:35
offensichtlich so ne und ja vielleicht ist das halt eben
43:40
genau der Unterschied ja heutzutage zwischen ich sag mal
43:45
einem so einer LLM und ich sag mal wirklich jemanden oder so
43:50
einem einfachen Programmierer sag ich jetzt mal ne oder halt
43:53
wirklich. Zu einem, ich sag mal
43:55
Informatiker, Software Ingenieur, wie wie man das auch
43:58
mal nennt, ne. Also der Unterschied zwischen
44:00
ich wende einfach nur dieses Handwerk an ne weil das Handwerk
44:04
wird n bisschen auch in die LLM gegeben, aber das Verständnis
44:07
wie wir meinten dadurch halt eben ne brauchst du nicht.
44:10
Und das ist ja, sag ich mal, in fast jedem Fall so, dass man ja
44:15
nicht nur coder ist. Ne, also nicht nur derjenige
44:18
ist, der den Code schreibt, sondern halt diese Software auch
44:21
entwickelt. Und mit allem drum und dran ne
44:23
oder dieses Software Engineering dann ne und das find ich ist n
44:27
guter Punkt hier zu abschließen. Da hab ich auch gar nichts mehr
44:29
hinzuzufügen, dass man halt wirklich sagt, vielleicht ist
44:32
das genau noch der Unterschied den wir zur LLM haben und
44:35
weswegen man das irgendwie miteinander verheiraten muss um
44:38
gute Systeme entwickeln zu können und nicht in diese
44:42
Abwärtsspirale rein zu geraten, ne?
44:45
Genau auf jeden Fall cool, dieser Benchmark, dass man sagt,
44:49
OK, nicht mehr nur angucken, Fix The Bugs, sondern Main tain the
44:52
System, sag ich mal und geile Erkenntnisse da drin.
44:56
Richtig cool, dass man das durchgezogen hat.
44:57
Ich kann mir auch vorstellen, dass es n sehr sehr teurer
44:59
Benchmark ist, das alles so laufen zu lassen, also wieviel
45:03
Tokens da verbraucht wohnen will ich gar nicht wissen oder doch
45:06
würde mich interessieren, aber es ist auf jeden Fall 10000000.
45:10
Oder so. Echt ja, heftig ja gut, aber
45:13
irgendwie hatte ich es mir schon fast gedacht.
45:14
Also das hat ein bisschen was gekostet.
45:17
Ja, um das uns hier so die Zahlen präsentieren zu können,
45:20
auf jeden Fall Shampoo dafür. 10 Milliarden. 10 Milliarden, Ach
45:25
du meine, na gut, okay dann würde ich sagen, Fabi, haben wir
45:29
das Thema durch vielen, vielen Dank, dass du es mitgebracht
45:32
hast. War mega interessant und ich
45:33
fand wir haben auch eine coole Diskussion dazu geführt, aber
45:36
eine Meinung fehlt uns natürlich dabei noch und zwar von dir,
45:39
liebe Zuhörer, liebe Zuhörer. Wie ist deine Meinung zu dem
45:42
Thema? Wie stehst du zu diesem neuen
45:45
Benchmark, wie siehst du AIS und Agents allgemein, wie verwendest
45:50
du sie vielleicht? Das würde uns mega mega
45:52
interessieren. Schreib uns gerne zum Beispiel
45:54
auf der Podcast Mail oder über die Plattform deiner Wahl, wir
45:59
werden überall reagieren und antworten ist versprochen und
46:03
alle Links findest du wie immer in den Shownotes.
46:06
Da findest du auf jeden Fall auch einen kleinen Spendling.
46:08
Wenn du sagst, ey Mensch Leute, ich hör mir den Podcast jetzt
46:11
echt schon ne Weile an. Richtig richtig cool was ihr
46:13
macht, vielen Dank dafür, ich möchte euch so n bisschen was
46:15
zurückgeben, dann vielen vielen Dank dafür.
46:19
Empfiehl ihnen auch gerne weiter den Podcast das freut uns mega
46:23
und hilft uns natürlich auch quasi unser Gelaber hier sag ich
46:29
mal noch mehr an die Leute zu tragen.
46:31
Und falls es noch nicht gemacht hast, denk dran, auch diesen
46:34
Podcast zu abonnieren. Auf der Plattform deiner Wahl.
46:36
Und ansonsten hören wir uns alle beim nächsten Mal wieder.
46:39
Habt eine schöne Zeit bis dahin, ciao, deine Cody weiß.
46:43
Gemeinsam besser.