Latest / Beyond Vibe Coding / #065 Agentic Engineering - auch Big Tech hat noch keinen Plan
Transcript
- Sebastian: Drück doch mal auf Recording, falls hier irgendwas Cooles dabei ist. Vielleicht sagen wir zum Unterschied auch mal was. Ich fand das nur als Outtake ganz lustig. Ich drücke auf Recording, falls hier was Cooles bei rauskommt, wenn wir miteinander reden. André Neubauer: habe ich gerade gesagt. Ach so. hab's natürlich nicht geschneit ja Sebastian: Soll ja mal vorkommen, auch ein blindes Huhn. Herzlich willkommen zu einer neuen Episode von halbzeit eBiont Wipecoding, der Podcast, in dem wir den fundamentalen Change in der Softwareentwicklung begleiten. Ich bin wie immer Sebastian Heidemeyer zu erben. CTO bei North IO. André Neubauer: Und ich bin andere Neubauers in die PO bei Trust the Chops. Schön, dass ihr wieder da Genau heute wieder wieder mal eine andere Episode aus zwei Gründen. Einmal wir nehmen mal wieder was ohne Gast auf. Das haben wir jetzt aber auch schon das eine oder andere Mal gemacht. Insofern so neu ist es dann nicht. Aber zweitens Trommelwirbel. Wir haben am Ende von Podcast noch eine spannende Ankündigung. Sebastian: Genau, also bleibt dran bis zum Ende. Aber zuvor schauen wir uns an, wie fortschrittliche Tech-Organisationen, Agentic Engineering in der Praxis wirklich Und zwar besprechen wir einen Report, den ich jetzt die Tage erstellt habe, der alle möglichen Quellen zu den Ansätzen von verschiedenen Unternehmen in Bezug auf Agentic Engineering mal zusammenfasst. Und wir gucken rein, was funktioniert, die ⁓ neuen engpässe liegen warum der einsatz von von coding agents ohne techniker excellence sich tatsächlich negativ auswirkt. André Neubauer: Spannend, genau magst du vielleicht am Anfang mal so ein bisschen ausführen. hast ja schon gesagt verschiedene Quellen zusammengefasst, du gemacht hast? Sebastian: Ja, sehr gerne, Und zwar habe im Februar oder März, glaube ich, gab es den Pragmatic Summit von Gagli Ausch, der ja auch den Pragmatic Engineer macht. ⁓ Da ich mir so eine ganze Reihe von Talks reingezogen damals auch zu dem Thema, die ich schon damals sehr cool fand und hatte immer im Kopf, mir nochmal so richtig, man guckt ihr immer so weg, die nochmal so richtig zu Gemüte zu führen und zu gucken, was da so drinsteckt. Hab dann noch André Neubauer: Hm hm hm. Sebastian: einen Artikel von Cloudflare gefunden, die auch sehr auf bestimmte Art und Weise sehr ins Detail gehen, also gerade bei der Infrastrukturebene und Security Compliance Ebene, wie sie das Thema angehen. dann gab es ja von ThoughtWorks, das ich glaube, Ralf erwähnt bei uns, von ThoughtWorks, den Future of Software Development Retreat, wo es ein Dokument gibt, was die Key Takeaways zusammenschreibt. André Neubauer: Club ist war Robert Glaser. Sebastian: Ach, das kann auch sein. durchaus. Ja. André Neubauer: Der hat das nämlich gerade gefunden damals und die hatten genau das ähnliches beschrieben wie er aber kann man auch nochmal in die folge reinschauen oder rein hören. Sebastian: Exakt guter guter Huck genau. Dann habe ich unsere Podcast Episoden insbesondere von Mac Box und Abwest genommen, weil es ja auch so bisschen größere Tech Organisationen sind und ja insofern geguckt, was was die Quellen sind, die ich zur Verfügung habe für so fortschrittliche größere Tech Organisationen und hab die grob nach Themen so Erfolgsmessung, Adoption Practices, Tool Choice, Governance, Security, André Neubauer: Hm. Sebastian: durchgeguckt und dann in so einen zehnseitigen Report Die Aussagen im Report sind alle mit entsprechenden Quellen belegt, eben aus diesen Talks, Podcasts, Episoden, Artikeln. Und im Anhang sind da nochmal so, ist wirklich so ein Vergleich, so eine vergleichende Analyse, weil die ganzen Talks und Episoden und so, die gehen schon ziemlich ins Detail zu diesen ganzen Punkten. Das heißt, man findet da eigentlich von allen Unternehmen irgendwas in den meisten Kategorien. die habe ich dann noch in Detail zusammengeführt, natürlich mit agentischer Hilfe auch. Genau. Was ich ausgelassen habe, sind wissenschaftlichen Denn, und das hatte Ingo Eichhorst ja in unserer Episode auch schon beschrieben, dass die alle tatsächlich doch zu alt sind. Also die neueste, die ich so gefunden habe, ist aus Mai. Sorry, ist aus aus dem Februar gewesen und hat aber Daten von vor, weiß ich nicht, vier Monaten gehabt. Das heißt also, da war. André Neubauer: Hm. Sebastian: Cloud Code ja noch gar nicht groß. Das heißt, dass man eigentlich den Stand von damals nicht vergleichen kann. Da gab es halt Cursor und Windsurf und Lover Bill. Das kann man noch nicht vergleichen mit dem, was Cloud Code dann geschafft hat. Deswegen habe ich das ein bisschen rausgelassen. ja, insofern alle relevanten Quellen tatsächlich von Februar bis Mai 2026 damit reingenommen. Und genau das können wir jetzt mal durchgehen. André Neubauer: Bevor wir da durchgehen finde ich das irgendwo. Sebastian: Den können wir online stellen. Packen wir auf die Seite. Machen wir ja einschüchtern lassen. sind insgesamt 32 Seiten, aber nur die ersten 10 sind tatsächlich relevant. Der Rest ist Anhang André Neubauer: sollten wir machen, sollten wir machen, finde ich Genau. Wer das Dokument von vorne liest, der lernt schnell, dass man nicht nur die Sammlung lesen muss und dann die Bereiche, interessant lass uns noch mal Was denkst was ein guter Einstieg hier ins Gespräch ist? Sebastian: Ja es gab gibt es uns und interessante Sachen die die da immer wieder hochgekommen das eine ich würde es mal mit Thoughtworks Worten den Middle Loop nennen die sagen es gibt halt gab vorher so Coding Loop also sprich irgendwie dass das der oder auch inner Loop der wo es halt wirklich ums Coden geht und dann den Outer Loop der. die die Delivery also sprich ⁓ unseren Produkt oder so ein Feature zu zu aufmacht dazwischen ist jetzt noch so ein ein Mittel Loop entstanden tatsächlich, der so eine Brücke baut, wo Engineers ja eher mit Agenten beide Welten verbinden. das ist so ein Grundtenor, den wir auch immer wieder André Neubauer: Schönes Bild. Sebastian: uns mal beschrieben haben den auch fionna fong in code with clawed aufgreift wo sie sagt was wir gerade sehen ist eigentlich ein operating model change das kein kein kein tool was da kommt sondern ist ein opera rating model change der damit eingeleitet wird und das ist ein punkt den auch laura tacho in ihrem talk vormals die ex die natürlich unfassbar Daten getrieben, basierend auf zigtausenden Antworten von Entwicklern aus Developer Experience Surveys, die das sehr schön aufbereitet. Der Talk ist absolutes Must-Watch sozusagen sehr empfehlenswert. Und sie sagt auch, dass Gewinner das Thema eher als Organisations- und Change-Management-Problem betrachten werden. ⁓ Und gibt es natürlich auch unterschiedliche Ansätze. Irgendwie gibt es Top-Down, Bottom-Up. Mischung ist wahrscheinlich wie so oft das Genau, dann verschiebt sich halt, wie wir auch schon gesagt haben, die Rolle des Engineers vom Low-Level. Ich weiß, wie ich ein Diff zentriere, ist natürlich immer das blödeste Beispiel, aber ich sag mal, syntaktische Probleme oder technische Probleme lösen zu dem Drumherum sozusagen. Systemgrenzen ⁓ irgendwie, es Anforderungen verifizieren von Ergebnissen, gucken, dass man das wahrtbar hält. André Neubauer: wollte es hinzufügen das ist das was man eigentlich auch immer wieder jetzt hört dass das die rolle von dem engineer Ich mich mal aus dem fenster lehnen so was wie ein manager wird manager im sinne von orchestrieren. Ich glaube aus dem zusammenhang heraus ich glaube das ist so ein gedanke den ich immer wieder höre und das andere ist da bin ich auch komplett bei dir. Wenn man jetzt noch mal so aus dem anderen Blickwinkel da drauf, dann ist das Piro. sechs Level von Agendik Engineering. bei bei Trusted Jobs werden quasi für uns definiert. Wir wollen da auf Level nicht Dark Factories, aber quasi wirklich Factories. Und der der Sprung zwischen drei zu vier ist halt einfach. Das ist nicht linear, exponentiell. Und dafür musst du halt, und das passt zu dem, du gerade gesagt hast, und quasi also mit Verweis auf den Talk Laura Tacho, ⁓ ist halt, also es inkludiert halt organisatorische Changes. Sehe ich genauso wie du, ja. Sebastian: Mmh. Ja, der Vollständigkeit Diese sechs Level sind natürlich 0 bis 5, was bedeutet Level 4 ist auch das vorletzte Level sozusagen von Dark Factory. André Neubauer: Genau. Genau. Genau. Sebastian: und dann kommt natürlich und ist dann eigentlich schon die Überleitung nächsten zur Erfolgsmessung der der Fakt, dass Code Generierung wissen wir alle jetzt billig ist und sich Engpässe eben nach weiter verschieben Planning Security Ownership dieses Ownership ohne André Neubauer: da bin ich. ⁓ weiß gar nicht, wo wir in welchem. Kontext wir das hatten, müsste vielleicht vielleicht jetzt die gleich ein, dass quasi ja, der Code wird woanders geschrieben, aber du hast trotzdem die Ownership hatten wir auch in irgendeiner Episode mal intensiver diskutiert. Ich glaube, das Weiß gar nicht, wie das bei dir in der Organisation ist. Bei mir ist es tendenziell weniger ein Thema. Ich es kam mal kurz auf. Aber es auch schnell wieder verschwunden. Sebastian: ist eigentlich ja auch logisch. Wir hatten das ganz explizit, glaube ich, mit Uli besprochen. Bei Mapbox ist ganz klar, wenn du den PR öffnest, egal, auch wenn es dein Agent macht oder dein Agent in deinem Auftrag, du bist dafür verantwortlich. das hatte ja auch Jörg, glaube ich, der hatte ⁓ genau diesen Punkt Ownership without Er ist tatsächlich auch ein André Neubauer: Ja, kann sein. Sebastian: was sich komplett was auch alle gesagt Engineers sind nach wie vor verantwortlich. André Neubauer: ⁓ immer ein gutes Beispiel für Responsibility versus Accountability. Niemand sagt, dass quasi du den Code eins zu eins gelesen haben musst, aber du musst halt irgendwas getan haben, ⁓ dir halt sicher zu sein, dass das so okay ist. Genau, dann sind wir wieder bei unserem Wort 2026 Genau, aber lass uns da noch mal ein bisschen tiefer so Thema Erfolgsmessung, Return und Investment halt irgendwie reingehen. hast ja da im Report auch so ein paar Kategorien beschrieben. Kannst du uns da mal durchführen? Sebastian: Ja, genau. Sehr gerne. Erfolgsmessung ist tatsächlich bei finde ich, ein bisschen schwammig. Also was, was da immer hochkommt, ist natürlich throughput. Ne, Spotify sagt, irgendwie 390 Prozent mehr PAs. Uber sparen Februar noch von 10 bis 15, was mir heutzutage quasi wenig erscheint, ne, weil bei Unternehmen, die das eine Weile machen, da steigt das deutlich an. ⁓ André Neubauer: Ja, Sebastian: Atlassian Mapbox, Abbest, alle haben davon gesprochen, dass sich Laura Tacho hat ihrem Talk noch mal so ein paar Kategorien aufgemacht, wie man ansonsten auch agentic messen kann. Da geht es aber erst mal, sagen wir mal, initial, glaube ich, wenn die auch von throughput sprechen, ganzen Firmen, geht es erstmal darum zu messen, machen es unsere Entwickler. Also wir hätten wirklich wie viele ⁓ P. Sind jetzt agentik und so das ist eine Kategorie, die sie auch aufmacht utilization also sprich wie viel? die Tools genutzt, also wie viele Daily Active Users wie liebt so das das übliche dann percentage of P. R.s die A. Assisted sind kommited code und so oder Tasks assigned to agents auch auch ein Dann kommt das Thema Impact so da so themen drin ei driven time savings das ist natürlich sehr subjektiv weil das christian nur in aller regel nur über umfragen raus das ist natürlich wieder die ex die wir die wälder umfragen machen regelmäßig deswegen aus der dann die wälder satisfaction aber dann so auch so ein bisschen in richtung drohre also pr throughput und perceived rate of delivery und ähnliche also man versucht so ein bisschen André Neubauer: Hm. Sebastian: da eher zu qualifizieren, wie viel Stunden von menschlicher Arbeit durch ausgeführt Oder am Ende kommen natürlich Kosten als letzte AI-Spend und irgendwie eine Time Gain per Developer, sowas. André Neubauer: Da muss ich sagen, habe ich immer noch ein Störgefühl. Bis vor kurzem hat man auch also gab es ja diese Nachricht unter anderem, ⁓ hat halt irgendwie das gesamte AI-Budget innerhalb von, also fürs gesamte 26, innerhalb von wenigen ⁓ durchgebracht. Ich habe mir immer so gedacht, ich weiß nicht, ob das eine Metrik ist, die so feiern würde. Also quasi nur Geld quasi. ⁓ ist wahrscheinlich wie bei jeder Technologie. Am Anfang geht es wirklich ⁓ Utilisation. Insofern ist da natürlich Kosten sind natürlich schon interessanter Aspekt auf der anderen Seite. Und vielleicht ist es zu viel, also zu früher Aber ich finde und das hast du ja gerade gesagt, ist jetzt wenig Blick auf Impact. ⁓ und ist ja eigentlich ⁓ also ist es wie gesagt zu verfrüht dazu. Ich vermisse trotzdem die Diskussion. ⁓ Und auch, wie Firmen das machen, wirklich positive Erfahrungen. Wir reden viel von, was ist ein Budget und wie viel wollen wir ausgeben, aber man redet wenig von ... Das ist tatsächlich Impact. Das, was wahrscheinlich noch am besten geht, hast du auch gesagt, ist quasi Output. Aber Output nicht gleich Impact. Sebastian: Exakt genau das versuche ich dann auch im Report so ein bisschen aufzugreifen also sprich mehr generierte Diff oder PAs oder was auch immer sind nicht automatisch mehr Umsatz und das fehlt halt wirklich bei allen. Das ist sehr sehr spannend und vor dem Hintergrund ist ist da ist Uber auch wieder so die erste Firma die ersten die sozusagen dieses ganz öffentlich gemacht haben dass sie durch ihr ganzes AI Budget durchgebrannt sind. ⁓ schon nach vier Monaten. Und der CFO hat jetzt in so einem Podcast auch gesagt, dass er eigentlich noch nicht so richtig sehen kann, wie sich das in Businessmetriken übersetzt. Dieser ganze erhöhte Throughput und die ganzen Kosten, die da jetzt entstanden sind. Und auch, was du eben sprachst, dieses Token-Maxing, diese Leaderboards, die, ich glaube, Meta und Amazon und so, da gab es bei vielen Firmen, die halt wollten, dass ihre Engineers das stark adaptieren. Das ist, glaube ich, alles wieder abgeräumt worden. André Neubauer: ⁓ Sebastian: gab es jetzt auch vermehrt Artikel, Amazon macht das nicht mehr, glaube Meta macht das auch nicht mehr, nachdem irgendjemand mal, keine Ahnung, Millionen in einer Woche da verbraten hat in Tokens, was ja völlig irre und was ich tatsächlich immer benutzt habe, ist Scorecard, die auf Outcome, Output, Tech Health und Team Health gesetzt hat, irgendwie glaube ich relativ normal. Jetzt ist Outcome immer schwierig irgendwie bei rein Tech-Organisation zu messen, ist aber auch der falsche Anlasspunkt in meinen Augen, sondern da ist dann halt der eigentlich die gesamte Produktorganisation zu sehen meines Erachtens nach wirklich die Businessmetriken, die sind halt das, worauf es am Ende Wie heißt es doch im Entscheidend ist, was hinten rauskommt. André Neubauer: Ja, irgendjemand hat das mal gesagt. Ja, mal gucken, mal gucken, ob wir das noch, ob wir das noch rausfinden. Ich finde das auch gut. Muss ich sagen, dass also quasi diesen Versuch und so eine Art Klammer drum zu machen, weil wie gesagt, das nur auf Kosten und Utilisation abzustellen, finde ich schwer. der anderen Seite Sebastian: Irgendein Fußballer wahrscheinlich. André Neubauer: überhöhte Erwartungen helfen halt auch nicht. Ich das ist schon lagging. Das ist ein neues Tool. Man muss halt irgendwie wissen, wie man es anwendet. Ich glaube auch, dass wir Themen wie viel besseres Tokenmanagement, genauso wie wir eben so bisschen also diesen Trend rund ⁓ Kontextmanagement, dass wir das da wird man noch viel sehen. Neben dem Aspekt, dass das. Hoffentlich wird wahrscheinlich alles ein bisschen günstiger. Vielleicht kommt es irgendwann mal NVIDIA CEO hat ja gerade auch angekündigt, dass sie in Notebooks gehen. Vielleicht ist das auch der Startschuss, dass man da noch mal stärkeren, also auf der Kostenseite, ein ganz anderes Setting sieht. Sebastian: Ja, aber auch schon mal drüber gesprochen, dass man irgendwann dann von ob ex nach kopecks auch verschieben kann. ganz ehrlich, mir fällt da der Ausblick noch ein bisschen schwer, weil du hast ja verschiedene, verschiedene Themen, die gegeneinander laufen. Auf der einen Seite hast du eben die massive Nachfrage, die gerade ja auch dazu führt, fairerweise, dass die Preise steigen, zumindest bei den Frontier dass Subscriptions da die Limits runtergefahren werden oder bestimmte Subscriptions einfach auslaufen, ob das jetzt also GitHub ist, die jetzt gar keine festen Subscriptions mehr haben in dem Sinne, sondern wo du halt wirklich metert irgendwie also nach Tokens oder Requests oder so abgerechnet wirst. Und das ist natürlich insbesondere dann, wenn du davon ausgehst, dass da Konsolidierung passiert, dann ist es noch gefährlicher, wenn du sagst, am gefährlichsten eigentlich, wenn die Wenn die also die LLMs per se sind ja nicht nicht so stark differenziert. Klar würde man sagen ja Opus 4.7 4.8 sorry ist das Beste zum Coden. Aber ganz ehrlich du kannst auch mit Opus 4.6 wahrscheinlich relativ gut Coden oder mit mit GPT 5.5 oder auch mit was auch immer. Also immer natürlich das neueste Modell. Das darf nicht zu viele Generationen hinten dran sein. Du wirst wahrscheinlich ganz gut damit auch arbeiten können. Und auf der anderen Seite hast du eben aber auch dann die chinesischen Anbieter, jetzt gerade ganz neu irgendwie Kimi. Ich bei den Versionsnummern da komme ich auch durcheinander, aber die irgendwie zu einem Zehntel, glaube ich, der Kosten von von den Frontier Modellen anbieten. ein Modell, was wirklich on par ist, quasi laut Benchmarks, die ja auch immer so ein bisschen irgendwie mit mit vor sich zu betrachten sind. Und deswegen, ich finde es relativ schwer, wenn man sich anguckt. André Neubauer: Nö. Sebastian: Der Bedarf nach compute der wenn der also wenn der Dimanche weiter da ist, dann wird der Bedarf nach Computer weiter hoch sein. Dann die Komponenten weiter teuer sein. Dann werden auch by the Desktop PC oder so oder Laptops. Die werden einfach auch unfassbar teuer sein, weil du brauchst einfach extrem viel RAM. RAM ist teuer. Diese GPUs, die besonders schnell RAM haben, sind teuer und deswegen ist es für mich schwer, das so vorauszusehen. Aber was ich sagen wenn man es kann, dann machen lokale Modelle schon Spaß. Also ich habe tatsächlich neulich auf der Bahnfahrt mal hier auf meinem Mac, der hat 36 Gigabyte RAM, da habe ich mal QAN 3.6 mit 25, nein mit 27 Millionen Parametern, Milliarden Parametern ausprobiert, lief leider unfassbar langsam, aber das Ergebnis von der Qualität her war schon relativ gut. Und wir haben dann das leicht größere Modell mal. Wir haben bei North so eine DGX mit 8 A100 GPUs haben wir irgendwann mal von Nvidia bekommen. Nutzen wir zum Model Training für eigene Modelle tatsächlich für uns. Und da haben wir mal auf Vieren per VLM das das größere Quen 3.6 Modell mit 35 Milliarden Parameter installiert. Also Token Durchsatz stieg immer noch an. Ich glaube bei 733 hat dann der Test. Ich LM Perf, glaube ich Benchmark mit 16 Usern parallel gemacht. Keine komplette Saturierung. Also das ist unfassbar, wie schnell das war. Und ganz ehrlich, bei der Qualität, das Model schon geliefert hat, damit könnten wir die Firma wahrscheinlich komplett bei dem Durchsatz mit Chatbots und wahrscheinlich sogar auch ein Teil der Coding. use quasi abbilden damit das war nur vier gpu zwar schon sehr beinahe André Neubauer: Ich glaube, was man festhalten kann, sich da viel tun wird. Ich glaube, das ist super schwer vorherzusagen, in welche Richtung das geht. es gibt, und das hast du gerade aus meiner Sicht total richtig gesagt, viele Effekte, die leider nicht in die gleiche Richtung ziehen, eher gegenläufig sind. Deswegen wird es spannend zu sein, das, also was für mich so das Allerwichtigste ist, oder das Alleroffensichtlichste ist, ⁓ Sebastian: Hm. Hm. André Neubauer: Quasi was die was der Anreiz für Frontier Mode quasi local zu gehen. Das quasi torpediert ein Geschäftsmodell und gleichzeitig, wie du gerade beschrieben hast, gibt es halt einfach diese diese disruptiven Player, auch wenn das bloß destillierte Modelle sind am Ende, zum guten Teil basierend auf destillierten Modellen, die das halt einfach möglich machen. Mal gucken, wo da die Reise hingeht. Genau. Aber ja. Sebastian: Und jetzt ganz kurz noch dazu. Deswegen bin ich so ein Fan von Open Source Harnessed, weil du da offen bist, weil wenn du die der der Trick natürlich. Und und bei und so was. Jetzt gibt es ganz neue Omae Pae ist noch mal ein advancedes Pae und andere denn die als der der wenn die LMS differenziert sind, weil wir zur Commodity werden. André Neubauer: Ja, mach mal. Bitte, bitte. Du meinst OpenCode und Co. Ja, okay. Sebastian: dann müssen die LM Provider natürlich vertikal integrieren. Was sie ja tun über genau die spezialisierten Coding, aber auch so Knowledge Work Umgebungen. Und je tiefer die integrieren in die Geschäftsprozesse der Firmen, desto schwieriger sind die zu ersetzen durch irgendwas anderes. Und deswegen da bin ich halt wirklich ein Fan davon, Open Harnesses zu benutzen, weil es da leichter ist, eben dann die quasi das auszuhebeln hat für und wieder. André Neubauer: Ja, oder tat also im Endeffekt was die Open Source Anbieter machen, die du meinst, sind ja im Endeffekt die sind agnostisch. Ich es gibt ja auch agnostische Paid Provider. Kannst du auch Langtrain zum Beispiel nutzen? Wenn man nicht sicher perplexity, glaube, geht auch den Weg, wenn ich das jetzt richtig mit einem Auge verfolgt habe, dass die eher zu so einem Hub für Models wären, also die dann im Endeffekt passend orchestrieren und auch routen. Genau. Aber ⁓ mal wieder den quasi einen Bogen zurück zu dem Report von dir zu bekommen, das ist ja wahrscheinlich nicht das, womit man halt als Unternehmen halt anfängt. Also quasi wie und das hast du ja auch beschrieben. Also vielleicht steigen wir da noch mal ein bisschen so Wie adaptieren Unternehmen diese neue Technologie? Genau. Kannst du da mal einen Einblick geben? Sebastian: Genau, also da gibt's auch da wieder alles von top down irgendwie alle machen jetzt das und wer es nicht macht, hat hier keine Zukunft mehr. Bis probiert einfach mal aus, experimentiert und guckt mal, gibt's da auch irgendwie alles mögliche und was was man da sieht, finde ich oder was was irgendwie rauskommt, dass eigentlich niemand gesagt dass auch in der späteren Phase ⁓ da so eine Governance beim Tooling gibt, sondern sind eigentlich bleiben, also am Anfang sehr wichtig, dass jeder das nimmt, er mit er oder sie am besten irgendwie klarkommt. Und das bleibt tatsächlich dann auch im Weiteren bei den Firmen, wobei die dann Tooling drumherum aufbauen, was wiederum zu einer Konvergenz dann führt, bestimmte Toolkits gebaut werden, die dann spezifisch für bestimmte Agenten gebaut sind oder die ganz großen, die eben Plattformteams haben, die platformisieren dann, kodifizieren bestimmte Prompts und Skills und auch Integration, also schon fertige Schnittstellen zu was auch immer relevant ist in fertigen Agenten sozusagen, die dann auch gesandboxt sind und so. die ⁓ André Neubauer: Hm. Sebastian: werden dann halt genommen, sodass du gar nicht das Harnes ist dann nicht mehr der sozusagen Punkt, an dem die die Firmen da Und was man sieht, dass das am Anfang mal einfacher ist, so mit sogenannten Toll-Tasks anzufangen, also sprich zu sagen, wir gucken jetzt mal, ob wir eine Migration damit gut hinkriegen oder Refactoring, Buckfix. ⁓ Oder auch interne Tools, also die Tolltasks, da hat Uber sehr stark in ihrem Talk drauf abgestellt. Interne Tools war ja sehr beeindruckend von Macbox, wo Uli da von einer, quasi wie so eine Art Kambuschen in Explosion von internen Tools gesprochen hat, weil natürlich sowohl bei Refactorings als auch Backfixes Migration auch internen die. Erfolg oder die Qualität relativ gut überprüfbar sind. Durch bestehende einfach Tests oder bestehende, ja, sagen wir mal, wenn du ein Tool baust, dann weißt du ja genau, was du als Ergebnis sehen möchtest. ⁓ kannst du halt relativ gut Und später, Ja, später ist dann natürlich, so habe ich jetzt schon bisschen vorgegriffen, aber geteilter Kontext. ⁓ André Neubauer: Ja genau machen wir weiter. Sebastian: was du auch schon angesprochen Relevant der wird quasi dann Teil der Infrastruktur. Dann kommen ⁓ Toolkits, wie Abwest das beschrieben hat, oder bei den größeren sogar Coding Agents, eigene sogenannte und auch Open Source Tools. Also Spotify macht da relativ viel mit Fleet Shift. Und noch ein zweites Tool haben die erwähnt in ihrem ⁓ Talk. was man was die intern nutzen ⁓ ihre ja tatsächlich fliedschift ist eher meine ich so ein tool mit dem sie ihre verschiedenen. Instanzen von verschiedenen Systemen agentisch updaten können genau aber auch da wieder ganz viel so katalogisieren Also sprich, dass du immer weißt, welcher Stand wo die pleut es gerade das. sowas können Agenten ja auch sehr gut quasi sich Minimalinvasiv oder du auch ganz steuern kannst, welche Version für welches Release du jetzt gerade nutzen möchtest. Also da kommen dann at scale. Da geht es immer ⁓ at scale, was du vorher halt eher mühsam machen musstest. Von Hand machen jetzt dann Agenten. André Neubauer: Gleich bei vielen Sachen hacken und dann machen wir nicht so unsere Journey bei Trust a Job sehr also Anfang auch relativ divers in den Tools gewesen. Er versucht nicht zu viel zu blockieren, sondern zu schauen, dass man quasi ausprobiert. Und jetzt halt. Also wir konsolidieren gerade Richtung Claude wahrscheinlich jetzt auch nicht der progressivste Move, sondern eher quasi konservativ. Aber genau wie du sagst, irgendwie ein Harnes haben, sich eher Gedanken machen, dass man halt irgendwie einen gewissen Standard in der Firma etabliert. Und dann halt auch da wieder den Shapiro, also dass quasi entlang der Levels quasi sich halt irgendwie hoch frisst in der Kette. Und dann kommt man halt aber auch eben auch an Themen vorbei, die ein bisschen sportlicher sind. die wir dann immer mit Hanes und und Co beschreiben, aber die halt gerade bei größeren Organisationen, wenn ich so Richtung Security Compliance und so schaue, ja, auch einfach ein Fund sind, die man einfach nicht so einfach quasi löst. Das hast du ja auch in deinem in dem Report so ein bisschen nochmal analysiert. Sebastian: Genau, ja, das hat man ja schon auch angesprochene, dass die Goldene Regel einfach bleibt. Der Engineer ist für den Code verantwortlich. Unabhängig davon, ob das jetzt mit dem Agenten erzeugt ist oder nicht. Uli in der Webbox Folge Fiona Fong macht es auch. In ihrem wirklich coolen, sehr sehenswerten sehr, sehr deutlich, was was da. dran hängt sozusagen, was auch für ein Typ von Leuten da gebraucht, beziehungsweise wie sich einfach die Einstellung auch der Entwickler da oder auch aller Beteiligten da ändern muss. Denn Agentsic Engineering verändert bei denen auch die gesamte, eigentlich den gesamten Software Development Lifecycle. Sie spricht auch davon, dass Designer einfach dann auch Code erzeugen. Und wenn es nur ist, irgendein Prototypen zu einfach ⁓ dann die requirements zu zu engineern zum beispiel wollte jetzt auch wieder zum Thema Compliance und Security und dann immer wieder das alte, Agenden dürfen keine zentralen Agenten sein, die irgendwie allmächtig sind und quasi theoretisch dann alles ran können, sondern es muss immer ein Korsett geben sozusagen, was die Rechte des Agenten immer auf die Person einschränkt, die diesen Agenten nutzt. Ab West, da hat Florian ja gesagt, dass sie das Person impersonation nennen, dass der Agent immer wie so eine Person, bestimmte die Rechte und genau also insofern richtig strikte rollenbasierte Zugriffe und gerade auch bei Abwest Datenklassifizierung, also sprich, welche Daten darf welcher Agent sehen Abwest da ja auch. ganz cool, weil bei Google mit Gemini es eben möglich ist zu sagen, es darf nur auf europäischen verarbeitet werden sozusagen und da gibt's Zero Data Retention. Deswegen können bestimmte Use Cases, wo einfach geschäftskritische Informationen drüber laufen, nur mit Gemini Modellen verarbeitet werden, während fürs Coding, was den Quellcode angeht, wurde Cloud Code genommen. Wo diese Einschränkungen nicht möglich sind, aber eben auch nicht nötig sind. André Neubauer: finde, ist also insbesondere, wie man Agenten oder ja, den den Harnes im Endeffekt mit der eigenen Weltheit koppelt mit dem eigenen Kontext. Das ist für mich eine der so ein bisschen so aus der Erfahrung sprechen, eine der Hauptchallenges, gerade für mittlere, größere und Organisation. Die haben. ein anderes Risikoprofil, also meistens höheres Risiko, weniger Risikoappetit. Da ist das halt deutlich schwerer, das umzusetzen, auch weil da eine gewisse Legacy halt einfach vorherrscht. Anstatt halt quasi, du bist halt irgendwie klein, schnell, hast nicht so viel zu verlieren. sind ungleiche Konstellationen. Ich wollte gerade, wie du gerade sagst, die Folge mit Uli, die war für mich so eye-opener. Aber auch die Folge mit Florian. Also quasi gerade dieses Impersonation, das ist auch eine der Sachen, in die wir ein bisschen tiefer reinschauen. weil dieser YOLO-Mode, also quasi und dann einfach Zugriff auf Confluence, Jira oder was so die Knowledge-Bases halt irgendwie sind, ist halt mit Unterhalt gefährlich, weil du nicht weißt, was da alles an Daten hat. quasi liegt. Sebastian: Genau das finde ich tatsächlich auch spannend. Also hatten wir auch in der Folge mit Florian von Abwest, dass deren starker Fokus auf Compliance als Fintech sie jetzt in eine Lage versetzt, dass sie Agenten halt viel gefahrloser, sage ich mal, einsetzen können als andere, weil sie eben im Gegensatz zu anderen Organisationen, wo es in ganz vielen Digitalorganisationen geht, ja darum, Wissen möglichst zu teilen, dass jeder alles sich angucken kann, damit jede Person zu jeder Zeit alle Informationen zumindest in Reichweite hat, ⁓ die richtigen Entscheidungen zu treffen. in bestimmten, also oder in den Bereichen, in denen es eben nicht so geht, wurde es auch nie so gemacht. Und die haben jetzt dadurch eine viel stärkere systemische Abgrenzung, wie er auch beschrieben hat, die Zugriffe auf die produktiven Services ganz stark eingeschränkt sind. Es gibt immer diese André Neubauer: Hm. Sebastian: Break Glass Accounts für Notfälle, aber im Normalfall gibt es nur ganz bestimmte Accounts, die irgendwelche Änderungen am System vornehmen können. Es gibt andere Accounts, die irgendwie Lockfiles lesen können und Metriken einsehen können. diese ⁓ die hilft ihnen jetzt massiv. Das ist was, was tatsächlich insgesamt auch durchscheint durch das Wenn man vorher, würde ich mal sagen, also so noch mal rausgesucht, wenn man vorher in technical excellence investiert hat und wirklich technik exzellent ist und das geht halt dann auch bis eben in die in sehr gute compliance und security Posture. Dann. Ja, hat man's, würde ich sagen, Laura Tacho hat in ihrem Talk das so wunderschön aufbereitet. Sie hat erst eine Slide drin, die sagt, irgendwie die Hälfte der Organisationen aus ihrem umfangreichen Dataset berichten davon, dass sie mehr Inzidenz haben als vorher. Und dann hat sie die nächste Slide und sagt, 50 Prozent der befragten Unternehmen berichten von weniger Inzidenz. Und das ist im Prinzip der ganze Punkt, was wir auch schon mal gesagt haben. Es ist halt so ein so ein Malte Plyer. Böse würde man sagen, Shit in Shit out oder eben genau das das ist schon spannend und insofern finde ich aber auch irgendwie fast ein bisschen beruhigend. So habe ich die Folge mit Florian auch wahrgenommen. Die Sachen, die wir immer sagen, wo wir immer sagen, die sind immer wichtig und die auf die haben wir schon immer geachtet, dass du ein gutes. Test Setup hast, dass du die ICD sauber durchdekliniert hast, dass gute Observability hast, einfach generell technisch exzellent. Das hilft dir halt. Und das ist das ist jetzt umso wertvoller in der neuen Phase André Neubauer: Der Punkt, den du gerade gemacht hast, ist, multipliziert alles. Also es ist positive wie das Negative. Das im Endeffekt das, was man sieht und das, was du auch im Endeffekt im Report beschrieben hast oder was man rauslesen kann. Am Ende ist das ein riesiger Beschleuniger, der in alle Richtungen natürlich funktioniert. Ich glaube, jedes Unternehmen läuft entlang der Danger Piro Levels. Und alle wollen natürlich höher, schneller weiter und erreichen halt an der einen oder anderen Stelle halt irgendwie ein Dach. Und da müssen sie dann halt irgendwie daran arbeiten. ⁓ absolut richtig, ich fühle mich gerade so, als wenn ich alles wiederhole. Wenn du das halt in den letzten Jahren gut gemacht hast, ⁓ du weiter. Wenn du da Baustellen hast, dann wird das sehr schnell sichtbar. Sehr schnell sichtbar. Sebastian: genau ja das ist auch mal der der erste teil schon aus dem fazit eigentlich und einen weiterer den ich persönlich so ein bisschen ja fast beruhigend oder wohltuend finde ein zweiter punkt der auch in die richtung geht ist dass auch die ganz großen noch nicht verstanden haben wie das so was auch schon gesagt haben, ist noch nicht belegt. So das können auch die ganz Großen noch nicht die die können keine direkte Verbindung ziehen zwischen dem Token Maxing oder den den Ausgaben und dem dem dem Business und die Thematik. Wie ändert sich eigentlich die Organisationsstruktur? Ändern sich Team Größen? Welche Rollen wird's geben? Das war. Absent also es war einfach nicht ist kein thema gewesen in den talks die ich mir angeguckt habe gibt natürlich noch noch andere berichtende wusste eher theoretischer dann in so eine richtung geht aber da habe ich noch von keiner firma gehört dies schon wirklich implementiert das heißt neulich gab es ein artikel warte mal von glaube coinbase die bauen die organisation jetzt so ⁓ und noch irgendwie eine andere organisation aber es gibt noch keine Erfahrungsberichte, wie es dann aussieht. André Neubauer: mein irgendwann mal bastion halt irgendwie nochmal einladen bastion buch getaway group die haben das ja gemacht ein bisschen kleiner aber du hast recht quasi in groß und quasi dann jetzt so erfahrungsbericht gibt es kenne ich auch nicht und ich finde halt du hast es ja gerade schon angerissen die kosten die jetzt da eigentlich entstehen das eine ist natürlich das talk maximizing aber halt all die kostene organisationen umzustellen bis hin zu ⁓ Manchmal im Endeffekt, womit wir uns zum Beispiel auch beschäftigen, inwiefern wir die Architektur umstellen müssen. also so in einer Welt von vielen Micros... Also ich habe den Eindruck, Microservices sind nicht best practice für agentische Systeme, weil du quasi der Kontext, die Boundaries halt relativ eng sind. Auch da, ne? Also quasi du investierst in Architekturarbeit, legst Systeme vielleicht zusammen und so weiter und so fort. eigentlich ist es noch gar nicht proof, das oder zu welchem Grad das halt einen Impact auf die Organisation, nicht auf die Organisation, aber auf die Company hat, den Umsatz, auf den Erfolg, wie man das auch immer nennen will. Sebastian: mit Microsoft ist für dich ganz spannend, intuitiv würde ich dir ein Stück weit recht geben, wobei ich mich da gleich auch verbessern würde, denn in einem Monorepo wiederum ist es dann weniger ein Problem. Es kommt halt darauf an, was du sonst für Kontext hast. André Neubauer: Ich glaube, die Frage ist, warum hast du vielleicht auch ein bisschen Aufruf an jemanden, der Lust hat, uns zu Quasi warum hast du halt früher geschnitten, wenn du geschnitten hast, ⁓ halt cognitive float runterzukriegen, dann würde ich sagen, ist der Schnitt heute egal, wenn du halt irgendwie sklavisch geschnitten hast, weil weiß ich nicht. Also wir haben zum Beispiel enorm viele Lambda Functions und haben das halt entlang der quasi HTTP-Methoden geschnitten. quasi auch das brauchst du wahrscheinlich nicht. Andere Schnitte wären sinnvoll sein entlang von gewissen Domengrenzen. Das macht schon total Sinn. Ich will sagen, dass aber auch hier agentische Systeme nicht halt machen. Und wenn du das halt quasi maximieren willst, dann wirst du doch auch daran müssen. Und das sind alles Kosten mit einem Ich will gar nicht sagen ungewissem Ausgang, wo zumindest noch nicht hinten raus klar ist, was ist der tatsächliche Impact aufs Geschäft? glaube Geschwindigkeit, da kann man Haken hinter machen. Aber tatsächlich wirtschaftlicher Erfolg. Und das ist wahrscheinlich auch okay, dass es heute noch nicht beantwortet ist. bemühe mal eine Phrase, da bleibt es spannend. Sebastian: ja, total genau. Trotzdem sehe ich ehrlich gesagt keine Realität, in der das wieder verschwindet. Vielleicht gehen wir es ein bisschen anders an, aber ganz verschwinden wird es wohl nicht. ⁓ mit der Architektur finde ich tatsächlich spannend. Also ich habe da auch noch Florian im Kopf. Die haben ja eine sehr ausgeprägte Microservices Architektur und für die rentiert sich das wieder massiv, weil da ja genau wieder eigenen Environments der Services, die André Neubauer: Absolut nicht. Sebastian: Boundaries der jeweiligen Environments, inklusive Zugriffsrechte, helfen Fehler zu minimieren oder das Risiko durch Agenten zu minimieren. tatsächlich, ⁓ was natürlich bestehen unterschiedliche Load Patterns. ⁓ Services hast, die relativ wenig stark frequentiert sind, so das bleibt bestehen. Das macht immer noch Sinn. Und dann habe ich auch gedacht, gerade das mit den mit den HTTP Methoden, da kann es natürlich sein, dass du viel häufiger liest, als du schreibst. Das ist ja oft so. Insofern, das macht dann vielleicht immer noch Sinn. Aber auch die Agenten haben ja begrenzte Kontext Fenster. Und auch da kommt es dann wieder darauf an, sozusagen die Grenzen des Services die hängen halt eigentlich auch da wieder wie vorher auch davon ab, geht durch geht der Business Value, worauf optimierst du, was du häufiger ändern möchtest. Es ist nie gut, wenn du häufiger irgendwie immer wieder die gleichen drei Services anpassen musst, weil du quasi häufig daran iterierst, wie genau dieser Prozess, da durchläuft, sich verändern muss. Wobei, wenn ich jetzt so genauer darüber nachdenke, dann kann sich genau auch diese Wertschöpfung durch Agenten ja komplett ändern. Das heißt, das, worauf du früher optimiert hast, auch bei dieser sozusagen Anpassungshäufigkeit durch die Wertschöpfungsketten im Unternehmen, das kann sich total ändern, weil auf einmal diametral andere Wertschöpfungsketten entstehen. daher ist es offen. don't know, weil es bisschen philosophisch André Neubauer: Ich glaube, wir haben unterstrichen, da noch ungeklärt Insofern, auch wenn wir hier vielleicht noch mal ein paar Monate noch mal einen Blick zurück werfen und gucken, wie sich Zeit verändert hat, ich glaube, es wird enorm sein. Sebastian: Oder wie wir früher mit Andreas auch immer gesagt haben, it depends. André Neubauer: Es ist egal. Sebastian: unser ich glaube, damit sind wir einmal gut durchgerauscht. Genau, wir packen den Report auf der Webseite, würde ich sagen. da sind auch ganz viele Ressourcen drin. Also die ganzen Talks kann ich nur empfehlen, wenn man Zeit und die Muße hat, sich da mal durchzukauen. Der Report enthält auch Zusammenfassung von einigen der Wenn man eben nicht ganz so viel Zeit hat, kann man sich die auch durchlesen. Oder man knallt sich in Notebook LM und lässt sich irgendwie einen Podcast davon erzeugen oder so. André Neubauer: Genau. Das heißt, du hast viele Podcasts zu einem Dokument gemacht, die dann wiederum dazu, dass wiederum dazu verwendet wird, dann einen Podcast zu machen. Spannend, spannend, spannend. Sebastian: schließt sich der kreis genau und und wir haben ja genau ja also wir haben jetzt diesen podcast gemacht also von daher braucht man es auch nicht durch notebook lm zu jagen weil wir sind ja der podcast dazu hast eigentlich recht André Neubauer: wir jetzt hier einen und dann war es das mit dem Deep wollen wir zur Ankündigung kommen? Sebastian: kommt jetzt die Ankündigung, würde ich sagen. André Neubauer: dann schieß mal los. Wer ist schwanger? Sebastian: Ja, das war die vor. Wo sieht man es denn schon? Das war die vorher letzte Episode auf Deutsch tatsächlich. ab demnächst, ⁓ nicht zu sagen, ab nächster Woche, partnern wir mit Impala Search und werden den Podcast dann unter dem Titel Beyond Vibe Coding auf Englisch das Ziel ist tatsächlich, Fokus auch im Laufe der Zeit ein bisschen zu erweitern. werden immer agentic engineering wird immer der Kern sein, aber da das ja ein Operating Model changes macht es halt beim engineering ja nicht halt. Wir wissen ja schon, dass zumindest Product Management, aber auch Design, aber auch andere Funktionen relevant sind und auch betroffen sein werden und. ⁓ Das wollen wir uns im neuen Format angucken und als ersten Gast haben wir einen wahnsinnig spannenden CPO von einem europäischen AI-Posterchild haben die Episode schon aufgenommen. Das Gespräch hat uns total geflasht. ⁓ André Neubauer: Das war tatsächlich, wie hast du es gesagt, sehr kompakt, viel, sehr viel Inhalt. Genau. Ich hatte danach tatsächlich einen glühenden Hat ein bisschen gedauert, ich das alles so prozessiert insofern gibt es uns natürlich auch die Möglichkeit, dann auch nochmal anderssprachige, also quasi englischsprachige Gäste einzuladen. wir hoffen, der Change ist für euch nicht allzu groß und ihr bleibt uns gewogen. Hört Wir bemühen uns weiter, spannende Gäste zu bekommen. Und insofern freuen wir uns natürlich auch immer auf Empfehlungen und sagen demnächst. Sebastian: bis nächste Woche.