Latest / Beyond Vibe Coding / #063 FinTech und AI-Vorreiter - mit Florian Thiel (Upvest)
Transcript
- Florian Thiel: Alle lernen im Moment. Es ist im Moment ein einziges gemeinsames Lernen. wir sind alle auf dieser Reise. Das ist, glaube ich, das Einzige, was man im Moment mit Gewissheit sagen André Neubauer: Total. Sebastian: Herzlich willkommen Florian Thiel zu unserem Podcast Format. Ich freue mich, dass du da oder wir freuen uns, dass du da bist und ein bisschen was über West erzählt. Du hast ja mal so einen sehr spannenden LinkedIn Post vor, glaube ich, ein paar Wochen gemacht, der. ⁓ durchaus unser Interesse geweckt hat und haben uns gedacht, hey, laden wir dich doch mal ein. Heute klappt es mit der Aufnahme. Und genau, ich würde dich wie immer bitten, dich einmal kurz vorzustellen, Florian Thiel: Ich freue mich sehr, dass ich hier sein kann. Vielen Dank für die Einladung. Ich bin Florian Thiel, Director of Engineering bei Abwest. Für die, die Abwest nicht kennen, wir sind noch kein Haushaltsname. Wir sind ein Investmentinfrastruktur-API-Scaler, das mittlerweile durchaus populäre Kunden wie N26 und Revolut hat und zukünftig die DKB, unser erster. Wir sehr großer Kunde von klassischen Banken, der diesen Kunden quasi den Handel mit Aktien, ETFs, Geldmarktfonds und allen anderen Instrumentenklassen erlaubt. Und wir bilden das in einer API Full Stack ab. Wir sind eine Produkt- und Technologiefirma primär. Wir sind jetzt ungefähr auf 300 Leute gewachsen. Als ich in die Firma gekommen bin, waren wir 50 Leute, haben also auch ein enormes Wachstum. mitgekriegt und wir sind so ungefähr die Hälfte Product Engineering und natürlich haben wir Account Manager, Sales, Banking, Risikoabteilung, was man halt so hat, wenn man ein Tech-Unternehmen mit einer Banklizenz ist. André Neubauer: Interessehalber Vollbanklizenz? Florian Thiel: Nein, wir haben vor allem die Lizenzen, wir für den Handel brauchen. Also haben eine Handvoll Lizenzen, aber nicht alle. André Neubauer: Sinn, unnötige Komplexität und Ballast. Sebastian: Da spricht André aus Erfahrung. Florian Thiel: Ja, genau, also das... André Neubauer: Ja. Florian Thiel: Lizenzen zu bekommen ist nicht einfach und Lizenzen zu halten auch nicht. Sobald man die Lizenz hat, ist man unter Compliance-Regeln, regelmäßige Audits. Das hat auch laufende Kosten, Lizenz zu halten und alles, was man nicht braucht, will man nicht haben. Ja, und wir sind in den letzten vier Jahren eben massiv gewachsen, haben angefangen mit den Neobanken und Fintechs, weil die mitgehalten haben mit so der Integrationsgeschwindigkeit, die wir gebraucht haben, ⁓ das Produkt zu beweisen und auf den Markt zu kommen. Und wir haben uns dabei die Reife gebaut, in die traditionellen Banken reinzukommen und genug Vertrauen und Stabilität und die Robustheit, man eben braucht, ⁓ mit traditionellen Banken zusammenzuarbeiten. bin seit 20 Jahren ⁓ in Technologie Berlin unterwegs, von Beratungsunternehmen zu Enterprises und kleine Start-ups in Rollen zwischen Infrastruktur, Teamleitung, Architektur und eben jetzt auch im departmental leadership. ⁓ Am besten ist mein erstes FinTech-Unternehmen. Also ich habe vorher unterschiedliche Bereiche abgedeckt, aber nie in Finance. Also ist das für mich auch eine Lernreise, was vor allem die Domainkomplexität angeht. Also alles andere, was ich vorher gesehen habe, ist sehr viel einfacher gewesen als Finance und vor allem Investment. Das ist durchaus eine Freude und man lernt jeden Tag was dazu. Aber man ist auch immer wieder überrascht, mit welcher Komplexität das eigentlich unter der Haube zugeht, was man nicht so sieht als Kunde. Sebastian: Das kann ich mir vorstellen. Florian Thiel: Ja, und aktuell baue ich, ich baue jetzt bei Avest seit vier Jahren das Unternehmen mit auf. habe jetzt aktuell ein Tribe, was sehr client-facing ist. Wir sind ein API-first Produkt. Eins meiner Teams verwaltet die ganzen Client-Konnektivitätsfragen. Also wir haben natürlich eine REST-API, wir haben asynchrone Event-Interfaces. Ein Team kümmert sich darum. Wir haben Interne Operations, eins meiner Teams kümmert sich darum und wir haben ein relativ neues Produkt gelauncht, was auch Operations Interfaces für unsere Kunden nach extern bereitstellt. ist unser einziges Produkt bisher, was nicht direkt ein API Produkt ist, sondern ein Probiowire hat. André Neubauer: Bevor wir immer so bisschen in diese Quasi in diese Kernthemen einsteigen und da hat ja Sebastian schon gespoilert, dreht sich bestimmt ein bisschen auch um den LinkedIn Artikel, den du geschrieben hast. Wie arbeitest du denn? Also was ist denn so quasi aktuell dein Texteck? Machst du dir wieder die Hände dreckig, wie man so schön sagt? Florian Thiel: Ja, natürlich. Das ist eine der größten Änderungen, glaube ich, in den letzten neun Monaten, muss ich sagen. Seit dem, ich glaube, seit November, wo das so richtig wieder losging, dass es Freude gemacht hat, Agentic AI zu benutzen. Wir haben das in der Company schon sehr lange. Wir seit Jahren GitHub und Co-Pilot im Einsatz. Das war aber lange Zeit mehr so... bessere Autovervollständigung. Und das war so für mich häufig keine ausreichende Hilfe, ⁓ wieder anzufangen, Coat anzufassen, weil der Fall für mich einfach zu groß war. Und das hat sich in letzten sechs Monaten komplett gedreht. Wir haben vor kurzem, da kommen wir gleich noch ausführlicher dazu, Claude für die ganze Firma ausgerollt. Und das ist wirklich so der der Durchbruch gewesen. haben vorher schon Gemini gehabt. Wir leben ziemlich viel in Google Enterprise und Google Workspaces. Und da ist Gemini ganz gut integriert. Die haben ja auch ein CLI Tool, was nicht ganz mit mit mithalten kann heutzutage, aber war lange Zeit auch ziemlich gut. Das hat mich dann wieder dem Code näher gebracht und das für mich möglich gemacht, eben auch Teams zu unterstützen. Ja, und wirklich wieder mal die die Händeschmutzig zu machen. Sebastian: Ich, ja. Florian Thiel: Also, heutzutage ist es Cloud Code, Cloud Chat, bisschen Gemini. Wir haben ein bisschen eine fragmentierte Umgebung. Das hat damit zu tun, dass wir natürlich als reguliertes Unternehmen und vor allem, weil wir sehr viel mit Kundendaten zu tun haben, ein paar Compliance-Anforderungen haben, die nicht ganz trivial zu erfüllen sind. Wir haben mit Gemini, haben wir Zero Data Retention und Datacenter nur in Europa. Es ist einfach zu lösen. Mit Cloud ist das im Moment nicht möglich. Das heißt, wir haben so ein bisschen ein fragmentiertes Feld, wo alles, was interne Dokumente berührt, ist mehr in der Gemini-Welt. Alles, was Code ist, ist Cloud-Code. Also es ist definitiv, wenn ich mit meinen Engineers spreche, das mächtigere Tool, aber eben im Moment noch nicht für alle in allen Anbindungskernen möglich. André Neubauer: Hm. Eine Frage in dem Zusammenhang. hatten letzte Woche, oder in letzten Folge, ... Dan Shapiro die 6 Level für Agentics Software Engineering. Wo würdest du euch da einordnen? Also wo geht es da für euch hin? Also kennst du den Artikel? Ja, wahrscheinlich. Florian Thiel: Ich habe tatsächlich nicht im Kopf die Kategorisierung dazu. André Neubauer: ⁓ Aber es ist auch egal. Wie weit wollt ihr da gehen, perspektivisch? Wollt ihr da Richtung Spectrum Development unterwegs? Oder, ich weiß gar nicht, auch im regulierten Umfeld. Ich könnte mir vorstellen, dass das auch durchaus noch mal schwerer ist, da wirklich auch eine AI quasi wirklich autonom Software schreiben zu lassen. Was ist da euer Approach? Florian Thiel: Vielen Wir haben den großen Vorteil, wir sind relativ code first und approval driven development losgelegt und dadurch haben wir so Vorteile wie das alle unsere Pull Requests haben einen human review, das ist auch technisch enforced und auditierbar. Das heißt, eigentlich ist der Unterschied zwischen Der Agent hat den Code geschrieben und der Mensch hat den Code geschrieben, aus Compliance-Sicht nicht vorhanden. Im Endeffekt ist es immer ein Mensch, der dafür gerade steht für diese Änderung. Und das macht es für uns natürlich sehr viel einfacher, als wenn man Greenfield anfängt und von Anfang an AI hat und die die Bildbest in der Code-Basis rumvorwerken. Insofern ist das für uns einfacher. Specdriven, also ich persönlich für die Sachen, die ich mache, im Kleinen, das ist mittlerweile fundamental specdriven. Ich benutze OpenSpec, weil das für mich passt. Das wird mittlerweile ziemlich am Anfang jedes Projekt gezogen und dann ist die Interaktion, wir schreiben zusammen das Back, wir diskutieren da zehn Minuten drüber und die Implementierung ist dann größtenteils autonom. Also man guckt da noch mal hin und wieder mal rein, aber häufig sind es auch Tools, die am Ende sowieso eher Code generieren, der wieder durch Approval-Prozesse läuft. Insofern ist das Risiko auch relativ gering. Sebastian: Da steckt ja schon wirklich unfassbar viel drin. Und da würde ich auch gern, also jetzt sind wir ja fast schon in the meat, aber ich auch gerne noch viel stärker reingehen in die Einzelthemen. Dann nochmal ganz kurz zum Thema Compliance. Also das finde ich total spannend, dass ihr sagt, Gemini, da kann eigentlich alles rein, weil also quasi im regulatorischen Framework seid ihr da safe. Da haben Daten nur in Europa. Zero Data Retention. Das heißt also quasi alles was reingeht wird auch sofort wieder vergessen und damit alles cool bei Claude wiederum genau weiß mehr geht es nicht das hat ja also code kann da aber auch beliebig rein das heißt also ich meine das jetzt glaube ich eine Diskussion aus der Vergangenheit aber früher hat man gesagt ja code ist geheimnis irgendwie und soll man nicht irgendwie mit us-servern teilen war ich gar kein thema gewesen wahrscheinlich weil ihr von anfang an quasi das Thema auch anders verstanden hat. ich meine, so Code an sich ist auch nicht, hat nicht so einen großen Wert, gerade auch wenn er irgendwie fragmentweise in irgendwelchen LLMs oder auf irgendwelchen Servern landet. Und daher nachvollziehbar. Das heißt, ihr müsst eigentlich primär darauf achten, dass da oder wie macht ihr das sonst so mit Themen, die, sagen wir mal, im Code sein könnten oder code-nah sein könnten. Also ich frage vor allem so meine, Secrets sind natürlich da nicht drin, aber man aufpassen, dass da keine Secrets irgendwie im LLM landen. Zugriffe auf Server, Logfiles für bestimmte Analysen von Problemen oder so was. Wie geht ihr damit ⁓ Florian Thiel: Genau, die grundsätzlich, weil wir in der Cloud groß geworden sind, es gibt keine direkten Zugriffe auf Logfiles für irgendwas. Wir leben in der Google Cloud. Die Zugriffe, vor allem auch die Live-Systeme, sind sehr kontrolliert und beschränkt. Wir benutzen Datadog für den ganzen Observability Stack. Und da gibt natürlich einen MCP, der ist aber im Moment so konfiguriert, dass... so persönliche, personbezogene Daten da nicht zugreifbar sind. ist woran arbeiten, wie wir das besser hinkriegen, weil das teilweise schon eine Einschränkung ist. Wir haben natürlich so Break-Last-Procedures, wo man für einen Incident-Fall Zugriff auf Server, auf Daten kriegt. Das ist dann aber kontrolliert und protokolliert. Aber für den allgemeinen Fall ist das per MCP verfügbar und für die Agenten zugänglich. Sebastian: Alles klar. André Neubauer: Aber wenn wir da jetzt gerade schon sind, auf die Gefahr, dass wir auch quasi heute die Zwischenbissen zwischen den Themenlöcken springen. Eine Sache, die ich mir mitgenommen habe, ist halt, dass wir euren eigenen MCP Gateway geschrieben habt. Kannst dazu mal ein bisschen sagen, was für die Motivation war, das zu tun? ich kann es mir fast denken, aber so ein bisschen die Story drumherum. Florian Thiel: Wien. Ja klar, es ist, der ist nicht von Null selbst entwickelt. Es ist am Ende ein Cloudfair Produkt. Cloudfair hat MCP Gateway als Produkt. Wir haben ein paar Sachen dran geschraubt, die für uns passen. Was wir eben brauchen ist Impersonation für alle MCPs. Wir haben sehr viele Systeme, die eigentlich Saas-Systeme sind. Also Datadoc ist eins dafür. Wir benutzen Linear für Work-Tracking. Die haben alle MCPs und wir müssen natürlich sicherstellen, dass die Zugriffe immer im Namen der Personen passieren, die den Agenten bedienen. Und insofern hängt das alles bei uns in den SSO-Systemen drin und die expiren auch regelmäßig. Also man kommt nicht umhin, einmal am Tag einmal den SSO-Tank zu machen. Aber dann sind die Agenten und auch die MCPs von einem System, die wir wieder verfügbar und kommen eben mit den Zugriffsbeschränkungen, die man persönlich hat. wenn ich aufgrund meiner Rolle Zugriff auf personenbezogene Daten habe, dann kann ich die auch sehen. Das fügt uns jetzt weiter in das Mietthema, aber wir bauen gerade zum Beispiel auch in Data genau an sowas, wo wir Data Tagging durchziehen, also alle Datenströme, die wir haben, an der Quelle mit Attributen zu versehen, wo ich feststellen kann, wie sensibel sind diese Daten und darüber können wir dann auch Zugriffskontrolle machen. Und das hat natürlich wieder Wert für die Agenten, weil ich dann in BigQuery bestimmte Datensätze einfach sehen kann, obgrund einer Rolle oder eben nicht. Und genau diese Probleme, die man sonst hat. dass wenn man Agenten relativ weitgehende Zugriffsrechte gibt, dass man sich ganz schnell in einen Bereich bewegt, der in einer regulierten Umgebung nicht angebracht ist, das umgeht man damit. Also wenn von vornherein Datenklassifikation da ist, wir benutzen Google Workspace für alles, was so Dokumentenaustausch angeht. Auch da gibt es Dokumentenklassifikation von geheimen André Neubauer: Hm. Florian Thiel: über nur für den Firmengebrauch bis zu extern und man kriegt eben dann auch die Kontrollen geschenkt dazu, dass man nicht aus Versehen mal ein Dokument in einem Kundenfall gibt oder dass eben die Agenten das benutzen, ⁓ damit Unsinn zu machen. André Neubauer: Das ist eigentlich super clever, weil du damit im Endeffekt... ...einen existierenden Slayer einfach nachnutzt. Und halt auch, also nicht nur rückwirkend, sondern auch nach vorne raus. Du brauchst halt keinen zusätzlichen Prozess auszudenken. Florian Thiel: Das ist ein ganz großer Vorteil, wir, glaube ich, aufgrund der Zeit, in der wir angefangen haben, den Tools, die wir zur Verfügung hatten, und der fundamentalen Architektur, die wir gewählt haben, wo wir diese ganzen Vorteile haben, die uns das Leben vor allem mit den Agenten sehr, leicht machen. Sebastian: Ja, super spannend. ist erst mal ein bisschen counterintuitive. Man würde denken, irgendwie Financial Services super reguliert. Das heißt extrem schwer, KI einzusetzen. Aber im Gegenteil, dadurch, dass ihr halt Tech-first gestartet seid und halt entsprechend automatisiert habt und die ja Compliance mehr oder weniger automatisiert abgebildet habt, seid ihr da absolut top aufgestellt. Super, super spannend. Florian Thiel: Das ist natürlich auch dann für, wenn man an Agentenschutzverentwicklung und den Agenten bisschen mehr Freiheit zu geben denkt, wenn es immer einen Approval Gate gibt am Ende, ist das was, was man sehr viel lockerer handhaben kann. Natürlich ist das Problem, wie viele Leute haben, ist Validierung, Testen. Kann ich automatisches Feedback für Agenten bereitstellen? Das ist auch ein am Ende ein großes Thema für uns. haben eine eventgetriebene Microservice-Architektur, wo eben so Ende-zu-Ende-Tests vor allem in so einer komplexen Domäne, man nicht viel Signal dafür kriegt, wenn in einem Service eigentlich alles funktioniert, weil am Ende ist es ein Ende-zu-Ende-Flow über zehn Schritte und auch zwischen unterschiedlichen Banken, Handelsplätzen und so weiter, der funktionieren muss. Und das ist eine ganz große Herausforderung, wie wir das hinkriegen, dass wir Agenten wirklich Freiheiten geben können und Agenten Feedback zur Verfügung stellen, sodass die auch längere Zeiten autonom arbeiten können. Sebastian: Wir sind jetzt schon voll im Miet drin, würde ich sagen, aber es ist auch überhaupt gar kein Problem, weil es ist ja total spannend. Und auch da habe ich jetzt schon wieder drei Folge Fragen. Ja, wenn wir gerade bei dem Thema sind, also event driven Microsoft Architektur mit auch Banken oder sagen wir mal unterschiedlichen externen, sagen wir mal, Services angeschlossen, die ja. Florian Thiel: Bitte! Sebastian: quasi von denen ihr Daten bekommt oder zu denen ihr Daten schickt. Und darüber müssen ja tatsächlich verteilte Transaktionen auch noch abgebildet werden können. Weil ich also es muss ja wahrscheinlich auch möglich sein, quasi die einzelne also den aus verschiedenen Service Calls zusammengesetzte die zusammengesetzte Transaktion dann komplett wieder zurück zu rollen, wenn irgendwo in der Kette was schief läuft. Das heißt also, ihr müsst auch mit externen Systemen beziehungsweise also auch. Externe Systeme irgendwie mit einbeziehen in die Tests. Erstmal verstehe ich das richtig oder bin ich da irgendwie auf dem falschen Dampfer? Und die Folgefrage wäre dann, wie macht ihr das? Also mockt ihr dann auch die externen Systeme? Also geht es ein bisschen in die Richtung Strong DM. Die haben ja sogar sich externe Systeme dann komplett nachgebaut, ⁓ tatsächlich noch besser automatisiert testen zu können. Florian Thiel: Also der Event Layer ist bei uns komplett intern im Moment. Also es geht nur ⁓ Services, die wir bei uns haben. Die externen Schnittstellen sind sehr, sehr unterschiedlich und häufig industrie- spezifisch. Also mit den Handelsplätzen gibt es ein spezifisches Produkt, was man mit denen sprechen muss. Natürlich haben wir mit Banken und Verwahrtstellen zu tun. Ganz viel davon ist klassisch CSV-Lateien und SFTP. Sebastian: Okay. Florian Thiel: Also auch das gibt es noch, so End-of-Day-Prozesse, man dann sogenannte Reconciliation macht. Also eigentlich man überprüft, dass unsere Sicht auf die Welt, wer welches Geld hat, welche Transaktionen wo stattgefunden haben, übereinstimmt mit dem, was die Welt ⁓ uns auch sieht. Und insofern ist das nur intern eventgetrieben. Ganz viel dieser Prozesse, die schiefgehen, sind nicht transaktional. sondern die werden dann über Compensating Actions abgebildet. Also im Zweifel eine Rückbuchung. Wenn man irgendwo fehl gebucht hat, dann macht man halt eine Buchung, die rückwärts geht. Wir haben ein zentrales System, was quasi die doppelte Buchführung für uns macht. Das System konsumiert alle Events, die Geld bewegen im ganzen Abwest-Universum. Und darüber kann man das nachverfolgen und damit ist das einfach eine... eine kompetentatorische Buchung, die wir dann machen, wenn was schief gelaufen ist. Und die zweite Frage, die du gestellt hast zu Mox. Ja, wir haben ein paar naive Mox für unsere Fremdsysteme, vor allem in den Testumgebungen. Es gibt ein paar Firmen, die uns deren Testumgebungen bereitstellen. gibt es auch Sandbox-Systeme, man benutzen kann. Für ein paar Sachen, wo es das nicht gibt, haben wir uns das das selbst gebaut. Das ist aber noch nicht, also das ist bei weitem nicht perfekt. Wir haben so ein paar Sachen, wo wir Instrumente haben, also eine Aktie oder eine ETF, der sich immer in einer bestimmten Weise verhält, zum Beispiel, wo die Mocks dann so sind. Wenn du Bedarf an was kaufst, dann geht das immer schief. Oder wenn man mit dem Kunden was macht, dann hat er immer zu wenig Geld. So Sachen können wir natürlich machen. André Neubauer: beeindruckend beeindruckend beeindruckend eine sache was gar nicht ist es ok so was wenn man ein bisschen von diesem thema weggehen Sebastian: Total. Genau, ich bin auch dankbar, dass du jetzt was fragst, nicht dass ich hier irgendwie die ganze Zeit... André Neubauer: Okay. Was mich so bisschen in dem Zusammenhang ... ... gefragt hat, was ja schon relativ komplexes Setup ist, ... ... unser Lieblingstort glaube ich, Sebastian und meins, Harnes. Jetzt hat man ja auch im LinkedIn Artikel gelesen, ... ihr ... ... Leuten relativ freie Hand lasst, ... so das Tooling und so halt angeht. Wie kriegt ihr dann eine Klammer ... darum, wenn so die Infrastruktur drum herum doch wahrscheinlich bisschen spezifisch oder ein paar Besonderheiten hat. Florian Thiel: Also die Firma ist eigentlich mit minimaler Technologie gegründet worden. Also wir wir laufen auf dem Google Stack. Wir haben Postgres-Datenbanken, haben Golang, wir haben Kafka-Events. Fertig. Es gibt keine anderen Sprachen, es gibt keine großen anderen Frameworks. Damit kriegt man natürlich ein bisschen Gemeinsamkeit und alles, was nach außen passiert, ist eben von irgendeinem Adapterservice gekapselt. So Anti-Corruption Layer-mäßig, auch dass wir von einer Eventwelt in eine Dateiaustausch oder transaktionale Welt gehen können. Damit kriegen wir so ein paar Grundlagen abgebildet, weil die Surface Area einfach nicht so groß ist. Also ganz viele Dinge funktionieren ähnlich oder gleich. Und jetzt die Die Einführung von Claude, seitdem wir den Rahmenvertrag haben, führt das natürlich auch dazu, obwohl die Leute die angemessenen Tools verwenden können, ziemlich viele Leute sich auf Claude gestürzt haben, weil es eben vor allem für Softwareentwicklung im Moment eins der, wenn nicht das leistungsfähigste Tool ist und man eben in der Firma, wenn alle Leute das benutzen, sehr einfachen Austausch hat. André Neubauer: Hm. Florian Thiel: Also ich glaube, alles andere ist im Moment in der softwareentwicklung, in der grantig Gruppe. André Neubauer: Und macht ihr da irgendeinem? hattest vorhin schon gesagt, die macht. sitze OpenSpec, nicht Speck, OpenSpec habe ich gehört. Florian Thiel: Also ja, OpenSpec ist das ist so bisschen für meine Projekte die Präferenz. Wir haben da kommen zum AI Toolkit auch aus dem Artikel. Das AI Toolkit hat so ein bisschen die die Firmengrundlage. ist ist homegrown, aber eigentlich ein Planungs- und Softwareentwicklungsprozess, der in dem AI Toolkit lebt. André Neubauer: Okay, okay. nicht schlimm Florian Thiel: ein bisschen grundsätzlich das AI Toolkit erklären. Es ist eigentlich eine Git Repo mit Skills, Rules und Workflows. Und ein paar ambitionierte Leute in der Firma haben damit angefangen und haben sehr viel allgemeines Softwarewissen destilliert. Also als wir in dem Moment, wo wir auf einmal sehr viele Tokens zur Verfügung hatten, hat das dazu geführt, dass es einfach wurde, sozusagen. Okay, wir brauchen ein bisschen generelles Softwareentwicklungswissen, was für uns sinnvoll ist. Das destillieren wir jetzt runter in Skills und Rules und Agents. Und die leben jetzt in diesem AI-Toolkit. Das hat so ein paar abwestspezifische Skills. Es hat aber auch Regeln, das wir immer signierte Commits haben. Also Dinge, die nicht selbstverständlich sind, aber für uns spezifisch. Entschuldigung. Hahahaha Und so. dass wir, dass wir eben da eine gemeinsame Basis haben, die ist aber bottom-up gewachsen. das ist relativ opinioniert in einigen Bereichen und der Teil, der am herausforderndsten ist, ist so den spezifischen Firmenkontext da reinzukriegen. Also so, was sind eigentlich unsere André Neubauer: Hm. Florian Thiel: grundlegenden Architektur-Patterns, was ist wichtig für das Business? Also diesen ganzen Kontext, der hilft, vor allem in der richtigen Dosis, den Agenten Entscheidungen zu treffen. Viel ist allgemein technologisch und Software-Entwicklungsgrundlagen da im Moment drin. Und das ist ein System, das kann man sich einfach in seinen Agenten laden. wir haben sogenannte Profile, wo man eben so eine vorgefertigte Sammlung von André Neubauer: Hm. Florian Thiel: von Skills, Agenten und Regeln hat, die dann für, sagen wir mal, Data Engineering oder für Go Engineering vorgefertigt sind. Das kann man sich einfach in seine Cloud Session laden und dann hat man diesen Kontext. Man kann den auch customisern und sein persönliches Profil haben. Aber wir haben eben so eine Sammlung von bestimmt 50 Skills, 20 Agenten. André Neubauer: Ich glaube, das würde mich tatsächlich andersherum ... ... verwundern, zumindest ab einer gewissen Größe, ... ... wenn Firmen das gar nicht selbst beeinflussen, ... weil, wie du gerade gesagt hast, ... was sind denn die Guidelines, ... es jetzt fachlich oder nicht fachlich sind, ... also die ganzen Rahmenbedingungen, ... die musst du ja irgendwie ... in deine Skills, Workflows, Agenten, ... was auch immer, irgendwie reinkriegen. ... rein Interesse habe, weil wir uns mit dem ... gleichen Thema auch beschäftigen. Basiert das auf irgendwas? Also oder ist das from scratch? Also habt ihr wesentlich GSD gefolgt und dann gesagt so jetzt quasi macht ... wir weiter oder habt ihr das Florian Thiel: Ne, ist wirklich von Scratch. Also es ist nicht besonders komplex. Der Grundlagenlayer ist ja relativ dünn. Der ist so bisschen, wie kriegt man das verteilt, wie kriegt man das in Cloud und in OpenCode reingehuckt und fertig. André Neubauer: Ja, Dann machst du wahrscheinlich GitHub, Git, GitHub-Modules zu oder so. Ich hatte mich eigentlich eher gefragt, wie sieht euer Workflow dann jetzt zum Beispiel aus? Wie viele Schritte habt ihr? Wie feingranular sind halt irgendwie die Agenten oder die Skills, die Workflows, daraus entstehen? Genau, aber ich entnehme dem, es ist schlank gebaut. Florian Thiel: Es ist relativ schlank. Wir sind als Company sehr aus dieser Team-Autonomie-Ecke gekommen. Das heißt, es gibt gemeinsame Architektur, die Contracts nach außen. Was die Teams machen, gibt es gewisse Freiheiten. Und in diese Richtung funktioniert auch das AI-Toolkit. Man nimmt eben das, was man braucht. Es gibt keinen gemeinsamen detaillierten Entwicklungsprozess. Auf der oberen Ebene gibt es natürlich unseren Software Development Lifecycle, wo ein Vier-Augen-Prinzip das technisch durchgesetzt wird für Pull Requests. Es gibt bestimmte Test Stages, durch die man Services schieben muss, wie Deployment funktioniert. Das ist auf der Ebene André Neubauer: Okay. Florian Thiel: automatisiert. Wir leben in GitHub und GitHub Actions, wo das Ganze größtenteils technisch entforst wird. Zum Beispiel die Voraussetzung, dass es einen unabhängigen Reviewer geben muss, der eine Approval für einen Change macht. Das wird einfach technologisch durchgesetzt. Damit ist auf der lokalen Ebene ein bisschen mehr Freiheit für die Teams möglich. André Neubauer: Macht Sinn, macht Sinn, macht Sinn. Okay. Sebastian: vielleicht nochmal eine Abschlussfrage dazu. Also sprich, das ist im Prinzip auch im GitHub irgendwie ein Repo, wo einfach entsprechende Skills drin liegen, Agenten, Regeln, die ich mir komplett ziehe sozusagen und dann einfach lokal noch meinen Harness mit quasi oder in meinen Harness reinwiren muss, weil irgendwie für Claude muss es halt in der Claude Die dann drin stehen für OpenCode wahrscheinlich in der Agents im die oder so und dann habe ich es bin ich up and running sozusagen. Florian Thiel: Genau, ist ein Repo, das checkt man aus. Das hat ein bisschen Support-Infrastruktur dazu. Ich kann halt sagen, ich möchte das so global installiert haben, dann wiret das sich in die systemweite Cloud-Konfiguration rein, dann ist das einfach überall verfügbar. Oder ich kann sagen, ich möchte das Projekt spezifisch, so dass man das pro Repo hat. Prinzipiell kann das beides. Es gibt ein Installer Tooling drumherum, dass ich diesen Schritt mit dem In-Cloud-Wire nicht selbst machen muss. André Neubauer: Ja, macht Sinn. Sebastian: Ja, alles klar. Genau. Also kann was schiefgehen und das ist ein unnötiger Schritt. Also je einfacher man es macht, desto besser. Und dann schließe ich jetzt für mich die Folgefrage an. hast zwar gesagt, gibt jetzt nicht den einheitlichen Prozess. Deswegen ist wahrscheinlich auch Speck-Hit eher so deine Sache. Aber wenn du jetzt mal so in deine Teams guckst, wie funktioniert dieses gemeinsame Arbeiten an Mitagenten. Also von früher hat man als Team irgendwie Code geschrieben. Jetzt hat man aber ein Team von Leuten, die eigentlich Agenten haben, die Code schreiben. Wie wie funktioniert da die Kollaboration im Workflow von von? Wir sprechen über einen Feature, wie auch immer, eine Story in Epic, was auch immer. Dann entscheiden wir uns, was wir bauen wollen. Dann wie wird dann gebaut? Baut einer dann alles oder wie? Genau. Ja. wenn du das kurz erklären könntest. Florian Thiel: In ganz vielen Fällen sind die Features, die wir specen, klein genug, dass das eine Person bauen kann und man dann den Review-Prozess im Team verteilt. Wir haben natürlich auch in dem Review-Prozess Agenten, da haben wir sogar noch Co-Pilot und Clot, die jeweils dann teamspezifisch so ein paar Präferenzen haben. Wie vorhin erzählt, ich habe zwei der der Teams, tatsächlich auch Frontend machen in einer Firma, die sonst nur Backend und API macht. Insofern sind die Anforderungen natürlich bisschen unterschiedlich. Aber prinzipiell haben wir diesen erweiterten Schwierigkeitsgrad, nämlich mit drei, vier Leuten gemeinsam über ein Speck zu iterieren und dann über den Code, der aus dieser Speck entsteht, zu iterieren, den Schwierigkeitsgrad haben wir uns noch nicht gegeben. Und das ist auch eine der Herausforderungen, die ich sehe, wie eigentlich Softwareentwicklung in Teams funktioniert. Vor allem in relativ komplexen Domäne. Also bei uns ist die Technologie ist, man muss verteilte Systeme beherrschen. die eigentliche Komplexität ist nicht unbedingt eine Technologie. ist eigentlich alles industrialisiertes Wissen. Aber wie man diese Systeme baut. ist relativ viel Expertentum gefragt und das haben auch noch nicht so viele Leute gemacht und es gibt den goldenen Pfad dafür noch nicht. Viel davon ist auch explorativ, man muss sich ganz gut in der Domäne auskennen, dann zu gucken, wie baut man das dann eigentlich in Software. Vor allem, wenn man mit minimalen Produkten, über die man interiert anfängt, in Finance. Das muss natürlich alles so sein, dass man André Neubauer: Hm. Florian Thiel: dass das minimale Produkt absolut feature reduziert sein muss, natürlich von Compliance und Sicherheit, Robustheit keine Abstriche machen darf. das ist für so wie Teams funktionieren und wie Agentic Development Teams beeinflusst, bei uns, glaube ich, noch ein bisschen eine Spezialsituation, weil es nicht einfach nur Software Engineering ist. stellen unsere Leute als Product Engineers ein und wir verlangen auch, der Interviewprozess fängt schon damit an, dass es ein Produktinterview gibt. Wir gucken, sind die Leute willens und in der Lage, über den Tellerrand zu gucken, von dem was ihr das Thema macht, welches Problem das eigentlich löst, wie denken die über Probleme nach. Das positioniert uns ziemlich gut jetzt in der Agentsic Welt, weil der Teil der der so das Hardcore Engineering ist, der an einigen Stellen weniger wichtig. Aber die Herausforderung, diese Leute zu finden und vor allem auch weiterzubilden, dieses Domänenwissen zu verteilen, ist eine große Herausforderung für uns und die uns wahrscheinlich ein bisschen anders betrifft als andere Firmen, wo wirklich am Ende Produkte mit einer Person und einem Agenten gebaut werden können. Bei uns ist es sehr wichtig, dass wir das Wissen und das Warum vorhalten können, damit das persistiert werden kann und wir auch über lange Frist Maintenance gewährleisten. Sebastian: Und vorhalten meinst du damit im Team sozusagen. Also sprich, dass das Team ... Florian Thiel: im Team oder gerne auch natürlich in dem Agenten. Die Rezepte dafür sind, glaube ich, noch nicht gefunden. Wie kriegen wir das hin, dass wir Systeme haben, die selbst dokumentierend sind? Das ist ja die alte Frage des Software-Engineers. Wie viel Dokumentationen? Was dokumentieren? Und vor allem das Warum. Also ich glaube, wir haben jetzt eine gute Chance. André Neubauer: Hm. Florian Thiel: mit Agentic Engineering da näher ranzukommen, weil wir natürlich überall sehen, dass die Dinge, die für Menschen gut waren, schon immer auch für Agenten gut sind. Und auf einmal ist es einfacher, das zu machen, weil Geld dafür da ist, weil das für die Agenten gut ist. Also ist gute Dokumentation, Architektur, Diagramme, das ist jetzt alles wichtiger geworden. Ich habe ein Team, die haben angefangen, ihre Architektur in Markdown und André Neubauer: Hmhm. Florian Thiel: Diagrammen zu machen und in Form gebracht, dass sie die jetzt nur noch agentisch weiterentwickeln. Also reden mit den Agenten über Änderungen, sie an dem System machen. Der Agent schreibt die MD-Files ⁓ macht das Architekturdiagramm neu und erzählt dir dann auch, inwiefern deine Code-Basis nicht mehr zu dem Architekturdiagramm passt. Und man kann mit dem zusammen dann anfangen, das weiterzuentwickeln. Das ist... noch kein so ganz großes Produkt, aber das ist ziemlich interessant zu sehen, dass das funktioniert, wenn man sagt, wir pflegen das nicht von Hand, sondern wir pflegen das nur über Interaktionen. Und es ist auch ein sehr wertvolles Asset für das Team geworden. Also es ist wirklich was, was alle Leute in dem Team benutzen. Es ist ein gutes Beispiel dafür, wie so Kontext im Team funktioniert. Wobei man sagen muss, das ist halt eine relativ technische Domäne. Das ist keine Core-Finance. sondern das ist ein Frontend mit BFFs und ein Datenbanken. Sebastian: Ja, das ist ich habe tatsächlich genau gestern mir auch so ein Skill allerdings nur gebaut für ein größeres Projekt, an dem ich arbeite, wo ich jetzt anfange auch andere Leute mit rein zu holen. Und da ist mir aufgefallen, die das letzte Update der Dokumentation habe ich irgendwie vor zwei Monaten gemacht. Das ist mir aufgefallen. Da muss ich mal wieder ein Abgleich machen und gleich ein Skill geschrieben, der das ja der wiederum. André Neubauer: Vielen Sebastian: referenziert wird in meinem Commit Skill, sodass wenn immer ich einen Commit mache, jetzt automatischen Abgleich der Realität im Code mit der Dokumentation gemacht wird. Mal gucken, wie gut das funktioniert. Ganz spannend, genau, kleine Anekdote. Ich weiß nicht, ob ihr die Episode von Lenny's, ne, sorry, vom The Pragmatic Engineer Podcast gehört habt zu Rust, war jetzt neulich so eine Rust Mitentwicklerin dabei und die André Neubauer: Tschüss, dos. Sebastian: haben bei Rust so ein Features wusste ich noch gar nicht, dass du wenn du in den in der Dokumentation, also im Code sozusagen, da gibt es ja auch Kommentare Dokumentation, wenn du da Beispiele drin hast, dann werden die automatisch in Tests umgesetzt, sodass du immer quasi feststellst, wenn diese Beispiele outdated sind, weil der Code was anderes macht, weil dann der Test das fand ich extrem charmant. Florian Thiel: Python hatte das, glaube ich, Python hat dieses example driven development eingeführt, wo das auch einfach in Kommentaren ist und dann Test frameworks sehen die Examples in dem Code. Sebastian: Ja super cool. Alright, also auch total spannend. Jetzt will ich noch mal einmal kurz ein bisschen tiefer in diesen Prozess noch mal einsteigen, einfach nur um dann paar Unklarheiten, ich da noch im Kopf habe, rauszunehmen. Und zwar, was ich jetzt verstanden habe, in aller Regel ist es eben so, dass eine Person an einem Feature arbeitet, sozusagen dann mit dem Agenten dieses Feature sozusagen entwickelt oder der. André Neubauer: Hmpf Sebastian: Agent entwickelt und die Person steuert den Agenten und dass ihr aber vorher und da genau nur noch mal zum Verständnis. Vorher ist das Team sozusagen iteriert das Team an einem Feature in groben Zügen und nachher gibt es dann auch so ein gemeinsames Review. Also irgendwo gibt es ja dieses vier Augen Prinzip, aber gibt es dann auch ein Review im Team, also so ein bisschen Ensemble oder. gemeinsames Review. Wie läuft das ab? So deine Erfahrung. Florian Thiel: Wir ⁓ ein bisschen mehr über den Prozess sagen. Also unsere Teams bestehen immer aus einer Reihe von Engineers und Product Manager. Und natürlich ist das, was gebaut wird, dann auch im Gespräch zwischen den Engineers und dem Product Manager. Da redet man vor allem darüber, was wir bauen und in welcher Ausbaustufe. Also viele von unseren Features, die wir bauen, die sind nicht in erste Iteration Polish. Die sind erstmal das minimale, was wir brauchen, damit das für irgendjemand nützlich ist. Wir haben zum Beispiel ein paar Teams, arbeiten für die internen Operations, also so, dass die ganzen Prozesse, im Background unserer API laufen, dass die für Menschen verständlich visualisierbar sind, wo man Probleme lösen kann, Fehlbuchungen, Rückbuchungen, so Sachen. Und dafür einen Interface zu bauen. Und wie häufig sind die ersten Interaktionen davon relativ simplistisch. Und da hat man einen Sketch mit Produktmanager und manchmal auch UX-Design, weil wir haben festgestellt schon noch für diese Interfaces ist es relativ wichtig, dass die gute, konsistente Usability haben über so eine breite Masse. Aber da kommen wir jetzt auch mehr mehr dahin, Designsysteme dafür zu bauen, sodass die Agenten auch wiederkehrende Patterns gut können. Da sind wir nicht von Anfang an gewesen in der Code-Basis, aber die Code-Basis entwickelt sich im Moment rapide dahin, dass die sehr sehr sehr patternbehaftet ist, sodass die auch agentisch zugänglich wird. Und diese Iterationen, die wir für Features machen, die sind dann häufig so zwei, drei, vier Iterationen, die werden von der gleichen Person manchmal auch andere Personen, je nachdem, gerade im Urlaub ist. gemacht, weil es ist im Regelfall nicht so, dass es Pairing plus einen Agenten gibt. Aber die Teams haben natürlich dann, die meisten meiner Teams machen zwei wöchentliche Zyklen und am Ende gibt es eben ein, wir gucken mal, was wir in den zwei Wochen gebaut haben, zeigen das intern, zeigen das auch unseren Stakeholdern. Das ist bei den Teams, die interne Stakeholder haben, relativ leicht. André Neubauer: Hm. Florian Thiel: Das ist für die Teams, die APIs bauen in Investmentinfrastruktur manchmal ein bisschen schwieriger, weil es sehr, schwer ist, irgendwas Vorgehbares zu haben. Das kriegt man ja nur über Kunden hin. Sebastian: Das klingt also als wäre sozusagen der Outer Loop, wenn man so möchte, also sprich der Spritzyklus relativ wie früher, das nur in drin, die Art und Weise, wie eben die Software entwickelt wird, der Code sich, also der Code entsteht, sich geändert hat und wahrscheinlich auch der Throughput, könnte ich mir vorstellen, nach oben gegangen ist. Florian Thiel: Ja, da können wir gleich noch zu reden. Das ist dann die Ex und was wir darauf gelernt haben. Genau, wir haben im Moment noch nichts an dem Outerloop gedreht, wobei die Teams, also bei uns ist auch das Team Setup relativ lose. Die Vorgabe für die Teams ist, es ist ein iterativer Prozess und ihr habt regelmäßige Rintrospektiven. Das ist so ungefähr das Setup. Aus Synchronisationsgründen, weil Teams natürlich auch kollaborieren untereinander, haben sich die meisten auf einen zweiwöchentlichen Rhythmus geeinigt. Vor allem auch, weil es von der Domäne her schwierig ist, so einen kompletten Value Stream in einem Team zu haben. Das sind einfach sehr, sehr viele Touchpoints, sodass wir doch so bisschen Inselteams haben und Features relativ schnell eskalieren auf zwei, drei, vier Teams, die die irgendwie koordiniert werden müssen. Das ist ein bisschen domänenintrinsisch. Man kommt sonst ganz schnell dahin, dass man für jedes Instrument, was man handelt und für jede Variation einen eigenen Value Stream bauen muss, damit man ihn Ende zu Ende ownen kann, was mit ganz vielen anderen Problemen kommt. Insofern gibt es diese Kollaboration, führt dazu, wir noch einen relativ klassischen iterativen Outer Loop haben. André Neubauer: Und wahrscheinlich kommt ihr davon auch gar nicht so gut weg. Das ist wahrscheinlich so bisschen der Constraint der Domäne. Florian Thiel: Das kann sein. Die Teams arbeiten unterschiedlich damit. Es gibt Teams, die nicht so viele Synchronisationserfordernisse haben. Die fangen an, bisschen mehr kann man zu arbeiten. Also wenn Dinge passieren, die jetzt wichtig sind, das passiert in Scale Apps auch hin und wieder mal, dann redet man mit einem Kunden und stellt fest, wir müssen für den Launch jetzt irgendwas machen, was wir noch nicht so geplant hatten. Dann fiedet man das einfach in den Zyklus rein. Das geht schon. das ist kein Wir machen keine keine zwei Wochen Timeboxen, wo es am Ende am Anfang ein Commitment gibt, wo am Ende dann geguckt wird, wie sieht das Commitment aus. Und es ist mehr so ein Wir setzen am Anfang so ein Cycle Goal fest. Das ist irgendwie das Wichtigste, was wir, was wir liefern müssen. Und das bildet auch nur so 20, 30, 40 Prozent der Kapazität ab. Das ist so die Ambition, was entscheidend ist jetzt für diesen Zyklus, dass regelmäßig noch viele andere Dinge passieren müssen, weil man zum Beispiel auch Business-as-usuale Arbeit hat. Das ist immer klar. Und so steuern wir nicht in einem sehr klassischen Commitment getriebenen und wir gucken dann am Ende, warum hat das geklappt oder nicht. Zyklus darauf. André Neubauer: Hm. Du hattest gerade noch so ein Triggerwort gesagt, also Triggerwort im LinkedIn-Post. DX ist für mich immer, wo ich so denke, keine Ahnung, sehr hyped. Ich habe es noch nicht so verstanden und noch nicht den Wert dahinter verstanden. jetzt quasi für mich die Gelegenheit, noch mal ein bisschen besser zu verstehen, was das für einen Wert hat. Kannst du dazu bisschen erzählen, was ihr da macht und wofür es nutzt? Florian Thiel: Ja, wir haben angefangen vor zwei Jahren habe ich ein kleines Framework gebaut, in der Company ein bisschen zu verstehen, wie ist eigentlich unser Investment Balance. wie viel Zeit verbringen die Teams mit neuen Features, mit Iterationen auf bestehende Features, wie viel ist Keeping the Lights on, so Maintenance Arbeit. einfach für uns als Engineering Leadership einen Maß zu haben, ⁓ zu gucken, muss man der Ruhe steuern. Und turns out, das ist kompliziert. Wie misst man Zeit überhaupt? Gibt es ganz viele Fragen zu Vergleichbarkeit zwischen Teams? Ist sowieso quasi unmöglich, wenn die Teams nicht exakt ähnliche oder gleiche Arbeitsstile haben. Das hat nicht gut funktioniert. Wir haben dann ein Surveyformat versucht, so bisschen zu gucken, was sind eigentlich die wichtigsten Prioritäten, wir lösen müssen. Viel kriegt man auch natürlich im Einzelgespräch raus. Aber ⁓ das bisschen zu substantiieren, wir mit Surveys angefangen, zu gucken, wie zufrieden sind die Leute mit. lokaler Entwicklung mit wie viel sie gestört werden, wie viele Meeting-heavy-Days gibt es, wie gut funktionieren die Plattformen, so Sachen. Und man stellt halt relativ schnell fest, das ist relativ viel Wissenschaft und das möchte man nicht unbedingt in-house machen, wenn man jetzt nicht die Experten dafür hat und die Kapazität auch irgendwie besser einsetzen kann. Und dann kauft man die Ex, der Das große Versprechen von die Ex ist, die haben sich diese Wissen angeeignet, die haben Sensoren dafür gebaut, die mit deinem GitHub, mit deinem Ticket Tracker, mit deinen Kalendern, mit allem, was du so im System hast, auch mit deinem Kubernetes und deinen Agenten, spricht, ⁓ über die Sensoren und über Surveys dir zu sagen, wie gut eigentlich deine Entwicklung wurde. Nein, was... Action Points für deine Entwicklung sind. dafür benutzen wir das auch. Wir haben die X erst Ende letzten Jahres eingeführt. Wir sind noch nicht so lange in der Benutzung da drin. Und wir haben jetzt zwei größere Zyklen mit auch Surveys dazu gemacht. Und sehen jetzt die ersten Dinge, die größend bestätigen, was man geahnt hat. Aber jetzt vor allem das so bisschen substanziert. Und zum Beispiel auch für AI. Die haben im letzten Jahr angefangen, AI-our-eye zu messen. es gibt Sensoren, die einfach gucken, durch die Agenten, wie viel agentisch produzierter Code fließt bei dir ein, wie häufig hast du darüber interviert. Also hast du gesagt, hier, war jetzt aber nicht gut. Rejected und nochmal gemacht. Dieses Wissen ist alles da, dass man auch so bisschen die Agenten-Effizienz hier, können die Leute vernünftig prompten, vernünftig Kontext bereitstellen, wie gut funktioniert das. Das ist alles da drin und man kriegt einen Maß dafür, wie viel agentisch produzierter Code live geht und das korreliert zu Durchsatz und natürlich den Dora4, so dass man am Ende des Tages auch sehen kann, hat das was gebracht, jenseits von mehr Code produziert. Den Heiligen Gral, ob wir jetzt wirklich bessere Outcomes beobachtbar kriegen, den kriegen wir natürlich auch nicht 100 % damit gelöst. André Neubauer: Bande. Sebastian: Jetzt sind wir ja vom Thema Throughput auf das Thema DX gekommen, weil natürlich auch Dora und ähnliche Messungen sozusagen da mit korreliert sind. Frage, ihr habt ja wahrscheinlich nicht vorher schon Datenpunkte, die ihr jetzt vergleichen könntet. Also sprich, wenn du sagst, ihr habt das Ende letzten Jahres angefangen damit, vermute mal, habt da vorher dann auch keine Dora-Metriken gehabt. Kannst du trotzdem ein Bauchgefühl äußern oder gibt es sogar Daten, die was zum throughput sagen? Florian Thiel: Also das ist was, das haben wir noch nicht gemacht, aber prinzipiell haben wir die Daten für den Throughput, weil wir natürlich vorher auch mit GitHub gearbeitet haben, also die grundsätzliche Infrastruktur hat sich nicht groß geändert. Die PR-Frequenz kann man wahrscheinlich auch retrospektiv für die letzten Jahre nochmal bewerten. Mein Bauchgefühl ist aber, und das hört man natürlich auch im Geschmack, Gesprächen mit den Engineers. Die Frequenz und die produzierten PRs sind, das ist mehr geworden. Natürlich haben wir jetzt einfach dadurch, dass wir diesen Human in the Loop Approval Prozess haben, gibt es dieses natürliche bottleneck. das ist wenig überraschend, dass man auch hier und da hört, dass die Leute ein bisschen geschwäßt sind davon. Vor allem wenn die Qualität von dem, was in diesem Prozess landet, nicht exzellent ist. dann doch mit, sich mit Kot abgeben muss, der manchmal eben doch nicht so ist, wie der vorher war, als den noch Menschen geschrieben haben. Sebastian: Das ist spannend. Das ist also ein Finding, ihr gemacht habt. Also dass die Code-Qualität sich verschlechtert hat. Florian Thiel: Also das ist... Das hat sehr Hilfsklubkulation. Vor allem auch über die Modelle und die Agenten, die wir benutzt haben. Es gibt Leute, die in Domänen arbeiten, auch Kontext nicht so gut ist, wo das sehr, schwer ist und wo es auch Beschwerden gibt, dass es sehr schwer ist, den Agenten beizubringen, gute Beiträge zu leisten. Aber insgesamt, also vor allem jetzt noch mal in den letzten zwei, drei Monaten, seit Opus geht das noch mal massiv nach oben, Sentiment, oder auch was, was man in den DX-Surveys sieht. Insgesamt ist die Zufriedenheit mit dem AI-Tooling als Unterstützung, die sehr hoch ist in den 90 an Prozent. Sebastian: Alles klar. Spannend. Das heißt also Bauchgefühl, Frequenz der PRs hat sich erhöht, Qualität punktuell verschlechtert, aber quasi zieht wieder an und insgesamt relativ hohe Zufriedenheit mit dem dem. Florian Thiel: Ja. Sebastian: Alles klar. André Neubauer: Ich muss noch eine Frage zum Tooling stellen. hatten ja mal Stefan Schmidt, mehrmals schon Stefan Schmidt hier und einmal unter anderem halt auch zu seinem Human. Ich und mich, mich lässt dieses Thema immer nicht los. Habt ihr da, wenn wir so über Tooling sprechen, habt ihr da, gebt ihr da irgendwas? Also jetzt nicht vor, aber habt ihr ein anderes Setup? ich ich. Jetzt haben wir ja von drüber geredet, dass ihr eine MCP-Lösung gebaut habt, die, sagen wir mal, zumindest immer auf die Rechte des Nutzers zurückfällt, die der oder die quasi gerade damit interagiert. Aber macht ihr irgendwie so Containerisierung von Entwicklungsumgebungen oder habt ihr da gebaut für die neue Ära? Florian Thiel: Das ist, ne, da sind wir noch nicht. ich hab mir Minijuman auch angeguckt. Das Increment für das, wir im Moment haben, ist wahrscheinlich nicht besonders groß ohne große Umbaumaßnahmen. Also die die Agenten in Containern laufen zu lassen, ermöglicht uns wahrscheinlich sehr viel mehr Freiheiten zu geben. Aber dafür müssten wir eben den großen Lift schaffen. Signifikante Teile unserer Infrastruktur in wieder sehr schnell reproduzierbare, möglicherweise kontinuerisierte Umgebungen zu versetzen. Und da arbeiten wir gerade dran. haben gerade angefangen, allem für Load-Tests solche Umgebungen zu bauen. Und das wird ein Stepping Stone dafür, dass man Ausschnitte unserer unserer Infrastruktur sehr schnell und wiederverwendbar hochzieht. Und dann gibt es eben auch die Option, containerisiert Agenten laufen zu lassen und die alle zusammen in einem sehr geschützten Raum zu haben, wo dann auch Parallelisierung auf einmal interessanter wird. wenn ... exklusive Testumgebungen nicht billig zu haben sind, ist eben auch irgendwann Work-Free-basierte Mehrfachnutzung von Repositories beschränkt, wenn man die Integrationstests am Ende nicht unabhängig voneinander laufen lassen kann. Das dann irgendwann in Geschwindigkeitsbeschränkung. Das ist ganz definitiv einer der nächsten großen Punkte. Sehnsvolle Tests Ende zu Ende. André Neubauer: Hm. Florian Thiel: zu finden, wie wir uns da positionieren, wo für uns der Sweet Spot ist zwischen Aufwand und vor allem Geschwindigkeitsgewinn durch AI. André Neubauer: dann haben wir das auch nochmal mitgenommen. Sebastian: Ja, in Anbetracht der Zeit würde ich tatsächlich auch sagen, sollten wir langsam wie üblich auf die Zielgerade einbiegen. Vielen Dank erst mal schon mal bis hierhin. Das war extrem spannend und ein bisschen auch schön zu sehen, dass so bestimmte Dinge sich dann doch nicht ändern bzw. auch was ja auch irgendwie auf der Hand liegt, dass viele Investments, früher mal getätigt wurden, einfach immer noch sinnvoll sind. gerade so Branch Protection und Vier Augen Prinzip und so weiter angeht. Genau, wir haben noch zwei Segmente zum Abschluss und das erste ist immer The Reality Check. Da geht es darum, welche What the fuck Momente unsere Gäste so erleben in ihrer täglichen KI Realität sozusagen, aber auch was gerade der heißeste Scheiß ist. Genau, hast du da was? Florian Thiel: Ja, hier habe ich keine Hot Takes für alles. Also größere Enttäuschung von AI habe ich schon länger nicht mehr erlebt. Was mich ein bisschen nervt, ist so Agent Sprawls. Also jeder und sein Hund hat jetzt einen Agent und es gibt keine Gemeinsamkeiten. Also Linear, unser Ticket Tracker, hat einen Agent, der ist auch ziemlich gut, aber Dafür muss man Skills bauen und die sind dann halt da. Der Slackbot hat einen Agent, Gemini hat einen Agent, Cloud hat einen Agent und alle... Also diese Wiederverwendbarkeit und Plattformisierung ist dann auch nicht da und man muss deswegen auch passen, wie viel Agents man parallel verwendet und vor allem, man dann... Wie das bei uns gerade der Fall ist, dass man nicht alles mit allem verbinden kann aus Compliance-Gründen. Wechselt man hin und wieder mal Agents, das regt einen dann schon auf und da hofft man auf Besserung. Ja, ist im Moment so mein Head Peaf, womo ich denke, das könnte man eigentlich mal besser machen. Und Ähnliches gilt für Kontextmanagement, Kontextmanagement, was wiederverwendbar ist. Kommt auch bei den Predictions nochmal wieder. Ich glaube, dass sich da was tun wird, weil sich da was tun muss. Sebastian: schießt doch gerne gleich los mit der Prediction. ⁓ André Neubauer: Vor gerade sagen. Prediction. Florian Thiel: Ja, also ich glaube, ich glaube, Dinge, die wir jetzt kurzfristig sehen werden, sind einmal Test-Harmesses und viele Produkte, die eben das sicher machen, Agenten lange laufen zu lassen und gute Signale zu erzeugen. Das wird natürlich nur Grundlageninfrastruktur sein, weil das immer sehr spezifisch ist, was man da wirklich braucht. Und das andere ist eben Kontextmanagement, Kontextmanagement über Modelle über Agenten übergreifend in einigermaßen standardisierten Formaten, sodass man das mitnehmen kann. Und vor allem viel wird passieren, glaube ich, in Unternehmenswissen an Agenten weiterzugeben, an LLMs. Wir haben ein paar Leute, die da gerade mit experimentieren, mit Meeting Notes, Decisions, alles, was so in der Company passiert. Was ist ein vernünftiges Modell? Das. für die Nachwelt aufzuheben. Vor allem auch, wenn man sich ⁓ Entscheidungen kümmert, die sich hin und wieder mal ändern. Entscheidungen, die revidiert werden wegen neuen Informationen. Das sind interessante Herausforderungen, weil die LM Twitter Legends gut sind, mit staatlichen Informationen umzugehen, aber mit dynamischen Informationen, die eine temporale Komponente haben. Das wird sehr viel interessanter. Oder ich glaube, wir werden da Produkte sehen, möglicherweise auch Spezialkontexte, die in Spezialdomänen sind, die man vielleicht als Zusatz-Powerpack für seine Agenten dazu mieten kann. und wie man die Agenten an seine Systeme und Geflogenheiten anpasst. Sebastian: Interessant, ja, ich hab da sofort im Kopf. Also wenn ich mir jetzt so. Mein Projekt angucke, da habe ich versuche ich genau das auch zu gewährleisten. Das ist im Wesentlichen einfach eine Mischung aus Skills und natürlich dem. also dem Workflow, den ich benutze und dem Code, den an dem ich baue, den das kann funktioniert per se sowohl mit Cloud Code als auch mit Antigravity als auch mit mit Codex und dann am liebsten mit meinem Pi. Harnes. Genau und zusätzlich natürlich noch CLI's für bestimmte. Sagen wir mal als Tool einfach eine CLI, die vielleicht auch noch mal Zugriff auf bestimmte Informationen geben kann. Aber du hast schon recht, ist noch relativ gefriegelt und längst nicht. Es ist halt sehr techspezifisch, dass es längst nicht für andere Wissensarbeitsbereiche nutzbar. Da könnte schon noch was besseres geben. Florian Thiel: Meine große Herausforderung ist es, meine tägliche Managementarbeit nützlich zu machen. Die hängt sehr an einem System, was eigentlich ein fortlaufendes Journal ist, was mit Personen und Ereignissen getaggt ist. Und darauf einen Agenten anzusetzen, der mein persönlicher Coach ist, das ist mein Seitenprojekt im Moment. Und ich glaube, da ... Da ist noch viel zu holen, aber da ist auch noch viel Arbeit zu leisten. Vor allem den ganzen Tool-Spral, den man dafür braucht. Ich habe eine zentrale Quelle, wo alles, was so passiert ist, drin ist. Aber natürlich linkt das raus nach Linear in Git Repos, in Slack-Conversationen und so weiter. Es passiert dann doch ziemlich viel an so einem normalen Tag. Sebastian: Ja, genau das hatten wir mit Uli von Mapbox eine Diskussion. Für den ist das im Prinzip mit Claude Desktop schon Realität. Also der hat im Wesentlichen seine eigenen Notes. Ich weiß gar nicht, wahrscheinlich als Markdown irgendwie lokal dann auf dem Rechner zu liegen. Hat Zugriff, ich glaube noch nicht auf GitHub, aber auf jeden Fall. Ich glaube, die nutzen Slack, nutzen Notion, nutzen André Neubauer: Ja. Sebastian: Ja, also auch Gmail, glaube ich, hat er alles verlinkt sozusagen und darüber kann er relativ schnell dann auch jetzt, wenn es ⁓ die Vorbereitung von einem Feedback-Gespräch geht, kann er sich relativ schnell alle relevanten Interaktionen, Datenquellen ranziehen und daraus dann ja, einen Feedback auch. iterieren mit dem Agenten zusammen. Das klappt relativ gut. Florian Thiel: Mhm. Sebastian: Vielen Dank Florian, es war wirklich spannend und ich finde auf bestimmte Art und Weise sehr cool und erhellend und auf andere Art und Weise dann aber auch wieder sehr pragmatisch und total logisch. Das macht alles total Sinn und ja, also es macht nicht viel Sinn, irgendwie anders zu machen. Von daher. Klingt sehr cool und gibt auch nochmal viel irgendwie Anstoß für weitere Gedanken sozusagen. Vielen Dank. Florian Thiel: Sehr gerne, das war mir eine Freude. Sebastian: willkommen zu einer weiteren Folge unserer neuen Staffel von HMZE Beyond Vibe Coding, der Podcast, in dem wir den fundamentalen Change in der Softwareentwicklung begleiten. Ich bin Sebastian Heidemeyer zu erbem CTO bei NorthIO. André Neubauer: Und ich bin André Neubauer, CTPO bei Trusted Jobs. Schön, dass ihr wieder da seid. Heute zu Gast Florian Thiel, seines Zeichens Engineering Director bei Abwest, einem Startup, Fintech Startup, rum. Und auf Florian sind wir aufmerksam geworden, weil er bei LinkedIn einen spannenden Artikel, Bidding with AI at Abwest veröffentlicht hat und Da haben wir gesagt, den laden wir uns ein und fragen ein bisschen aus. Sebastian: Genau und Florin erzählt, warum die strenge Regulierung, ja so ein Fintech normalerweise, der so ein Fintech unterliegt, sich für Abwest sogar als Vorteil erweist. Jetzt gerade im AI Zeitalter und wie pragmatisch die Firma das Thema Agentic Engineering angeht. Eine super spannende Folge. Ja, zieht sie euch rein. Freut euch drauf. Viel Spaß beim Hören.