Latest / Beyond Vibe Coding / #S2.10 When Coding Agents Ship at Machine Speed, AppSec Has to Move Into the Loop - Jan Brennenstuhl
Transcript
- Sebastian: d you don't know each other? Question mark André Neubauer: We don't. Jan: I mean, I know Andries Sebastian: I didn't know that. Jan: name because he's, least when I was at Scout, he was a living legend still. And there was still people talking about Andry. Sebastian: I'm glad we have this on record. André Neubauer: Okay, now we have the outtake. Sebastian: Welcome to another episode of our new season of Beyond Vibe Coding partnering with Impala Search. André Neubauer: The go to tech and executive search agency in Germany. Sebastian: In this podcast, we explore the transformational change in software engineering and knowledge work in general. I'm Sebastian Heidemeyer at CTO at North IO. André Neubauer: And I'm Andre, CTPO at Trusted Shops. Great to have you back. today it's time for a tech talk. Really looking forward to that. together with our guest, we finally start exploring the security space. Sebastian: Yes, Jan Brinnstuhl is a former colleague of mine and has been specialized in security for the most part of his career. He shares his thoughts on security in the agentic software development lifecycle about his own setup. Very interesting insights, even though, as you will hear, I have to leave the episode halfway through, unfortunately, but I hope you still enjoy the episode. Welcome Jan to our episode. I'm super happy to have you. We have been working together at Imobean Scout. Not super close, but anyway, we knew each other. And I also learned that you knew André before. And super interesting topic also for our new changing software development lifecycles right in the agentic world. Security will be the topic today. Super interesting. But before we jump into the topic, please introduce yourself to our listeners. Jan: Thanks for having me and for the invitation. It's my first podcast appearance. So I'm super keen to try this out with you together and learn from you also how this works. My name is Jan. I was born and raised in Berlin in the East part of the city. I'm still living there. I'm born and still living in Freelsheimer. I have a wife and a two year old daughter. software engineer by heart, I would say. And I'm currently working at the intersection of application security, platform infrastructure, identity, kind of holy trinity of platform capabilities, I would say. in the past, I was mainly involved in various parts of of e-commerce funnels. but there was always like this, this red thread in my CV is basically security. It's always, always somehow related to security or identity topics, access control, these kinds of things. So this is how I ended up here. fashion e-commerce platform at the moment. I have to say that I'm here today as an individual and not as a representative of any company that I've worked for in the past. So yeah, let's get this started. Let's figure out what changes in application security with all this new agentic era stuff. Sebastian: Yes, let's do so. And thanks for coming on the podcast. But before we dive into the main topic, we always want to hear how our guests are working currently with AI. So could you please explain how you utilize AI, how you work agentic in your day-to-day work? Jan: Yeah, sure. would say basically to 20 hours a day, the agents are running and doing things. That's my reality at the moment because they basically work when I sleep or they also often or commonly run nowadays also on the weekends and prepare stuff for the next week basically that I would then review on Mondays or something like this. André Neubauer: When did you wrote your Jan: Local code. André Neubauer: last? When did you wrote your last line of code? Jan: By hand, mean? By hand, André Neubauer: Yeah, so really classic, Like, so the way we did this back in the days. Jan: I updated the configuration file earlier today by hand and I André Neubauer: Okay. Jan: even committed by hand. It's not that it's completely vanished, These things are still there and for super narrow changes, I still tend to open some editor and just do it myself. Most of the part is larger than that. so, yeah, I have my various fleets of local agents running. basically grew up with Claude code like end of last year. This is how it all started for me. I think when Sonnet and Oppos was released, I think that was the kickstart because before, I always had like this perspective that, This will never fly. know, my prediction, like for the predictions later, you know, don't listen to my predictions. Sebastian: Yeah. Jan: It's like, like this, you know, I learned the hard way and, then really quick like that, it's actually useful. yeah. And nowadays I would even say the model doesn't matter too much. It's more the harness that you should invest in. know, that's something I learned over the last, since November. but yeah, I commonly use PI and or, my PI at the moment locally for development. It's just, I'm switching back and forth. because I'm, there's various things that I'm happy with in the one tool and others that I'm not so happy with in the other. but, yeah. Yeah. Sebastian: Curious about that. Curious about that because I I also tried OmaiPi. There was something in my setup that didn't work out of the box and then I I scrapped it and went back to Pi. But it read like OmaiPi is like an improved version of Pi with some additional batteries included. But what are the pros and cons from your perspective? Jan: I I would say it's closer to Claude in the sense of that it's easier for beginners to onboard because it brings you all the nifty tooling that you want to have as, you know, available. But the problem as with Claude is like the catalog of features is so large that you barely use half of it. And the same is for OmaPy. It is basically rather opinionated. I don't know, I tend to select carefully some extensions for my Py. that bring it close to feature parity, like in the sense of like the features that I would use from OhMyPy. And then basically I don't need to André Neubauer: Okay. Jan: carry all the rest. That's basically the difference for me. And for Py I have like some kind of sandbox setup that currently works. Not always, but most of the times. And for OhMyPy I usually use it as the no sandbox version basically of my Py infrastructure. Sebastian: That's interesting. So so are you using different features there then? Or is it purely like one is your serious sandbox environment and the other is like Jan: Yes and no. know. Like I saw it from today, making UI tests work, like enabling my Pi to run my sandboxed seatbelted Pi to run UI tests using a Google Chrome browser is not something I could easily get working with my Pi setup. So I basically didn't use minus minus no sandbox flag and restarted my Pi, but I basically switched over to all my Pi and just did what I wanted to do over there because I know, okay, basically there's no serious sandbox. It just does this one thing and then I basically switched back. That's the thing. And as I said, they have almost feature parity, I would say, on my machine. that's what I do. There's no real reason. I think there's no good reason for why I have this. It's like historically grown and I'm still, I believe not decided on what direction I want to go. I tried out, as I said, Claude in the past, I tried out OpenCode and I now stuck with Pi. a big, like I, at the moment I like it most to be honest. But certainly it comes with all this overhead of you have to pick your own stuff to, you know, to work efficiently and effectively with this and. Then it comes with all the nifty details of extension, compatibility and these kinds of things. It's really like this ecosystem is so huge that it's really hard to figure out what you should install and what extensions you really need. Where there's overlap, know, your extension registers for certain tool invocations or stuff like this, you don't want to have multiple extensions doing the same stuff or like similar stuff under the hood. And there is also incompatibilities and that's, you know, where people need to juggle and there's a lot of trying out, which is like a bit cumbersome, but, and better than My Pies shines because it brings you like this fully fledged thing that just works. but, yeah, half of, as I said, half of the features you don't need in your daily life. André Neubauer: One more question to that. you using any skill framework or spec driven framework to do your work? So now we discussed the harness or partly the harness. Another aspect of that would be also then skills. Is there Jan: Yeah. André Neubauer: anything you use in that regard? Jan: large project that I was involved with over the last half a year is heavily leveraging Speckit. so there's a lot of, I still try out a lot of things. I have on my list to try out beats from Yaggy for ticketing and these kinds of things. There are so many tools that are published, you know this better than me, I guess. that it's really hard to find the time to try out all the things. depending on the size of the project, I would suggest to use something like Specket or any Spectrum or other framework. At least for our setup, in our setup, it turned out to be rather useful on the long run. It's super cumbersome to set it all up, know, and, you know, constitution here and basically all these guiding principles defined over there. And if you, you know, leave it to the agent to define all of this, you don't get anything. You have to put in some manual effort to do all of this. then, you know, it, will help out on the long run, but, kickstarting, is really hard. Or like not hard, but take some effort and it's not a nice party, you know, not this. dopamine driven agent interaction. It's basically really writing text on how you expect things to happen. André Neubauer: Yeah. So I was wondering and why I asked specifically on, that point, because you, as you just mentioned, the spec driven frameworks tend to be a bit heavy, right? In the use, where they're, yeah, front loaded. think that is a good, Jan: At least front loaded, yeah. Front loaded, yeah. André Neubauer: yeah, it needs it. Yeah. Where I think there are also a couple of lightweight, more lightweight skill frameworks out there, which like help you producing better without this heaviness. At least they promised us. think they met pork hog skills. think that is going in Sebastian: What are you referring to? the Matt Pocock skills? Yeah, the grill with dogs. Yeah, that's that's great. Yeah, that's great. André Neubauer: that direction. It's at least also on my list. I heard a lot positive from friends and network. I was just curious now where we have the chance to Jan: Yeah, I mean... André Neubauer: to talk to a real engineer, Jan, you need to know. And usually we talk to leaders and managers, right? So they also claim that they are coding, but they're not coding for money, right? So they're doing this for fun and they're not tripping to production. So now we have the chance to talk to a real engineer. That's why the questions. Jan: Yeah, at least from my perspective, I'm not involved in too many greenfield projects. you know, this project I referred to, like, where we tried out Specket basically was one of these rare occasions where we basically build something from scratch. And they had made at least from our perspective, complete sense to, you know, use something like Specket or like, you know, some kind of framework that guides the stuff. it was, as I said, like a good, like I would say retrospectively, a good decision to do it this way because These projects, tend to, know, code wise, tend to get out of hand, lines of code wise, they tend to get out of hand nowadays. And, you know, you add so many features in like no time basically. And it's good to have these guardrails somehow set up through the specifications and also have the agent or enable the agent to verify that future changes don't violate, you know, any stuff that you did in the past already, these kinds of things. But the larger point of, well, the larger share of the work I do is basically smaller extensions to existing software, would say, small and large extensions. And often, you know, these are code bases that if you're lucky, they are already, you know, They already carry some agents in the other vectors. But often, that's totally grown code bases. then I don't need the overhead of fully planning out André Neubauer: Yeah. Jan: or specifying basically a new capability when it changes basically. And five file changes for the vectors. So it's like, as much as I would love to try André Neubauer: still context matters. Jan: it out and play around, I'm, you know, The opportunities are just not there to try all the available tool and like 50 billion new projects every week. that's not it. Unfortunately also not for an engineer. André Neubauer: You Sebastian: yeah, unfortunately. one one final question. you mentioned in this section, at least you mentioned that you're running your Pi in a sandbox. Can you describe the sandbox a little bit? Jan: I use a Pi extension, called Pi Landstrip. Landstrip is basically supporting multiple OSes. For Mac, it uses a seatbelt under the hood to wrap the process in the OS sandboxing. There's other sandbox, of course, it's a huge topic. We come to this potentially later also. There are so many... Sandbox solutions that also, you know, popped up everywhere. I think there's a couple of one like more popular ones that seem to be reasonably well distributed at the moment. So there is a higher chance that they, you know, that they do what they're claimed to do. But yeah, I think no one has a really good solution and it's basically single engineers like me who try out different things. And at the moment I use this PyX engine. that does this basically when Py starts it basically wraps it in seatbelt and then that's already better than most of the stuff that I did in the past with other tooling. It's so fun that you learn this the hard way, right? So the first time the agent goes completely mayhem, you learn that you should have something like this. But before and it's basically all like it's the same problem like with Spectrum development, I would say it's like so front loaded to set it As I said, it's Sebastian: Mm. Jan: also so hard. You just want to have the agent, ability to understand why certain tests are failing and you cannot do it because it's just not allowing the agent to spawn up a browser and run the UI test. And it's so hard to configure, right? And then you occasionally run into this, I don't know, I cannot write into my M2 maven files or I cannot read from something. Every time you interact with this until you poke too many holes into it and it's not useful anymore. It's still so early, I think, the tooling as well, like in early stages that there's a lot of usability and missing and there's still too much friction, I think, for these things to be really useful for people. At least that's my... own experience with working this while being someone who's interested in this. I would say 80 % cases not, you know, until they have no problem. They're not interested in these things. And it's, there's a reason why the larger harnesses don't ship like hard sandbox things, right? So it basically affects your experience hard and you know, you want to have people use this stuff and not, you know, push them away by having two strict rules on what the agent can do and whatnot. But of course in an enterprise environment that is, yeah, it's somehow important to find some guidance or rules or whatever tooling solutions for these things. Because the next prompt injection and whatnot is just around the corner, I would say. Sebastian: Absolutely. Yeah. I mean in these cases you hopefully have the guardrails in place already in terms of accesses. So what what what systems can a person access, right? So what accesses are or how are these systems protected? So you have some guardrails already, but still you wanna ensure that also on the machine of the of the developer, yeah, nothing nothing horrendous can happen, right? And that that's actually a great segue into the main section, right, of this podcast episode. So maybe to start off briefly, so a couple of weeks ago you posted on LinkedIn, or put the post in the show notes about a talk I think you held at the HTW in Berlin, it's a university of applied sciences, about how your or about your perspective on the changing security environment in the agentic software development lifecycle, right? So that's that's how I would phrase it as a headline. Maybe it's you you would phrase it differently. But that caught my attention and I thought like, well, that's a great topic because security actually has not been a topic very much at this podcast, actually. And and it's also something like you mentioned, right? Most people just wanna have something working and it's very cumbersome to get this Right. So I thought this is a great topic for us as well. And yeah, it would be great if you could briefly introduce or like summarize your thoughts on security and then we can get into a discussion. Jan: Sure. So also at HTW, I was speaking as a private person and I was basically invited university members, member of staff who is taking care of the cybersecurity course they have over there. And the trigger was basically some blog posts I published on the future of application security and the people working in application security in the agentic era. Because I, you know, I would say agents and AI and all the tooling that comes with this and all the changes that we see happening in our industry, they are completely disruptive and they are of course also not stopping in front of the information security department. I basically expected that there will also be disruptions there and I just brought down some thoughts on this basically and then they basically invited me because the... For the next generation, it's super interesting to understand how their lives will change. Just imagine there is now students that grew up with AI, basically, and AI being available. They didn't grow up with it. They started their university career with AI being available. And what they want to know is how does the work change? What is the focus? what is security doing in the future if large parts are taken over by agents and larger models and these kind of things. So I talked about this André Neubauer: was ist Ihr Ansatz hier? Was ist Ihr Ziel, wenn es Anbieter- und Anbieter-Aplikation Jan: Im Alter der Agentik-Engineering André Neubauer: Agendig Engineering Jan: wird es immer mehr wichtig. Was wir in den letzten Jahren in der Profiszeneinheit ist jetzt noch mehr wichtig. Die Agente haben die Pace wie schnell wir uns anzupassen Was den letzten Jahren ist, Die Anwendungsverfahren sind mehr mehr ein englischer Job. André Neubauer: Practice Jan: Es nicht mehr die Anwendung von Tools oder die Anwendung von Polizisten. Es mehr die Anwendung von Tools, die Anwendung Integration, die Anwendung von Engineers im SDSC. Ich denke, ist etwas, das wir für uns zu schnellen André Neubauer: Yes. Jan: weil die Agente uns fordern. Das Gleiche Mit Agente als Sache heute, denke was sich das Pace in Implementation. Es verändert wirklich, oder sie nicht wirklich über die Die Wissen arbeiten, würde sagen. mehr so wie die eigentlichen Implemationen. Zumindest, sie das noch tun. Es geht meist Implemationen. Was wir sehen, ein riesiger Wandel an Lagen von Koden. Und, Commits und GitHub verliehen von all dem. Und es so viele Repositoren, bla bla bla. was das bedeutet, dass die klassischen Approaches in der Anwendungsverwaltung Du hast irgendwo Gate, das Kode wird dann und dann jemand darüber dann wird ein Ticket gesponsert und dann jemand informiert und dann es Feedback Loop in GitHub oder so. Aber es ist eher aus dem Ticket und es läuft auf einer CIACD-Pipeline oder so. Wenn es ein Teil des Verkaufs oder es gegen die Verkaufsverkaufung dann es ein paar Tickets. Mit den Agenten ist das gut genug. Es war gut genug in der Vergangenheit, würde sagen. Aber da war der Tempo menschlich und es hat so viel Jetzt sind wir unter Druck, weil die Verkaufsveränderung so schnell dass man nicht mehr Dinge, die bereits ausgedacht wurden, Und du hast ein Hintergrund für das Verkaufen, das sich immer Ich würde sagen, dass Detektion nicht mehr Problem Die Mitigation ist das eigentliche André Neubauer: Absolut. Jan: Thema und wir müssen diese Situation auf dieser Ebene André Neubauer: Ja, Seiten Ich denke, eine große Zufallung auf der Code-Generation-Seite. Ich denke, es ist natürlich, dass auf der Schutzseite so zu Ich frage mich, und Sie haben auch einige Gedanken darüber, wie Sie das betrachten. Ist das mehr Tooling, mehr Menschen, mehr Prozesse? das ein Wie können das Challenge. Jan: habe irgendwo dass Lösung ist, überall Sicherheit zu Was bedeutet das? André Neubauer: Shift-Left. Jan: Schützen zu lassen ist, wie viele Leute wissen, schützen zu lassen. Das haben über die letzten Jahrzehnte Ob es SRE, Operation oder der Sicherheit schützen alles an die Seite und alles wird auswärts, weil jetzt diese Themen jeder Verantwortung. Also jeder dafür erholt. Was ShiftLeft uns gesagt hat, wer Sicherheit Und denke, das nächste Ding ist, verstehen, dass wir auch... Wir in andere Was ich hier ist, dass wir besonders in die Plattform und die Standardisierung die Umgebung für welche sicherheitsrechte Entscheidungen Teams eigentlich nehmen Wenn wir links sollten wir auch links damit sie weniger Schlechte und weniger Entscheidungen André Neubauer: Less. Jan: machen, oder zu verhindern, dass Die falschen Entscheidungen werden getroffen. Und falsch ist hier ein übergestaltet. Es so, dass es nicht wirklich egal Ich denke, die Entscheidungen werden getroffen, solange es sich an ganze Flotte Und Idee ist, Agente Es die Bösen aber auch die schlechten Teile in unserem Ecosystem dem Code, wir Das Problem ist, dass schlechten Teile, die Antipatternen Landscape die mehr angeboten von den Agenten ihrem Lösungsverfahren der Implementationen Das ist etwas, das Sie sich verbreiten Das ist nicht nur für Security, sondern auch viele Plattform-Tipps. Aber natürlich ist ein Teil dieses grundlegenden Infrastrukturen. André Neubauer: Ich dass Frage, dass die Schifte nach zu Endgabe das entsprechende Verantwortung Ich denke, unter Schiften Ich denke, Sie die Schifte nach unten Ich denke, dass wir auch in anderen Bereichen und vielleicht ist dann eine gute Beziehung zu sagen, ist, dass es auf geschlossenen Niveau was die Unternehmen meistens als Plattform Also, in die es für alle eine gewisse Qualität Das etwas, noch, wenn man sich Sicherheit auch wieder mit der Beziehung zu Cloud, ich denke, das Cloud-Tipp ist, Es für mich sich mit der Sicherheit Ich denke, dass ja, ist auch Thema für sich selbst, aber die ist überall. Also, dass du die richtigen Entscheidungen oder die Plattform die richtigen Entscheidungen ist eine gute Beziehung, weil es ... Die Menschen sind nicht im Loop, sondern im Loop. Ich denke, das wundervoll. Oder du lachst. Jan: Ich würde das Ich mag das Wörter, das du in jedem Newspaper Aber die Frage wie man ist das eine Sache. Plattform-Sanitisation für viele Dinge. Ist es wirklich notwendig, dass Teams custom-deployment-Pipelines André Neubauer: No! Jan: Ist es wirklich nötig, die Mannschaft über die Basis-Imagen sie sich anbieten Ist es wirklich nötig, blablabla. Das geht in so viele Themen. Für viele dieser Fragen ist die Antwort nicht wirklich. Und kann sich sichere Standards Und Idee ist, dass die einfachste Lösung, die auch sicherste Lösung Weil das Inzenteil André Neubauer: Punkt. Jan: für Menschen und Agenten das gleiche Das ist Teil der Least Resistance. Das Inzenteil ist, wenn du etwas Kustomes dann solltest Zeit und Effort Und etwas Kustomes bedeutet hier, dass es etwas von Plattformen oder nicht so sicher Das ist die Idee. Und der anderen Seite... Ich halte Agent-Harnisse als Plattform. Das basically Tooling, wo glaube die Anwendung und anderen Themen. Es muss ein Teil der Läden der Agenten Sie müssen beobachten, wie sie tun. Es sollte keine Asynchronus-Prozesse die irgendwo in CACD in der Produktion Es sollte, während der Verkaufszeit, die Agenten in die richtige Richtung Hier haben dann ich weiß die Möglichkeit, und Anfragen auf den Entwicklungsmachinen, in denen die Agenten laufen, die Feedback in die Lüfte die richtigen Wissen, die richtigen Wissen, besonders in größeren Kooperations. Ich denke, es viele korporate Unternehmenswissen, Architektur, beste Praktiken, all diese Dinge müssen zur die Agenten in die richtige Richtung die zwei Dinge. Für Anwendungs- und Sicherheitsingenieure ist das dann ein Grund, wirklich ein realer Engineer Denn nicht das Define, was ich gerade gesagt habe. Die Anwendung muss sicherer und es sollte sich einem randomen CII-Tool Aber es das Es geht die Integration André Neubauer: Okay. Jan: und die Anwendung von die ganze Population von Enginesen, die dazugehören. André Neubauer: Ich frage solche Sicherheitsverwaltungen, Mehrheit der Unternehmen, also nicht die Unternehmen, mittelbe Linie, aus der Box sind. Kennen Sie die Tools oder Verwaltungen, die Jan: Ich Injectieren der richtigen Wissen in die Hand ist, glaube Problem, das viele Menschen im Moment Ich meine, André Neubauer: Ja. Jan: gibt all kinds von Ansichten und es gibt Leute, die MCPs vor ihren, ich weiß Wikis und versuchen, diese Wissen zu die hoffentlich nicht Solche Sachen. Aber ich würde sagen, es ist Die ist ein Teil. In der geht die Aufmerksamkeit die Anführung der Agenten in ihren eigenen Lüften. Es gibt spezialisiertes Tooling. Es Skill-Framework, Skill-Sets, die Agenten in rote oder blühe Teamereinheiten codebases oder Setups. Es Threat Modeling, Skills, alles in diesem André Neubauer: Hm. Jan: Sinne. Aber wenn man wirklich über Software Engineering wie Produkte zu will man das nicht... Es kein Sicherheitsverharm, sondern einfach eine Anerkennung, Wissen, und Tool, das hoffentlich die richtigen Dinge André Neubauer: Ja, es ist mehr der Witz und wie du verbreitest, als spezifisches Tutoring, auch wenn es die Bandwerte von Themen sind, super breit Du musstest bezeichnen, was wir hier reden. Was ist eigentlich der Sicherheitsaspekt, wir verbreiten als es sensibel in deinem Schaden Ja, das habe ich. Jan: Das ist das dass wir nicht an die Sicherheitsfindung haben wollen. Wir wollen es so früh wie möglich Das die gleiche Schifflichtidee. Die meisten linken Teile sind im Moment im agentischen Loop. Der Agent sollte die Probleme und verhindern, wenn sie arbeiten. Und eine Stunde später oder zwei Tage später. Das ist nicht das, was wir brauchen. weil, zumindest aus meiner Sicht, das ist der einzige Weg, wie man dieses immer mehrführende Hintergrund Findens, das man momentan kreiert, diese Flut von Lagen von die jederzeit André Neubauer: Ja, wenn wir Fakten in der Lübe, alles in der Lübe, von den Agents hat infinite Kapazität. Ich würde bisschen mehr entspannt sein, auf die linke, linke, linke, linke, linke Ich denke, es muss overall mehr links und rechts so früh ist besser als später. In einem Welt, wo ... wirklich nur auf der Lübe und bestimmte kritische Dinge dann ist die Limitation euer Kreditkart. Wenn man genug Kapazität genug Budget, kann man eine Flucht von Agenten die sich dass es Lüge mehr Ich denke, ist auch Wast der Kapazität. Je früher, desto besser, glaube Jan: Ja, also aus dem Mitigation her, natürlich. Agenten sind die Grundlage für viele Probleme, aber diese sind nicht einzigartig für Agenten, sondern die Agenten sind nur auf dem Pace. Die Hintergrundschritte waren bereits drei Jahren, aber es wurde auf dem Pace Und jetzt es all diese Flutrationen. Und auch neue Lösungen, von Agenden von Agenden die man niemals übernommen hat. Infrastruktur wird immer mehr heterogenös. Das macht viele Dinge. Und natürlich die Lösung auch mit den Agenden Natürlich zählst du auch die Flut André Neubauer: Absolut. Jan: mit den Agenden. Aber es ist noch ein reaktives Das Du hast dann ein Findung, dann hast die Agenten, du die großen Mitigation-Kampagnen, die sich automatisch verabreitet. Dann gibt es einen anderen Agent, der verabreitet und dann es jemand anderes, der die operative Dinge verabreitet. Das die Realität, manche Unternehmen schon im Es ist noch besser, von der Erfindung in der Produktion weil sie nicht im ersten Platz André Neubauer: Absolut. Da sind wir nicht zufrieden. Am Ende ist bisschen das Kat-und-Mouse-Game. Jan: Es ist sicher. André Neubauer: Es ist immer reaktiv, das ist die Frage, wie schnell du reaktionierst. Ich denke, du hast einen guten Punkt, mit Mitigation muss es immer links, links, links Eigentlich ganze Anfragen der Anfragen zur nach links, links, links Mitigation in einer fast-paced Manner Jan: Ja, genau. Und diese andere Dimension ist unten. Also, Agenten nie in eine Situation in sie, ich weiß eine gewisse Authentikation-Message Sie sollten nie versuchen, Sie sollten die Anwendung wie unsere Authentikation-Komponenten funktionieren, wie Sie es unterhalten würden. So, das kinder Dinge. das wird eine große und das ist nur eine wie man das jetzt Wie bekommen diese Wissen, die so in die Hände oder Situationen, in man noch die Standardisierung in der Plattform Es ist André Neubauer: Ehm. Jan: wirklich schwer, Ich denke, der dass Organisationen mit starken Engineering, und das heißt, dass man sehr gut dass was die Agenten getan haben, ist sicher und und Richtige. Das sind die Organisationen, die sich anstreben. Wenn man auf dieser Seite ganze Agenten-Titel. Wenn man nicht vertraut, was sie tun, dann kann man es nicht verhindern. Man kann es zu einem gewissen extent aber man wird auch einem Punkt André Neubauer: Ja, absolut. Jan: Wenn man dann keine Standardisierung die Sicherheit und nach unten dann man... Ich Ganze André Neubauer: Ja, Sinn. Und Sie haben einen guten Punkt hier. Die Anwendungsverfahren sind nicht nur technische Aspekte, sondern auch Geschäftsrequiremente, wie Sie es gerade die Authentifikation. Es ist also mehr Geschäftsrequiremente als technischen Aspekt. Es verbreitet sich technische Aspekte. Aber ich denke wirklich Die Anwendung Handelsstelle, wie end-to-end, allen Aspekten, auf allen Dimensionen, so zu sagen, ist, denke auch guter Take-away hier. Jan: Ja, In den frühen Tagen, also nicht zu weit vor, aber ich immer hinter den größeren Modellen den mehr kräftigen Modellen Und was ich über die letzten Monate habe, dass Bekannteigungsfaktor eigentlich die Handlung ist. Du kannst viele Dinge die der Modell Wenn der Modell in ein komisches Problem-Space und versucht, Dinge die man nie erwartet hat, dann man die richtigen Wörter Das bedeutet natürlich, dass alles Tooling, alles an der Zeit Wissen, Wissen, alles Ich dass ganze Hype ist, dass wir alle Tier-Zero Modelle Es ist nicht notwendig, das wenn man einen ordentlichen, kompatibel geplanten Setup André Neubauer: Ich denke, es ist auch mein Ansatz. Harn ist mehr wichtig als das Modell. Ich immer schockiert, aber es ist immer beeindruckend, die Entwicklung Aber ich denke, es verbreitet nicht Produktivität wie das vorherige Modell. Also der Breakthrough, Sonnet, Opus. Ich denke, das war wirklich ein Schritt hoch. Es sicherlich bessere in den Benzmark, aber es verbreitet nicht so viel in die besseren Ergebnisse, eine höheren Produktivität usw. weiter Aber seit ich Sie jetzt auf dem Show die Sicherheitsanwaltinnen, muss diese Frage Hattest du Angst vor den Möglichkeiten der neuen Modelle, sagen mal, Fabel 5, als er ausgeliefert nachdem all die Nachrichten das Hattest du Angst vor Jan: Ich bin nicht schämen. Ich bin nicht schämen, es neue Tools gibt. Es ist immer ein wie man es benutzt. Es gibt eine gewisse Asymmetrie. Du hast es in der letzten Hugging-Phase wo sie nicht was eigentlich passiert ist, Die Modelle, die sie hatten, haben sie würden analysieren, weil es eine Schleppaktivität Ich habe sie nicht geholfen, Oder ich habe gebeten, ihnen nicht zu helfen. Auf der anderen Seite haben wir Angriffsteiger, die keine Restriktionen auf ihren Modellen diese Unverwaltungen, diese Asymmetrie, aber das war auch etwas, das wir immer hatten der ist nichts Neues, ist nur, die Anlage der der der Auch mit dem super prominenten Fall, nicht sagen keine neuen Sicherheitsprobleme Sie haben so viele Dinge und die Pace war so hoch, dass sie den Schaden, den auch ein Mensch haben könnte, Aber vielleicht nicht in den Zeitungen von Stunden oder wenigen Tagen. André Neubauer: Ja, Jan: Ich André Neubauer: in den. Jan: nicht schäfisch, ich bin schäfisch, dass beherrschendes Kommandant von einem Verkaufsverband Es sieht so ob die gleichen Ideen hatten, den der Cryptographie wo man keine Krypto-Knowledge aus den USA hat, diese Sachen oder Kryptosolutions. Es hat sich eine ähnliche Idee hinter den Szenen und es hat in der ersten Stelle Wenn ein 12-jähriger Skriptkiddy jetzt durch ihren Elterns Kreditkartein Fabels fährt, gegen ein europäisches Unternehmen ist natürlich mehr Gefahr möglich. Aber ich bin jetzt nicht persönlich Angst. Ich denke, all die Lehren, alle Beispiele, alle Lehren, in der Vergangenheit sind noch wahr. All die Sicherheitsanlagen, die Vergangenheit noch Wir müssen nur etwas Pace aufbauen, zu was passiert. André Neubauer: Ja, das kann auch jemanden schämen. das ist auch der Die Fähigkeiten sind eher auf der defensiven Seite, als auf der applikationlichen Seite. Es ist alle verbunden, ich weiß. Aber ich habe gelernt, Ich Sicherheitsmanager in einem meiner früheren Räume oder Unternehmen. Das total andere Fälle, Vielleicht auch bisschen unfaire Frage. wir uns an. Ich denke, wir haben das hier für die Mietsektion Und für die Zuschauer, die oft zu unseren Videos wissen, dass es... zwei weitere Szenen, die Einer ist der Reallitechek der die Erleichterung. Wir haben die Erleichterung die wir nicht hören Aber werden Jan: Ja. André Neubauer: es trotzdem versuchen. Aber vorher einige Art WTF-Momente heißes Ding. Jan: Die WTF-Momente habe auf regelmäßig. Die Agenten laufen immer weiter. Die WTF-Momente habe wenn ich eine Frage und dann die Agentin und macht Dinge. Ich wollte einfach Antwort Dann schiebe schiebe, Kontrolle C und versuche, etwas was passiert ist. Besonders wenn man nicht im Sandbox-Ergut ist. Das ist meistens mein André Neubauer: Und du beginnst dann alles zu richtig? Wenn du realisierst, dass das sicher falsch dass das zumindest mein Behaviour oder nicht mein Behaviour, aber wie ich in diesen Momenten wo der Resultat sicher falsch frage mich, wie das ganze Werk der letzten Woche Wenn das falsch ist, warum ist das richtig? Aber also, absoluter Punkt hier. Jan: Es ist interessant, sehen, manchmal... kann nicht verstehen, warum man diese Dinge Es ist wirklich schwer, darüber Ich frage mich, ob mein Englisch so schlecht dass so einfach ist, zu verabschieden. Oder woher diese Proaktivität, einfach zu und Dinge ist mir würde zu viel Just gone. André Neubauer: Was ist das Hot Stuff, das Sie gerne lernen Sie haben lange Liste von Sachen zu probieren, aber was würde Sie empfehlen? Jan: Ich so viel Tooling, würde sagen. Toolingweise suche noch bessere Sandbox-Solutions, wie wir bereits Aber was ich super interessiert und wo super glücklich bin, mehr wenn ich die Hardware sind die lokalen Modelle. Und auch super glücklich auf, speziell offenartige, lokalen Modelle. Ich super versichert mit diesen wenn ich das sein Ich auch interessiert, wie das sich weiterentwickelt. Denn heute sind sie fast auf Konsumwerter-Hardware. Es wird näher. Ich hoffe, dass die IPO-Besicht zwischen größeren Unternehmen und den Providern von China und anderen Bereichen Es auch europäische Modelle, alle veröffentlicht Ich hoffe, dass diese Diese Druck resultiert in mehr Innovation auf dieser Seite. Und dass wir alle unsere tollen Modelle zu Hause mit einem guten Token pro Sekunde schnell Das wäre toll und würde auch viele dieser Budget-Änderungen André Neubauer: Ja, müssen definitiv zu unserem heutigen Episode mit Stefan aus Zipgate. Jan: von Zipgewehr. André Neubauer: Sie haben einige Experimente Unterhalt aus dieser Diskussion war, dass es gut ist, das lokal also Werkstatt-Hardware, aber das gibt Ihnen nicht gute Ergebnisse. oder noch keine guten Ergebnisse, nur aus der limited resource capacity. Aber auch auf meinem ... Jan: Aber sie haben eine B300 Nvidia-Tippe. Hacking Face in diesem Fall, sie mussten eine lokale Modelle ansteigen. Es ist ein Nutzungsverfahren. Und gesagt, diese exekutive Kommandos, die nicht mehr das ein Geschäftsverfahren. André Neubauer: Das ist Jan: wo du dir Engagiere oder deine Firma dass nicht verfügbar Jetzt gehst zurück zu den zwei Jahre vorhin Oder André Neubauer: Ja, ja. Jan: du hast diese Fallback-Solution irgendwo und es könnte sogar die im langen Rund, weil die Token-Kreise werden erhöht. André Neubauer: Das war der Grund, warum sie diesen Reisevortrag Es war sehr interessant zu hören, warum sie am Ende für zentrale, aber lokale Modelle anstatt wirklich Werkstattesolution. Ich freue mich diese Zeit, wenn wir das Ich denke, gibt auch paar Open Source größere Modelle auf kleineren Boxen zu beispielsweise die Aktivierung bestimmter Aspekte eines Modells. Aber ja, super interessant. Ich denke, wird einen Impakt auf die Frontiermodelle Ich bin sicher, wie, aber ich denke, die AI, wir sagen es so, wird ein riesiges Thema 2027 Das war meine Prediktion, aber ist es meine Prediktion, sondern deine. Jan: Ich würde in der Software-Engineering-Kampagne Verification die premium Engineering-Kapazität. Verification des Intens. Wenn André Neubauer: Hm. Jan: man als Engineer schaut sich Dinge Du verstehst, was du will, was willst. Und kannst verifizieren, was du willst. Dann wirst versuchen, ich glaube. Du weißt einfach, was du bauen und verifizierst, dass es auch gebaut Ich denke, was verabschieden sind Leute, die Das klingt schlecht. Was verabschieden ist die Nöte, dass Kodewerkerte Das ist mein Präzis. Wir sehen das bereits, also es so viel von einer Prävention. Aber denke, wir werden einen größeren Fokus auf Verwaltungsfähigkeiten Ich denke, was größere Orks besonders tun, dass sie sich in Systemthinker-Räder als Spezialisten, diese Art von Sachen. Und dann M-Shaped-Engineer oder was auch sie wird André Neubauer: Ich glaube, gab guten Podcast über diesen Thema in Lenny's Podcast. Ihr wisst das. Ich glaube, war von Netflix. Genau das Thema. Ich habe das ich habe ein Summary aber ich denke, es geht in die Richtung, die du gerade erwähnt hast. Jan: Lenny's Podcast. André Neubauer: Yes. Jan: Ich nicht so viel in Podcasts. Ich muss sagen, sorry. manchmal André Neubauer: No problem, no problem. Jan: höre ich zu HMZE Podcast. André Neubauer: Danke für die Advertisement. Bevor wir hier stoppen und ich Lenny's Podcast mit euch sollten auch erwähnen, dass ihr auch einen Blog schreibt. Jederzeit postet ihr etwas über Engineering und Anbieterung oder Anbieterung. Wenn ihr mehr lernen wollt, Du kannst, und jetzt es deine turn, wo können wir dich Jan: JanBrennenstuhl.eu ist meine Webpage. poste Artikel dort. Schaut das mal an, schreibt mir Feedback. Es auch Blue Sky und Mastodon so weiter. dort. Ihr könnt mir aufregen, wenn ihr diese Themen ihr in Person im Amsterdam bei der AgentCon eine Gentic Identity Brokerage Das ein Thema, das wir in den Moment Wenn Sie sich wir auch da hinbekommen. André Neubauer: Danke, Jan, dass du Es war wirklich toll, einem Engagierer hier auf dem ja, wie wir immer sagen, sehen uns bald Jan: Danke, André. Ein Vergnügen. Danke, dass ihr mich wieder Ich habe mit euch Danke. Bye bye!