Latest / M365.FM – Microsoft 365, Copilot & KI Podcast auf Deutsch / Die Azure-AI-Foundry-Falle: RAG, Agenten und Evaluatoren gegen Halluzinationen in der Produktion (KI-Synchronfassung)

Transcript

Die Azure-AI-Foundry-Falle: RAG, Agenten und Evaluatoren gegen Halluzinationen in der Produktion (KI-Synchronfassung) · M365.FM – Microsoft 365, Copilot & KI Podcast auf Deutsch

• 0:00
  Du hast geklickt, weil der Podcast sagte, Azure AI Foundry sei eine Falle, oder?
• 0:04
  Hier bist du richtig. Hier ist das Versprechen vorab.
• 0:07
  Co-Pilots stürzen ohne Grounding ab, aber Tools wie Retrieval Augmented Generation,
• 0:12
  REG mit Azure AI Search Hybrid und semantischen Evaluatoren für Fundiertheit, Relevanz und Kohärenz
• 0:18
  sind die echten Lösungen, die verhindern, dass du Halluzinationen als Antworten auslieferst.
• 0:22
  Wir lassen das Marketing-Gelabber weg und zeigen dir das Überlebenshandbuch mit echten Beispielen aus der Praxis.
• 0:26
  Abonniere den M30 auf 65 Show Newsletter und folge den Livestreams mit MVPs.
• 0:32
  Dort findet man die Narben und die Lösungen.
• 0:34
  Und da die ersten Risse meist in multimodalen Apps auftreten, fangen wir dort an.
• 0:38
  Warum multimodale Apps in der echten Welt scheitern?
• 0:41
  Wenn man eine multimodale Demo auf der Bühne sieht, sieht sie maklos aus.
• 0:44
  Der Präsentator wirft ein Textprompt, ein sauberes Bild oder vielleicht eine kurze Spracheingabe ein.
• 0:48
  Und das Modell liefert ein perfektes Diagramm oder ein perfektes Diagrammfassung.
• 0:51
  Alles fühlt sich wie Magie an, aber in dem Moment, in dem du dasselbe in einem echten Unternehmen versuchst, verfliegt der Glanz schnell.
• 0:56
  Demos laufen mit marktlosen Eingang.
• 0:58
  Arbeitsplätze laufen mit Daten.
• 0:59
  Das ist die eigentliche Kluft.
• 1:01
  In der Produktion gibt niemand deinem Modell sorgfältig inszenierte Screenshots oder CSV-Dateien, die von einem Normungsausschuss formatiert wurden.
• 1:07
  Die Personalabteilung füttert es mit verschmierten Ausweisdokumenten.
• 1:10
  Der Einkauf schleppt PDFs an, die bereits die fünfte Fax-Generation sind.
• 1:13
  Jemand aus der Buchhaltung fotografiert eine Rechnung mit einer kaputten Android-Kamera?
• 1:17
  Multimodale Modelle können Textbilder, Sprache und Video verarbeiten, aber sie benötigen gut indexierte Daten und Retrieval, um unter chaotischen Bedingungen zu funktionieren.
• 1:25
  Andernfalls verlangst du vom Modell nur, dass es mit Müll improvisiert.
• 1:28
  Und keine Menge an GPU-Ausgaben behebt das Prinzip Garbage in, Garbage out.
• 1:31
  Hier soll dir Retrieval Augmented Generation, kurz RAG, helfen.
• 1:35
  Einfach ausgedrückt, das Modell kennt dein Unternehmen nicht, also verbindest du es mit einer Wissensquelle.
• 1:39
  Es ruft dein Datenfragment ab und formt die Antwort darum herum.
• 1:41
  Wenn der Treffer präzise ist, erhältst du nützliche von dir die Antwort.
• 1:44
  Wenn es ungenau ist, improvisiert das Modell und spuckt überzeugt Unsinn aus.
• 1:48
  So endet man mit einem Chatbot, der schwört, dein Unternehmen hätte eine neue Q3-Wabber-Richtlinie, die gar nicht existiert.
• 1:54
  Es ist nicht intelligent geworden, es hat nur die falschen Daten gezogen.
• 1:58
  Azure AI Studio und Azure AI Foundry setzen beide auf dieses Muster und unterstützen alle Arten von Modalitäten, Sprache, Bild, Audio und sogar Video Retrieval.
• 2:05
  Aber der Haken ist, RAG ist nur so gut wie seine Daten.
• 2:08
  Hier ist der Punkt, den die meisten Teams übersehen.
• 2:09
  Man kann nicht einfach eine Retrieval-Methode einbinden und denken, das reicht.
• 2:12
  Wenn Ergebnisse stimmig sein sollen, brauchen sie eine hybride Keyword- und Vektorsuche, abgerundet durch einen semantischen Reranker, der in Azure AI Search integriert ist.
• 2:19
  Dadurch kann das System wörtliche Keyword-Treffer mit semantischer Bedeutung abgleichen und die Ergebnisse so neu ordnen, dass der passende Kontext oben steht.
• 2:25
  In ihrer multimodale Einrichtung integriert, kann das Modell plötzlich mit schiefen Scans und unscharfen Bildern umgehen, statt ihre Compliance-Richtlinien frei zu erfinden, stark zu erfinden.
• 2:34
  Sprechen wir nun darüber, warum so viele Einführungen scheitern.
• 2:36
  Unternehmen erwarten vom ersten Tag an perfekte Ergebnisse, planen aber kein Budget für Bewertungsschleifen ein.
• 2:42
  Ohne Überprüfungen auf Fundierung, Relevanz und Kohärenz im Hintergrund bemerken sie Abweichungen erst, wenn die Nutzer bereits frustriert sind, wenn nicht.
• 2:48
  Viele frühe Implementierungen scheitern genau aus diesem Grund schnell.
• 2:51
  Der Output klingt korrekt, aber niemand hat ihn mit der Quellenwahrheit abgeglichen.
• 2:54
  Denken Sie mal nach, Sie würden niemals eine neue Datenbank ohne Überwachung bereitstellen.
• 2:58
  Doch bei multimodaler KI werfen Führungskräfte diese in die Produktion, als wäre sie eine magische Plug-and-Playbox.
• 3:02
  Es muss nicht im Scheitern enden.
• 3:05
  Carvana ist eine der Foundry-Kundengeschichten, die dies beweist.
• 3:08
  Sie machten Self-Service-KI wirklich nützlich, indem sie die Suche optimierten, ihre Agenten fundierten und in Beobachtbarkeit investierten.
• 3:15
  Das machte aus einem potenziellen Spielzeug-Bot etwas, dem Kunden vertrauen konnten.
• 3:20
  Vergleichen Sie das nun mit Unternehmen, die einen generischen Chatbot ohne Fundierung oder Bewertung auf ihre Supportseite geklatscht haben.
• 3:25
  Sie kennen das Ergebnis.
• 3:27
  Garantiefälle als Sales-Leads abgelegt, Support-Warteschlangen überfüllt und die Glaubwürdigkeit zerstört.
• 3:31
  Derselbe Azure Stack entgegensetztes Ergebnis.
• 3:33
  Hier ist also das unverblümte Fazit.
• 3:35
  Multimodale KI scheitert nicht, weil sie nicht intelligent genug ist.
• 3:38
  Sie scheitert, weil die Daten nicht aufbereitet, indexiert oder überwacht werden.
• 3:42
  Füttern Sie das Suchsystem mit Datenmüll, lassen Sie Bewertungen weg und beobachten Sie, wie das Vertrauen schwindet.
• 3:46
  Aber mit hybrider Suche, semantischem Reranking und ständigen Auswertungen können Sie Rechnungen, Verträge, Bilder und sogar ungenaue Audio-Notizen verarbeiten
• 3:52
  und erhalten Antworten, die in der Realität bleiben, statt in der Fantasie.
• 3:56
  Und sobald die Fundierung stimmt, tritt ein weiteres Risiko in den Vordergrund.
• 3:59
  Denn selbst wenn die Datenpipelines sauber sind, kann das steuernde System außer Kontrolle geraten.
• 4:04
  An diesem Punkt ändert sich die Fragestellung.
• 4:06
  Hilft der Agent, der das alles koordiniert, Ihrem Unternehmen wirklich oder verbrennt er still und leise Ihr IT-Budget?
• 4:12
  Hilfreicher Agent oder teurer Briefbeschwerer?
• 4:14
  Ein Agent koordiniert Modelle, Daten, Trigger und Aktionen.
• 4:18
  Stellen Sie ihn sich wie einen Verkehrspolizisten für Ihre automatisierten Workflows.
• 4:20
  Manchmal leitet er alles reibungslos, manchmal winkt er drei Mülllaster und ein Klauenauto durch und geht in die Mittagspause.
• 4:26
  Diese Lücke zwischen sauberer Theorie und chaotischer Realität ist der Punkt, an dem die meisten Teams scheitern.
• 4:31
  Auf dem Papier sieht ein Agent großartig aus.
• 4:33
  Füttern Sie es mit Anweisungen, verweisen Sie auf Ihre Daten und Apps.
• 4:35
  Und es sollte Prozesse ausführen, Antworten abrufen und sogar Arbeitsabläufe starten.
• 4:39
  Aber das ist kein perfekter Kollege.
• 4:41
  Es ist genauso wahrscheinlich, dass es um 2 Uhr morgens ein wiederkehrendes Problem löst,
• 4:43
  wie dass es Ihre Warteschlange mit 100 Phantom-Tickets lootet, weil es ein Federprotokoll falsch gelesen hat.
• 4:48
  Stellen Sie es sich in Service-Norfer.
• 4:49
  Bei enger Eingrenzung erstellt die KI echte Tickets nur für tatsächliche Probleme und spart den Mitarbeitern wertvolle Stunden.
• 4:55
  Lässt man sie gewähren, kann sie den Helpdesk unter einer Flut von falschen Warnmeldungen über kritische Druckerausfälle begraben, obwohl die Hardware einwandfrei funktioniert.
• 5:00
  Versuchen Sie mal, Ihrem CIO diesen Produktivitätsschub zu erklären.
• 5:03
  Ist der Unterschied, den viele übersehen?
• 5:05
  Co-Piloten und Agenten sind nicht dasselbe?
• 5:07
  Ein Co-Pilot ist im Grunde ein Promptkumpel.
• 5:09
  Sie fragen, er antwortet und sie behalten die Kontrolle.
• 5:11
  Agenten hingegen entscheiden Dinge, ohne auf sie zu warten.
• 5:14
  Sie befolgen ihre wagen Anweisungen buchstabengetreu, selbst wenn die Ergebnisse keinen Sinn mehr geben.
• 5:19
  Dann spart die Automatisierung entweder echte Zeit oder stürzt in ein Chaos, dessen Beseitigung sie doppelt so viel Zeit kosten wird.
• 5:24
  Die Wahrheit ist, dass viele Teams ihrem Agenten eine Stellenbeschreibung geben, die wie ein Wahlversprechen klingt.
• 5:28
  Prozesse optimieren, Erkenntnisse liefern, Menschen helfen, Menschen.
• 5:32
  Herzlichen Glückwunsch, sie haben dem Bot im Grunde gesagt, er solle sich austoben.
• 5:34
  Agenten ohne festen Rahmen bleiben nicht höflich auf ihrer Spur.
• 5:37
  Sie spielen verrückt.
• 5:38
  Sie erfinden Probleme, die sie lösen können.
• 5:39
  Sie duplizieren Datensätze.
• 5:41
  Sie enden endlos schleifen.
• 5:41
  Und dann wundert sich die Führungsebene, warum aus einer glänzenden Demo ein Produktionsalptraum wurde.
• 5:45
  Lassen Sie ihn die Fakten richtig stellen.
• 5:47
  Es ist nicht so, dass die meisten Organisationen in den ersten zwei Monaten scheitern.
• 5:50
  Das steht zu nicht studieren.
• 5:51
  Was jedoch schnell passiert, ist, dass viele Organisationen früh auf Hindernisse stoßen,
• 5:55
  weil sie ihre Agenten nie eng begrenzt, nie Validierungsschritte hinzubefügt und nie eine Telemetrie eingerichtet haben.
• 6:00
  Ohne diese Leitplanken ist ihr neues, glänzendes Tool nur ein leichtsinniger Praktikant und Administrator echt.
• 6:05
  Und hier liefert ihnen der Microsoft-Stack tatsächlich die passenden Teile.
• 6:07
  Co-Pilot Studio ist die Low-Code-Umgebung, in der Entwickler das Verhalten von Agenten gestalten.
• 6:11
  Denken Sie an Flows, Prompts und Ereignisauslöser.
• 6:14
  Dann ist der Agent-Service von Azure AI Foundry das Unternehmensgerüst,
• 6:17
  das diese Agenten mit Beobachtbarkeit in die Produktion bringt.
• 6:20
  Der Agent-Service ist der Ort, an dem Sie Überwachung, Protokolle und Metriken hinzufügen.
• 6:24
  Er ist bewusst auf Automatisierung, mit eingebauter, menschlicher Aufsicht ausgelegt,
• 6:27
  da Microsoft weiß, was passiert, wenn man einem ungetesteten Agenten in freier Wildbahn vertraut.
• 6:32
  Woher wissen Sie also, ob Ihr Agent tatsächlich nützlich ist?
• 6:34
  Unterziehen Sie ihn einer knallharten Checkliste.
• 6:36
  Erstens, reduziert er die Arbeitszeit der Menschen oder zieht er ihr Personal in die Bugging-Aufgaben hinein?
• 6:41
  Zweitens, erfassen Sie Metriken wie Fundiertheit, Sprachgewandtheit und Kohärenz
• 6:44
  oder starren Sie nur auf die hübschen Marketing-Dashboards?
• 6:47
  Drittens, haben Sie eine Telemetrie eingerichtet, um Abweichungen zu erkennen,
• 6:50
  bevor die Benutzer sich beschweren?
• 6:52
  Wenn Sie eine dieser Fragen falsch beantwortet haben, haben Sie keinen intelligenten Agent.
• 6:55
  Sie haben einen teuren Bildschirmschoner?
• 6:57
  Der Ausweg ist die Nutzung der Observability-Funktionen
• 6:59
  und integrierten Evaluatoren von Azure AI Foundry.
• 7:02
  Das sind keine optionalen Extras.
• 7:04
  Sie sind der dokumentierte Weg, um Fundiertheit, Relevanz, Kohärenz und Quellentreue zu messen.
• 7:08
  Ohne Sie raten Sie nur, ob Ihr Agent intelligent ist oder sich die Dinge nur in höflichem Tonfall ausdenkt.
• 7:13
  Mit Ihnen können Sie sicher eingreifen und nachjustieren, wenn die Ergebnisse abweichen.
• 7:17
  Also ja, Agenten können alles verändern.
• 7:19
  Falsch konfiguriert werden Sie zu Chaos-Verstärkern, die mehr Zeit kosten, als Sie einsparen.
• 7:23
  Richtig konfiguriert, mit klaren Aufgabengrenzen, echter Telemetrie und fundierten Antworten
• 7:26
  können Sie Aufgaben übernehmen, während Menschen sich auf wertvolle Arbeit konzentrieren.
• 7:29
  Und genau wenn man denkt, man hat das Gleichgewicht gefunden, ändert sich die Geschichte erneut.
• 7:33
  Microsoft drängt bereits auf autonome Agenten, Bots, die nicht erst auf sie warten, bevor sie handeln.
• 7:37
  Das hebt den Einsatz von hilfreich oder nutzlos in eine ganz neue Kategorie,
• 7:42
  denn jetzt sprechen wir von Systemen, die auch dann laufen, wenn niemand zuschaut.
• 7:46
  Die Falle der autonomen Agenten
• 7:47
  Bei autonomen Agenten wird er halb gefährlich.
• 7:51
  Auf dem Papier sind Sie ein Traum.
• 7:53
  Lassen Sie die KI für sich arbeiten, automatisieren Sie die Routine
• 7:55
  und hören Sie auf, sich um zwei Uhr morgens aus dem Bett zu quälen, um Tickets zu bearbeiten.
• 7:59
  Klingt im Konferenzraum großartig.
• 8:00
  Die Falle sind simpel. Sie warten nicht auf eine Erlaubnis.
• 8:03
  Co-Pilots halten für Sie. Autonome Agenten tun das.
• 8:05
  Und wenn Sie eine falsche Entscheidung treffen, tritt der Charme sofort ein und skaliert über Ihren gesamten Tenor.
• 8:09
  Das Konzept ist leicht verständlich.
• 8:10
  Co-Pilots sind reaktiv.
• 8:12
  Agenten sind proaktiv.
• 8:13
  Anstatt ruhig zu warten, bis jemand einen Prompt eingibt,
• 8:15
  konfigurieren Sie Agenten so, dass Sie den Service-Status überwachen,
• 8:18
  Sicherheitsmeldungen bearbeiten oder Arbeitsabläufe automatisch ausführen.
• 8:20
  Microsoft bewirbt das als Effizienz, weniger menschlicher Aufwand,
• 8:23
  schnellere Erkennung, reibungslosere Abläufe.
• 8:25
  Das Versprechen ist real, aber hier ist der wichtige Kontext.
• 8:29
  Autonome Agenten in Co-Pilot Studio sind heute noch in der Vorschau.
• 8:32
  Vorschau bedeutet nicht kaputt, aber es bedeutet, dass Sie in der chaotischen realen Welt noch ungetestet sind.
• 8:36
  Und selbst Microsoft sagt, dass Sie Lifecycle Governance-Leitplanken und das Co-Pilot-Konsolensystem benötigen,
• 8:40
  bevor Sie an einen breiten Rollout denken, bevor Sie an einen breiten Rollout denken.
• 8:42
  Bedenken Sie ein realistisches Risiko.
• 8:44
  Angenommen, Sie bauen einen autonomen Helpdesk-Agenten und geben Ihnen die Befugnis, auf Login-Anomalien zu reagieren.
• 8:49
  In einer Demo mit fünf Benutzern funktioniert es perfekt.
• 8:51
  Alarme werden ausgelöst, Konten verwaltet.
• 8:52
  Dann treffen in der Produktion fehlerhafte Eingaben.
• 8:55
  Anstatt zu warten, beginnt es, hunderte Konten aufgrund von Fehlalarmen massenhaft zurückzusetzen.
• 9:00
  Das Ergebnis ist kein hypothetischer Ausfall.
• 9:02
  Es könnte realistischerweise die Monatsabschlussarbeiten lahmlegen.
• 9:05
  Das ist keine Science-Fiction.
• 9:07
  Es ist das Fehlerszenario, das Sie in Kauf nehmen, wenn Sie die Eingrenzung vernachlässigen.
• 9:09
  Die Lösung ist nicht, die Technologie abzuschaffen.
• 9:11
  Sie besteht darin, zuerst das Sicherheitsaufzubauen.
• 9:13
  Was gehört also zur Überlebenschecklist?
• 9:14
  Drei Dinge müssen vor jeder ausgefallenen Automatisierung erledigt werden.
• 9:17
  Erstens, Identitäts- und Zugriffsbeschränkungen.
• 9:19
  Geben Sie Ihrem Agenten minimale Rechte, keine pauschalen Adminrollen.
• 9:22
  Zweitens, Protokollierung und Rollback.
• 9:24
  Jede Aktion muss eine Spur hinterlassen, die Sie prüfen können.
• 9:27
  Und jede kritische Aktion benötigt einen Rückweg, falls der Agent fehlschlägt.
• 9:30
  Drittens, Inhalts- und Verhaltensfilter.
• 9:32
  Microsoft hebt dies mit Azure AI Content Safety und Wissenskonfiguration hervor.
• 9:36
  Die Filter, die einen übereifrigen Bot davon abhalten, unangemessene Antworten zu generieren oder vom Script abzuweichen.
• 9:41
  Tun Sie dies zuerst, sonst wird die Cleverness Ihres Agenten Ihre Prozesse eher begraben als unterstützt.
• 9:45
  Die ethische Ebene verschärft dies noch weiter.
• 9:46
  Stellen Sie sich einen HR-Agenten vor, der Mitarbeiter automatisch als riskant einstuft
• 9:50
  oder einen Finanzagenten, der Lieferantenzahlungen zurückhält, weil er Sie fälschlicherweise als Betrug klassifiziert.
• 9:54
  Das sind keine harmlosen Macken, sondern Fehler mit menschlichen Auswirkungen sowie rechtlichen und regulatorischen Worten.
• 9:59
  Voreingenommenheit in Trainingsdaten oder beim Abruf verschwindet nicht einfach, nur weil Sie jetzt in der Enterprise-Vorschau arbeiten.
• 10:04
  Ohne Filter, Kontrollen und menschliche Rückfalloptionen lagern Sie Entscheidungen aus,
• 10:07
  die Ihre Anwälte definitiv nicht von einem unbeaufsichtigten Algorithmus treffen lassen.
• 10:10
  Microsofts eigene Botschaft auf der Ignite war diesbezüglich deutlich.
• 10:14
  Leitplanken, Lebenszyklusmanagement, Überwachung und das Co-Pilot-Kontrollsystem sind keine Nice-to-have, sie sind erforderlich.
• 10:19
  Vorschau bedeutet heute weniger glänzende Demos und mehr, dass Tester zeigen, wo die Risse auftreten.
• 10:24
  Wenn Sie ohne Stufentests, Genehmigungsworkflows und Audits live gehen, betreiben Sie keinen Agenten,
• 10:28
  sondern führen einen Stresstest Ihres Tenants in der Produktion durch.
• 10:31
  Deshalb ist Beobachtbarkeit nicht optional.
• 10:33
  Sie benötigen Dashboards, die jeden Schritt eines Agenten aufzeigen und prüfen,
• 10:36
  ob sein Ergebnis fundiert, relevant und mit ihrer Richtlinie vereinbar war.
• 10:40
  Und Sie benötigen Optionen für den Menschen in der Schleife.
• 10:42
  Microsoft macht daraus kein Geheimnis.
• 10:44
  Sie verweisen auf Muster, bei denen der Mensch als Sicherheitsnetz fungiert.
• 10:47
  Denken Sie an den Autopiloten im Flugzeug, unglaublich nützlich,
• 10:50
  aber immer mit einer manuellen Übersteuerung konzipiert.
• 10:53
  Wenn der Bot glaubt, die optimale Landung sei in einem See,
• 10:55
  möchten Sie die Kontrolle vor der Notwasserung übernehmen.
• 10:57
  Der richtige Vergleich hier ist, einem Teenager das Autofahren beizubringen.
• 11:00
  Das Potenzial ist da, die Geschwindigkeit beeindruckend,
• 11:02
  aber Sie geben nicht die Schlüssel ab, verlassen die Einfahrt und hoffen auf das Beste.
• 11:05
  Sie sitzen auf dem Beifahrersitz, setzen Grenzen und installieren Bremsen,
• 11:08
  die Sie selbst betätigen können.
• 11:10
  Das ist Lebenszyklus Governance in der Praxis.
• 11:12
  Stützräder, bis man sicher ist, dass das System nicht vom Weg abkommt.
• 11:15
  Und das bringt uns in die größere Fabrikhalle,
• 11:17
  wo Agenten, Co-Piloten und jeder getestete Workflow zusammenlaufen.
• 11:20
  Microsoft nennt das Azure AI Foundry
• 11:22
  ein Komplettangebot zur KI-Entwicklung mit allen nötigen Werkzeugen.
• 11:25
  Ob es zum Produktionskraftwerk oder zum Ort wird,
• 11:28
  an dem Ihre Projekte scheitern,
• 11:29
  hängt ganz von Ihrer Handhabung ab.
• 11:32
  Azure AI Foundry
• 11:33
  Ihre Fabrik oder Ihr Minenfeld?
• 11:35
  Azure AI Foundry ist Microsofts neues Flaggschiff,
• 11:38
  eine sogenannte Fabrik.
• 11:39
  Für alles rund um KI.
• 11:41
  Äh, das Problem?
• 11:42
  Zu viele Teams gehen dorthin ein und behandeln es wie in Ikea.
• 11:44
  Sie schlendern geblendet durch die Kataloge,
• 11:46
  schnappen sich ein paar glänzende Sprachmodelle,
• 11:48
  werfen Konnektoren ein und schrauben alles ohne Anleitung zusammen.
• 11:52
  Was dabei herauskommt,
• 11:53
  ist kein KI-System für Unternehmen,
• 11:54
  sondern ein Spielzeug, das beim ersten komplexen PDF
• 11:57
  eines echten Nutzers zusammenbricht.
• 11:59
  Hier ist das, was Foundry tatsächlich bietet,
• 12:01
  direkt aus dem offiziellen Handbuch.
• 12:03
  Ein Modellkatalog mit Angeboten von Microsoft,
• 12:05
  OpenAI, Meta, Mr. Deepseek und anderen.
• 12:07
  Anpassungsoptionen wie Retrieval Augmented Generation,
• 12:10
  Fine Tuning und Destillation.
• 12:12
  Ein Agentendienst zur Orchestrierung,
• 12:14
  Tools wie Promptflow zur Evaluierung und Fehlersuche,
• 12:17
  Sicherheitsgrundlagen,
• 12:18
  Identitäts- und Zugriffssteuerungen,
• 12:19
  Inhaltsfilter und Dashboards zur Beobachtung.
• 12:22
  Kurz gesagt, es sind alle Komponenten,
• 12:23
  die Sie brauchen, um Co-Piloten, Agenten und autonome Abläufe
• 12:26
  gesetzeskonform zu erstellen.
• 12:27
  Das ist der Bestand.
• 12:29
  Das Problem ist nicht, dass der Werkzeugkasten leer ist,
• 12:31
  sondern dass zu viele Admins es so behandeln,
• 12:32
  als müsse man nur einen GPT-4-Turboschalter umlegen.
• 12:35
  Äh.
• 12:36
  Die Wahrheit ist, Foundry ist eine Fabrikhalle,
• 12:38
  kein Spielzeugkasten für Hackathons.
• 12:39
  Das bedeutet, Identitätsgrenzen zu setzen,
• 12:41
  damit nur die richtigen Leute auf die richtigen Modelle zugreifen.
• 12:44
  Es bedeutet, jeden Prozess mit Inhaltssicherheitsfiltern zu versehen.
• 12:47
  Es bedeutet, Beobachtungstools zu nutzen,
• 12:49
  um zu unterscheiden, wann eine Antwort fundiert ist
• 12:51
  und wann das Modell Firmenrichtlinien erfindet.
• 12:54
  Und es bedeutet, die Aufgabe, mit dem passenden Modell zu verknüpfen,
• 12:56
  statt nur das Größte zu wählen, weil es klug klingt.
• 12:59
  Überspringen Sie diese Schritte
• 13:00
  und das Chaos kommt durch die Hintertür.
• 13:02
  Ich habe erlebt, wie ein Team einen Foundry-Ko-Piloten auf SharePoint nutzte,
• 13:04
  der versehentlich vertrauliche HR-Daten an 20 Praktikanten preisgab.
• 13:07
  Das war nicht clever, sondern ein Compliance-Desaster,
• 13:09
  das durch integrierte Zugriffsregeln vermeidbar gewesen wäre.
• 13:12
  Sprechen wir über echte Fehlerquellen.
• 13:13
  Eine Organisation nutzte einmal GPT-4-Turbo
• 13:16
  für das Tagging von Produktfotos.
• 13:17
  Im Labor war die Demo ein voller Erfolg.
• 13:19
  Saubere Studiofotos, perfekte Tags, alle waren begeistert.
• 13:23
  In der Produktion waren die Eingaben keine Hochglanz-JPEGs,
• 13:26
  sondern verschwommene Lagerhaus-Handiefotos.
• 13:28
  Plötzlich stufte die KI-Kinderwagen fälschlicherweise als Bürostühle ein
• 13:31
  und verwandelte UPC-Etiketten in erfundene Seriennummern,
• 13:33
  in erfundene Serien.
• 13:34
  Zusätzlich zum Vertrauensverlust begannen die Kosten zu steigen.
• 13:37
  Und das ist kein Märchen von 0 auf 1 pro Nachricht.
• 13:39
  Die Preisgestaltung von Foundry ist nutzungsabhängig
• 13:41
  und an die spezifischen Dienste gebunden, die sie verwenden.
• 13:43
  Jeder Connector, jeder Abrufaufruf, jeder Nachrichtenzähler
• 13:45
  wird ihrem Tenant in Rechnung gestellt.
• 13:47
  Jedes Element hat sein eigenes Abrechnungsmodell.
• 13:50
  Diese Flexibilität ist zwar schön,
• 13:51
  aber wenn Sie nicht mit dem Azure-Preiskalkulator schätzen
• 13:53
  und die Nutzung verfolgen, wird Sie Ihr Finanzteam
• 13:55
  über die Überraschungsrechnung freuen.
• 13:58
  Das ist die Abrechnungsfalle.
• 13:59
  Verbrauchsbasierte Preise funktionieren,
• 14:00
  wenn man plant, überwacht und optimiert.
• 14:02
  Wenn nicht, ist es so, als würde man einen Sportwagen
• 14:04
  als Pizzabotenroller nutzen.
• 14:05
  Teuer, laut und sinnlos.
• 14:07
  Wir alle kennen das von Dingen wie Power BI,
• 14:09
  tolle Demo, explodierende Kosten.
• 14:11
  Lassen Sie nicht zu, dass Ihnen das mit Foundry auch passiert.
• 14:13
  Entwickler lieben das Prototyping in Foundry,
• 14:15
  weil sich die Sandbox so elegant anfühlt.
• 14:17
  Und in der Sandbox ist sie das auch.
• 14:18
  Saubere Demodaten, kein Chaos, sofortiger Wow-Effekt.
• 14:21
  Aber hier liegt das Problem.
• 14:22
  Teams schieben diese Prototypen ohne Evaluierungspipelines
• 14:24
  in die Produktion.
• 14:25
  Wenn Sie Evaluatoren für Fundiertheit,
• 14:27
  Sprachgewandtheit, Relevanz und Kohärenz überspringen,
• 14:29
  arbeiten Sie blind.
• 14:30
  Was passiert dann?
• 14:31
  Die Nutzer bemerken die Abweichung in den Ergebnissen,
• 14:33
  das Vertrauen sinkt,
• 14:34
  die Geschäftsführung streicht das Budget.
• 14:35
  Das ist kein Versagen von Foundry,
• 14:36
  sondern Versagen der Teams bei der Governance.
• 14:37
  Viele Foundry-Prototypen bleiben genau aus diesem Grund
• 14:40
  vor der Produktion stecken.
• 14:41
  Keine Beobachtbarkeit, keine Qualitätsprüfung
• 14:43
  und keine Telemetrie.
• 14:47
  iFoundry-Beobachtbarkeit vom ersten Tag an.
• 14:49
  Binden Sie Promptflows ein.
• 14:50
  Lassen Sie integrierte Evaluatoren bei jedem Tesla.
• 14:52
  Stützen Sie Ihr System mit Azure AI Search
• 14:53
  und der Verwendung von Hybrid- und semantischem Reranking ab,
• 14:56
  bevor Sie überhaupt an den Livegang denken.
• 14:57
  Microsoft hat diese Tools nicht in einem Anhang versteckt,
• 14:59
  sie sind für die Produktionssicherheit dokumentiert.
• 15:01
  Doch zu oft übersehen Entwickler sie wie bloße Fußnoten.
• 15:04
  Diese Checkpoint-Mentalität bewahrt sie davor,
• 15:06
  ins Minenfeld zu geraten.
• 15:08
  Behandeln Sie Foundry wie eine Fabrik-Governance
• 15:10
  als ersten Schritt,
• 15:11
  Compliance-Richtlinien wie bedingten Zugriff
• 15:12
  fest integriert mit von Anfang an
• 15:14
  laufenden Observability-Pipelines.
• 15:15
  Und ja, Identitätsscoping und Contentsicherheit
• 15:18
  sollten nicht nachträglich angepflanscht werden,
• 15:19
  sie gehören zur Grundausstattung.
• 15:21
  Wenn Sie die Governance überspringen,
• 15:22
  riskieren Sie mehr als eine schlechte Antwort.
• 15:24
  Ohne sie könnte Ihr multimodaler Bot
• 15:25
  fröhlicher HR-Gehälter für externe Nutzer offenlegen
• 15:27
  oder Rechnungen mit fiktiven Vertragsnummern versehen.
• 15:30
  Das ist nicht nur defekte KI,
• 15:31
  das sind Schlagzeilen,
• 15:32
  die Ihr Compliance-Büro nicht erklären möchte.
• 15:34
  Und genau hier verschiebt sich der Fokus,
• 15:36
  denn das nächste Hindernis ist überhaupt nicht technischer Natur.
• 15:38
  Es geht darum, ob Ihre KI verantwortungsbewusst ist.
• 15:41
  Jeder liebt es,
• 15:42
  diese Begriffe auf eine Keynote-Folie zu werfen,
• 15:44
  aber in der Praxis geht es um Audits, Filter, Compliance
• 15:46
  und den Berg an Entscheidungen vor dem Start.
• 15:48
  Und genau da fangen die Kopfschmerzen erst richtig an.
• 15:50
  Abonnieren Sie unseren M365
• 15:52
  Showminusetter für die direkten Lösungen
• 15:53
  und folgen Sie uns auf M365.
• 15:55
  Besuchen Sie unsere LinkedIn-Seite
• 15:57
  für Livestreams mit MVPs,
• 15:58
  die Foundry in der Produktion getestet
• 15:59
  und gesehen haben, was schief gehen kann.
• 16:01
  Verantwortungsvolle KI oder verantwortungsvolle Kopfschmerzen.
• 16:04
  Jeder liebt es,
• 16:04
  verantwortungsvolle KI in einer Keynote fallen zu lassen.
• 16:06
  Es sieht schick aus,
• 16:07
  neben Schlagworten wie Fairness und Transparenz,
• 16:09
  aber an der Front ist es keine inspirierende Philosophie.
• 16:12
  Es sind Konfigurationen,
• 16:13
  Audits, Filter und Governance-Schritte,
• 16:15
  die sich eher wie Serverwartung
• 16:16
  als wie Innovation anfühlen.
• 16:18
  Verantwortungsvolle KI ist der Sicherheitsgurt,
• 16:19
  nicht der Sportwagen.
• 16:20
  Lassen Sie ihn einmal weg
• 16:21
  und der Crash kommt schnell.
• 16:22
  Microsoft spricht vorab von Ethik und Sicherheit,
• 16:24
  aber für Administratoren,
• 16:25
  die das live einführen,
• 16:26
  bedeutet das praktische Leitplanken.
• 16:28
  Bedeutet das praktische Leitplanken.
• 16:29
  Sie brauchen Zugriffsrichtlinien,
• 16:30
  die unter Druck nicht nachgeben,
• 16:32
  Filter, die schädliche Prompts
• 16:33
  wirklich blockieren
• 16:33
  und Protokolle,
• 16:34
  die detailliert genug
• 16:35
  für einen koffeinhaltigen Regulierer
• 16:36
  mit Vorladung sind.
• 16:38
  Das ist keine glamouröse Arbeit,
• 16:39
  es geht darum,
• 16:40
  HR-Kopiloten von Finanzdaten zu isolieren,
• 16:42
  Bereichsregeln festzulegen,
• 16:43
  damit Teambots
• 16:44
  nicht in SharePoint-Gahmnisse kriechen
• 16:45
  und Protokolle zu taggen,
• 16:46
  um zu beweisen,
• 16:47
  wie eine Antwort entstanden ist.
• 16:49
  Wenn man das richtig macht,
• 16:50
  ist verantwortungsvoll kein
• 16:51
  Firmenslogan mehr,
• 16:51
  sondern überlebenswichtig.
• 16:53
  Die hässliche Variante,
• 16:53
  wenn man das überspringt.
• 16:54
  Einem Bot-Dedekt
• 16:55
  ein HR-Repository anschließen,
• 16:56
  ohne Mandantengrenzen.
• 16:59
  Ein Nutzer fragt
• 17:00
  nach Versicherungsleistungen.
• 17:01
  Der Bot veröffentlicht
• 17:02
  hilfreich die Gehaltsbände
• 17:03
  der Mitarbeiter im Chat.
• 17:04
  Jetzt haben sie eine Datenschutzverletzung,
• 17:07
  einen Albtraum für die Moral
• 17:08
  und möglicherweise
• 17:08
  Regulierungsbehörden im Nacken.
• 17:10
  Der schnellste Weg,
• 17:11
  die Akzeptanz zu killen,
• 17:11
  ist nicht schlechte UX,
• 17:12
  sondern ein einziger sensibler Datenleg.
• 17:14
  Was hält dieses Chaos aus der Firm?
• 17:15
  Beginnen Sie mit
• 17:16
  Azure AI Content Safety.
• 17:17
  Es wurde entwickelt,
• 17:18
  um gewalttätige,
• 17:19
  obszöne und beleidigende Prompts
• 17:20
  und Antworten herauszufiltern,
• 17:21
  bevor sie an den Nutzer gelangen.
• 17:23
  Aber das ist nur
• 17:23
  die grundlegende LG.
• 17:24
  Foundry und Co-Pilot Studio
• 17:26
  bauen auf Evaluierungspipelines auf,
• 17:27
  die die nächste Ebene übernehmen.
• 17:29
  Groundedness-Prüfungen,
• 17:30
  Relevanz-Scoring,
• 17:31
  Transparenz-Dashboards
• 17:32
  und Erklärbarkeit.
• 17:34
  Auf Deutsch.
• 17:35
  Sie können Schwellenwerte anpassen,
• 17:37
  An- und Ausgaben filtern
• 17:38
  und Bots dazu bringen,
• 17:38
  ihre Arbeit offen zu legen.
• 17:40
  Ohne das würfeln sie bei allem,
• 17:41
  was die KI ausspuckt.
• 17:43
  Und hier ist die Realität der Ressourcen.
• 17:45
  Microsoft legt sich
• 17:45
  ihr mächtigen Zoll.
• 17:47
  34.000 Vollzeit-Ingenieure,
• 17:48
  die sich der Sicherheit widmen,
• 17:49
  plus 15.000 Partner
• 17:51
  mit tiefem Sicherheits-Know-how.
• 17:52
  How?
• 17:53
  Das ist eine Festung.
• 17:54
  Aber werden sie nicht bequem.
• 17:56
  Keiner dieser Ingenieure
• 17:56
  sitzt in ihrem Mandanten
• 17:57
  und erstellt ihre Zugriffsregeln.
• 17:59
  Microsoft gibt ihnen
• 18:00
  die Leitplanken an die Hand.
• 18:01
  Aber es bleibt ihre Aufgabe,
• 18:02
  Identitäten abzusichern,
• 18:03
  Daten zu isolieren,
• 18:04
  Verschlüsselung anzuwenden
• 18:05
  und Richtlinien zu konfigurieren.
• 18:07
  Wenn ihr Scoping nachlässig ist,
• 18:08
  haften sie dennoch
• 18:08
  für den Sicherheitsverfahren.
• 18:09
  Die wahre Lösung
• 18:10
  ist eine Governance-Zyklus.
• 18:11
  Betrachten sie es als das Rezept,
• 18:13
  das Microsoft selbst empfiehlt.
• 18:14
  Testen, freigeben,
• 18:16
  veröffentlichen,
• 18:17
  prüfen, iterieren.
• 18:19
  Mit Checkpoints in jedem Zyklus
• 18:20
  erkennen sie Abweichungen,
• 18:21
  bevor sie Schlagzeilen machen.
• 18:23
  Teams, die einmal ausliefern
• 18:24
  und dann abschalten, scheitern immer.
• 18:26
  Modelle entwickeln sich,
• 18:27
  Prompts ändern sich
• 18:28
  und Ergebnisse driften ab.
• 18:29
  Governance ist kein unnötiger
• 18:30
  bürokratischer Ballast.
• 18:31
  Sie verhindert,
• 18:32
  dass ein interner Bot
• 18:32
  Richtlinien-Teams erfindet,
• 18:34
  während alle schlafen.
• 18:35
  Manche Admins beklagen,
• 18:36
  dass verantwortungsbewusst
• 18:37
  nur langsamer bedeutet.
• 18:38
  Die falsche Perspektive?
• 18:40
  Verantwortung tötet nicht
• 18:40
  die Geschwindigkeit,
• 18:41
  sie verhindert,
• 18:41
  dass Geschwindigkeit sie tötet.
• 18:43
  Route Governance bedeutet,
• 18:44
  dass sie Audits bestehen
• 18:45
  und Projekte dennoch
• 18:46
  vorantreiben können.
• 18:47
  Ignorieren sie das
• 18:48
  und sie stürzen hinab.
• 18:49
  Geschwindigkeit ohne Kontrollen
• 18:50
  führt nur zu einer Art von Rekord.
• 18:51
  Die kürzeste Zeit
• 18:52
  bis zur Fehlanalyse.
• 18:53
  Denken sie an Fahrten
• 18:54
  durch Bergserpentinen.
• 18:55
  Man verflucht nicht
• 18:56
  die Leitplanken.
• 18:57
  Man dankt ihnen,
• 18:57
  wenn es 60 Meter
• 18:58
  in die Tiefe geht.
• 18:59
  Bei verantwortungsvoller KIs
• 19:00
  Scopes, Richtlinien, Filter,
• 19:02
  LogSie bremsen nicht ihr Tempo,
• 19:03
  sie verhindern
• 19:03
  die negativen Schlagzeilen.
• 19:05
  Unterm Strich.
• 19:06
  Microsoft hat ihnen
• 19:07
  mächtige Werkzeuge
• 19:07
  in die Hand gegeben.
• 19:09
  Content-Sicherheit,
• 19:10
  Evaluierungspipelines,
• 19:11
  Sicherheitsframeworks,
• 19:12
  SDK-Leitplanken,
• 19:12
  doch es bleibt ihre Aufgabe.
• 19:14
  Tenants abzugrenzen,
• 19:15
  Zugriffe zu konfigurieren
• 19:16
  und diese Schleifen
• 19:16
  in ihren Produktionszyklus
• 19:17
  zu integrieren.
• 19:19
  Tun sie das
• 19:19
  und ihre KI übersteht
• 19:20
  Compliance-Vorgaben
• 19:21
  anstatt daran zu zerbrechen.
• 19:23
  Ignorieren sie das,
• 19:24
  droht nicht nur
• 19:24
  ein Auswahlrisiko,
• 19:25
  sondern auch das Ende
• 19:26
  ihrer Karriere.
• 19:27
  Verantwortungsvolle KI
• 19:28
  ist nicht langsam.
• 19:29
  Verantwortungsvolle KI
• 19:29
  ist überlebensfähig
• 19:30
  und Überlebensfähigkeit
• 19:31
  ist der wahre Test,
• 19:32
  denn die Zukunft
• 19:32
  dreht sich nicht um Features,
• 19:34
  sondern darum,
• 19:34
  ob sie diese Plattform
• 19:35
  als Plug-and-Play
• 19:35
  oder als Governance-First-Infrastruktur
• 19:37
  begreifen.
• 19:38
  Dieser Unterschied
• 19:39
  entscheidet darüber,
• 19:39
  wer besteht und wer ausbrennt.
• 19:41
  Das Fazit dazu.
• 19:42
  Die Falle ist nicht Foundry
• 19:43
  oder Co-Pilot-Studio,
• 19:44
  sondern der Glaube
• 19:45
  an reines Plug-and-Play.
• 19:46
  Die Merkregel ist simpel.
• 19:47
  Erst Governance,
• 19:48
  dann Experimente,
• 19:49
  zuletzt Produktion.
• 19:50
  Identitätsmanagement
• 19:51
  und Beobachtbarkeit
• 19:52
  zur vernachlässigen Schieterfahrung.
• 19:53
  Die Werkzeuge sind da,
• 19:54
  aber nur Governance
• 19:54
  macht aus Prototypen
• 19:55
  echte Produktion.
• 19:57
  Wenn Sie also klare Lösungen wollen,
• 19:58
  die Ihren Tenent
• 19:58
  wirklich am Leben erhalten,
• 20:00
  abonnieren Sie den Podcast
• 20:00
  und hinterlassen Sie
• 20:01
  alle Bewertungen.
• 20:03
  Ich investiere täglich viel Zeit
• 20:04
  und Ihre Unterstützung
• 20:05
  hilft mir wirklich.
• 20:06
  Tools ändern sich,
• 20:07
  Überlebenstaktiken
• 20:07
  bleiben bestehen.