Latest / M365.FM – Microsoft 365, Copilot & KI Podcast auf Deutsch / KI-Halluzinationen stoppen: RAG mit Azure AI Search richtig fundieren (KI-Synchronfassung)

Transcript

KI-Halluzinationen stoppen: RAG mit Azure AI Search richtig fundieren (KI-Synchronfassung) · M365.FM – Microsoft 365, Copilot & KI Podcast auf Deutsch

0:00
Du hast geklickt, weil im Podcast gesagt wurde, Azure AI Foundry sei eine Falle, oder?
0:04
Du bist hier genau richtig.
0:05
Hier das Versprechen vorab.
0:07
Co-Pilots versagen ohne Grounding, aber Tools wie Retrieval Augmented Generation Chords REG mit Azure AI Search Hybrid und Semantics
0:14
sowie Evaluatoren für Groundedness, Relevanz und Kohärenz sind die echten Lösungen, damit du keine Halluzinationen als Antworten verschickst.
0:22
Wir überspringen die Marketingfolien und zeigen dir das Überlebenshandbuch mit echten Beispielen aus der Praxis.
0:26
Abonniere den M365 Show Newsletter und verfolge die Livestreams mit den MVPs.
0:32
Dort findet man die Erfahrung aus Fehlern und die passende Lösung.
0:35
Und da die ersten Risse meist bei multimodalen Apps auftreten, fangen wir dort an.
0:38
Warum multimodale Apps in der realen Welt scheitern?
0:41
Wenn du eine multimodale Demo auf der Bühne siehst, wirkt sie fehlerfrei.
0:44
Der Präsentator gibt einen Textpompt ein, ein sauberes Bild, vielleicht sogar eine kurze Spracheingabe.
0:48
Das Modell liefert ein perfektes Diagramm oder eine präzise Zusammenfassung.
0:51
Alles wirkt wie Magie, aber sobald man das gleich in einem echten Unternehmen versucht, verfliegt der Glanz schnell.
0:56
Demos laufen mit marktlosen Daten. Arbeitsplätze laufen mit Daten. Das ist die eigentliche Kluft.
1:01
In der Produktion gibt dir niemand sorgfältig aufbereitete Screenshots oder normierte CSV-Dateien.
1:07
Die Personalabteilung füttert das System mit verpixelten Ausweisgutungen.
1:10
Der Einkauf schleppt PDFs an, die schon die fünfte Fax-Generation hinter sich haben.
1:13
Jemand aus der Buchhaltung fotografiert eine Rechnung mit einer kaputten Android-Kamera.
1:16
Multimodale Modelle können Text, Bilder, Sprache und Video verarbeiten, brauchen aber gut indizierte Daten und Retrieval, um unter chaotischen Bedingungen zu bestehen.
1:25
Andernfalls verlangst du vom Modell nur, dass es mit Datenmüll improvisiert.
1:28
Und egal, wie viel GPU-Leistung der Korps Garbage in Garbage Out bleibt bestehen.
1:31
Genau hier soll dich Retrieval Augmented Generation, kurz RAG, retten.
1:35
Einfach ausgedrückt, das Modell kennt dein Unternehmen nicht, also verbindest du es mit deiner Wissensquelle.
1:39
Es ruft einen Datenausschnitt ab und formuliert die Antwort basierend darauf.
1:41
Wenn der Abgleich präzise ist, erhältst du nützlicher von dir dann.
1:44
Ist er schlampig, fängt das Modell an zu improvisieren und spuckt überzeugt Unsinn aus.
1:48
Und so landet man bei einem Chatbot, der behauptet, das Unternehmen hätte eine neue Q3-Rabattrichtlinie, die es gar nicht gibt.
1:54
Er ist nicht zum Leben erwacht, er hat nur die falschen Daten abgerufen.
1:58
Azure AI Studio und Azure AI Foundry setzen beide auf dieses Muster und unterstützen alle Modalitäten, Sprache, Vision, Audio und sogar Video Retrieval.
2:05
Aber der Haken ist, RAG ist immer nur so gut wie die Datenbasis.
2:08
Hier ist der Punkt, den die meisten Teams übersehen.
2:09
Man kann nicht einfach eine Retrieval-Methode anschließen und fertig.
2:12
Wenn Ergebnisse stimmig sein sollen, brauchen sie eine hybride Keyword- und Vektorsuche, abgerundet durch einen semantischen Reranker, der in Azure AI Search integriert ist.
2:19
Dadurch kann das System wörtliche Keyword-Treffer mit semantischer Bedeutung abgleichen und die Ergebnisse so neu ordnen, dass der passende Kontext oben steht.
2:25
In ihrer multimodale Einrichtung integriert, kann das Modell plötzlich mit schiefen Scans und unscharfen Bildern umgehen, statt ihre Compliance-Richtlinien frei zu erfinden, stark zu erfinden.
2:34
Sprechen wir nun darüber, warum so viele Einführungen scheitern.
2:36
Unternehmen erwarten vom ersten Tag an perfekte Ergebnisse, planen aber kein Budget für Bewertungsschleifen ein.
2:42
Ohne Überprüfungen auf Fundierung, Relevanz und Kohärenz im Hintergrund bemerken sie Abweichungen erst, wenn die Nutzer bereits frustriert sind, wenn nicht.
2:48
Viele frühe Implementierungen scheitern genau aus diesem Grund schnell.
2:51
Der Output klingt korrekt, aber niemand hat ihn mit der Quellenwahrheit abgeglichen.
2:54
Denken Sie mal nach, Sie würden niemals eine neue Datenbank ohne Überwachung bereitstellen.
2:57
Doch bei multimodaler KI werfen Führungskräfte diese in die Produktion, als wäre sie eine magische Plug-and-Playbox.
3:03
Es muss nicht im Scheitern enden.
3:05
Carvana ist eine der Foundry-Kundengeschichten, die dies beweist.
3:08
Sie machten Self-Service-KI wirklich nützlich, indem sie die Suche optimierten, ihre Agenten fundierten und in Beobachtbarkeit investierten.
3:15
Das machte aus einem potenziellen Spielzeugbot etwas, dem Kunden vertrauen konnten.
3:20
Vergleichen Sie das nun mit Unternehmen, die einen generischen Chatbot ohne Fundierung oder Bewertung auf ihre Supportseite geklatscht haben.
3:25
Sie kennen das Ergebnis. Garantiefälle als Sales-Leads abgelegt, Support-Warteschlangen überfüllt und die Glaubwürdigkeit zerstört.
3:31
Derselbe Azure Stack, entgegengesetztes Ergebnis.
3:33
Hier ist also das unverblümte Fazit.
3:35
Multimodale KI scheitert nicht, weil sie nicht intelligent genug ist.
3:38
Sie scheitert, weil die Daten nicht aufbereitet, indexiert oder überwacht werden.
3:42
Füttern Sie das Suchsystem mit Datenmüll, lassen Sie Bewertungen weg und beobachten Sie, wie das Vertrauen schwindet.
3:46
Aber mit hybrider Suche, semantischem Reranking und ständigen Auswertungen können Sie Rechnungen, Verträge, Bilder und sogar ungenaue Audio-Notizen verarbeiten
3:52
und erhalten Antworten, die in der Realität bleiben, statt in der Fantasie.
3:56
Und sobald die Fundierung stimmt, tritt ein weiteres Risiko in den Vordergrund.
3:59
Denn selbst wenn die Datenpipelines sauber sind, kann das steuernde System außer Kontrolle geraten.
4:04
An diesem Punkt ändert sich die Frage.
4:05
Hilft der Agent, der das alles koordiniert, Ihrem Unternehmen wirklich oder verbrennt er still und leise Ihr IT-Budget?
4:11
Ein hilfreicher Agent oder teurer Briefbeschwerer?
4:14
Ein Agent koordiniert Modelle, Daten, Trigger und Aktionen.
4:18
Stellen Sie ihn sich wie einen Verkehrspolizisten für Ihren automatisierten Workflows.
4:20
Manchmal leitet er alles reibungslos, manchmal winkt er drei Mülllaster und ein Klauenauto durch und geht in die Mittagspause.
4:26
Diese Lücke zwischen sauberer Theorie und chaotischer Realität ist der Punkt, an dem die meisten Teams scheitern.
4:31
Auf dem Papier sieht ein Agent großartig aus.
4:33
Geben Sie ihm Anweisungen, verweisen Sie auf Ihre Daten und Apps und es sollte Prozesse ausführen, Antworten finden und sogar Workflows starten.
4:39
Aber das ist kein perfekter Mitarbeiter.
4:41
Es ist genauso wahrscheinlich, dass es um zwei Uhr morgens im Wiederkehren das Problem löst,
4:44
wie dass es Ihre Warteschlange mit 100 Phantom-Tickets überflutet, weil es ein Fehlerprotokoll falsch gelesen hat.
4:48
Stellen Sie sich innerhalb von Service-Navort.
4:49
Wenn die KI eng begrenzt ist, erstellt sie nur bei echten Problemen echte Tickets und spart den Menschen Stunden an Arbeit.
4:55
Wenn man sie gewähren lässt, kann sie den Helpdesk unter einer Flut von falschen Warnmeldungen über kritische Druckerfehler bei Einwandfeier-Hardware begraben.
5:00
Versuchen Sie mal Ihrem CIO diesen Produktivitätsschub zu erklären.
5:03
Ist der Unterschied dem viel übersehen?
5:05
Co-Polets und Agents sind nicht dasselbe.
5:07
Ein Co-Pilot ist im Grunde ein Prompt-Assistent?
5:09
Sie fragen, er antwortet und sie behalten die Kontrolle.
5:11
Agents hingegen entscheiden Dinge, ohne auf sie zu warten.
5:14
Sie befolgen ihre wagen Anweisungen buchstabengetreu, selbst wenn die Ergebnisse keinen Sinn ergeben.
5:19
Genau dann spart die Automatisierung entweder echte Zeit oder führt ins Chaos, dessen Beseitigung sie doppelt so viel Zeit kosten wird.
5:24
Die Wahrheit ist, dass viele Teams ihrem Agenten eine Stellenbeschreibung geben, die wie ein Wahlversprechen klingt.
5:28
Prozesse optimieren, Erkenntnisse liefern, Menschen helfen, Menschen.
5:31
Herzlichen Glückwunsch, Sie haben dem Bot im Grunde gesagt, dass er machen kann, was er will.
5:34
Agents ohne klaren Aufgabenbereich bleiben nicht höflich in ihrer Spur.
5:37
Sie spielen vorweg.
5:38
Sie erfinden Probleme, die sie lösen wollen.
5:39
Sie duplizieren Datensätze.
5:41
Sie hängen endlos schleifenfest.
5:42
Und dann wundert sich die Führungsebene, warum eine glänzende Demo zu einem Produktionsalbtrumpf.
5:45
Lassen Sie uns das jetzt richtig stellen.
5:47
Es ist nicht so, dass die meisten Unternehmen in den ersten zwei Monaten scheitern.
5:50
Versteht so nicht in der Forschung.
5:51
Was jedoch schnell passiert, ist, dass viele Organisationen früher auf Hindernisse stoßen,
5:55
weil sie ihre Agents nie eng begrenzt, keine Validierungsschritte hinzugefügt und keine Telemetrie implementiert haben.
6:00
Ohne diese Leitplanken ist ihr glänzendes neues Werkzeug nur ein leichtsinniger Praktikant mit Admitrechten.
6:05
Und hier liefert Ihnen der Microsoft Stack tatsächlich die passenden Komponenten.
6:08
Co-Pilot Studio ist der Low-Code-Bereich, in dem Entwickler das Verhalten von Agents entwerfen,
6:11
denken Sie an Flows, Prompts und Event-Trigger.
6:13
Dann dient der Agent-Service von AI Foundry als Unternehmensgerüst,
6:17
das diese Agents mit Beobachtbarkeit in die Produktion bringt.
6:20
Im Agent-Service fügen Sie Überwachungen, Protokolle und Metriken hinzu.
6:24
Er ist gezielt auf Automatisierung mit eingebauter, menschlicher Aufsicht ausgelegt,
6:27
da Microsoft weiß, was passiert, wenn man einem ungetesteten Agenten in freier Wildbahn vertraut.
6:32
Wie wissen Sie also, ob Ihr Agent wirklich nützlich ist?
6:34
Unterziehen Sie in einer knallharten Checkliste.
6:36
Erstens, reduziert ihr die Arbeitszeit der Mitarbeiter oder zieht ihr sie in mühsame Federbehebungsaufgaben hinein?
6:40
Zwei, erfassen Sie Metriken wie Fundiertheit, Flüssigkeit und Kohärenz
6:44
oder starren Sie nur auf die hübschen Marketing-Dashboards?
6:47
Drei, haben Sie Telemetrie eingerichtet, um Abweichungen zu erkennen,
6:50
bevor sich Benutzer über Fehler beschweren?
6:52
Wenn Sie eine dieser Fragen falsch beantwortet haben, haben Sie keinen intelligenten Agent.
6:55
Sie haben einen teuren Bildschirmschoner?
6:57
Der Ausweg ist die Nutzung der Observability-Funktionen
6:59
und integrierten Evaluatoren von Azure AI Foundry, Foundry.
7:02
Das sind keine optionalen Extras.
7:04
Sie sind die dokumentierte Methode, um Fundiertheit, Relevanz, Kohärenz und Quellentreue zu messen.
7:08
Ohne Sie raten Sie nur, ob Ihr Agent klug ist,
7:10
oder sich Dinge in einem höflichen Tonfall ausdenkt.
7:13
Mit Ihnen können Sie souverän eingreifen und nachjustieren, wenn die Ausgabe abweicht.
7:17
Also ja, Agenten können alles verändern.
7:19
Falsch konfiguriert werden Sie zu Chaos-Verstärkern, die mehr Zeit kosten, als Sie sparen.
7:23
Richtig konfiguriert, mit klaren Aufgabengrenzen, echter Telemetrie und fundierten Antworten
7:26
erledigen Sie Aufgaben, während sich Menschen auf wertvollere Arbeit konzentrieren.
7:30
Ändert Sie denken, Sie hätten das Gleichgewicht gefunden, ändert sich die Geschichte wieder.
7:32
Microsoft treibt bereits autonome Agenten voran, Bots, die nicht erst auf Sie warten, bevor Sie handeln.
7:38
Das hebt den Einsatz von hilfreich oder nutzlos in eine völlig neue Kategorie.
7:42
Denn wir sprechen jetzt von Systemen, die laufen, selbst wenn niemand zusieht.
7:44
Die Falle der autonomen Agenten
7:47
Autonome Agenten sind der Punkt, an dem der Hype gefährlich wird.
7:51
Auf dem Papier sind sie der Traum.
7:53
Lassen Sie die KI für sich arbeiten, automatisieren Sie die Routine
7:55
und quälen Sie sich nicht mehr um zwei Uhr morgens aus dem Bett, um Ticketwarteschlangen abzuarbeiten.
7:59
Klingt im Sitzungssaal großartig.
8:00
Die Falle ist simpel. Sie warten nicht auf Erlaubnis.
8:03
Coopilots warten auf Sie. Autonome Agenten tun es.
8:05
Und wenn Sie eine Fehlentscheidung treffen, entsteht der Schaden sofort und skaliert durch Ihren gesamten Tinneln.
8:09
Das Konzept ist leicht verständlich.
8:10
Coopilots sind reaktiv. Agenten sind proaktiv.
8:13
Anstatt stillzuwarten, bis jemand einen Prompt eingibt,
8:15
konfigurieren Sie Agenten so, dass sie den Servicezustand überwachen,
8:18
Sicherheitssignale bearbeiten oder Workflows automatisch ausführen.
8:20
Microsoft verkauft das als Effizienz, weniger menschliche Verschwendung,
8:23
schnellere Erkennung und reibungslosere Abläufe.
8:25
Das Versprechen ist real, aber hier ist der wichtige Kontext.
8:29
Autonome Agenten im Coopilots Studio befinden sich derzeit noch in der Vorschauphase.
8:32
Vorschau bedeutet nicht kaputt, aber es bedeutet ungeprüft in der chaotischen, realen Welt.
8:36
Und selbst Microsoft sagt, Sie benötigen Lifecycle Governance-Leitplanken
8:39
und das Coopilot-Konsolensystem, bevor Sie an einen breiten Rollout denken.
8:41
Bedenken Sie ein realistisches Risiko.
8:44
Angenommen, Sie bauen einen autonomen Helpdesk-Agenten
8:45
und geben ihm die Befugnis, auf Anmeldeanomalien zu reagieren.
8:49
In einer Demo mit fünf Benutzern funktioniert es perfekt.
8:51
Alarme werden ausgelöst, Konten verwaltet.
8:53
Dann treffen in der Produktion vorausschte Eingammel.
8:55
Anstatt zu warten, beginnt es, hunderte Konten
8:57
aufgrund von falsch positiven Ergebnissen massenhaft zurückzusetzen.
9:00
Das Ergebnis ist kein hypothetischer Ausfall.
9:02
Es könnte realistisch gesehen den Betrieb zum Monatsabschluss lahmlegen.
9:05
Das ist keine Science-Fiction.
9:06
Es ist das Fehler-Szenario, auf das man sich einlässt,
9:08
wenn man die Bereichsabgrenzung auslöst.
9:09
Die Lösung ist nicht, die Technologie aufzugeben.
9:11
Sie besteht darin, zuerst das Sicherheitssystem.
9:13
Also, wie sieht die Checkliste zum Überleben aus?
9:14
Drei Dinge müssen vor jeder ausgefallenen Automatisierung erledigt werden.
9:17
Erstens, Identitäts- und Zugriffsbeschränkungen.
9:20
Geben Sie Ihrem Agenten minimale Rechte, keine pauschalen Administratoren.
9:22
Zweitens, Protokollierung und Rollback.
9:24
Jede Aktion muss eine Spur hinterlassen, die Sie prüfen können.
9:27
Und jede schwerwiegende Aktion braucht einen Rückweg,
9:28
falls der Agent eine Fehlfunktion hat.
9:30
Drittens, Inhalts- und Verhaltensfilter.
9:32
Microsoft adressiert dies mit Azure AI Content Safety und Wissenskonfiguration.
9:36
Das sind die Filter, die einen übereifrigen Bot davon abhalten,
9:38
unangemessene Antworten zu geben oder vom Skript abzuweichen.
9:41
Erledigen Sie das zuerst, sonst wird die Cleverness Ihres Agenten
9:43
Ihre Abläufe eher begraben, als Ihnen zu helfen.
9:45
Die ethische Ebene verschärft dies noch weiter.
9:47
Stellen Sie sich einen HR-Agenten vor,
9:49
der Mitarbeiter automatisch als riskant markiert
9:50
oder einen Finanzagenten der Lieferantenzahlung zurückhält,
9:52
der fälschlicherweise als Betrug einstuft.
9:54
Das sind keine harmlosen Macken.
9:56
Das sind Fehler mit menschlichen Auswirkungen
9:57
und rechtlichen sowie Compliance-Folgen.
9:59
Verzerrungen in Trainingsdaten oder beim Abruf verschwinden nicht einfach,
10:02
nur weil Sie jetzt in der Enterprise-Vorschau arbeiten.
10:04
Ohne Filter, Kontrollen und menschliche Rückwahloptionen
10:07
lagern Sie Entscheidungen aus,
10:07
die Ihre Anwälte definitiv nicht von einem unüberwachten Algorithmus
10:10
treffen lassen wollen.
10:11
Microsofts eigene Botschaft auf der Ignite war diesbezüglich deutlich.
10:14
Leitplanken, Lebenszyklusmanagement, Monitoring
10:16
und das Co-Pilot-Kontrollsystem sind kein Nice-to-have,
10:18
sie sind erforderlich.
10:19
Vorschau bedeutet heute weniger glänzende Demos
10:21
und mehr Tester, die zeigen, wo die Risse auftreten.
10:24
Wenn Sie ohne Stufentests, Genehmigungsworkflows
10:26
und Audits live gehen, betreiben Sie keinen Agenten,
10:28
sondern führen einen Stresstest Ihres Tenants in der Produktion durch.
10:31
Deshalb ist Beobachtbarkeit keine Option sondern Pflicht.
10:33
Sie benötigen Dashboards,
10:34
die jeden Schritt eines Agenten zeigen und prüfen,
10:36
ob sein Output fundiert, relevant
10:38
und mit ihrer Richtlinie vereinbar war.
10:40
Und Sie benötigen Optionen mit dem Menschen in den Prozesse.
10:42
Microsoft macht daraus kein Geheimnis.
10:44
Sie verweisen auf Muster, bei denen der Mensch als Sicherheitsnetz fungiert.
10:47
Denken Sie an den Autopiloten im Flugzeug.
10:49
Unglaublich nützlich,
10:50
aber immer mit einer manuellen Übersteuerung entworfen.
10:52
Wenn der Bot glaubt, die optimale Landung sei
10:54
in einem See, wollen Sie die Kontrolle vor dem
10:56
Aufprall übernehmen.
10:57
Die treffende Analogie hier ist,
10:58
einen Teenager das Autofahren leeren zu lassen.
11:00
Das Potenzial ist da, die Geschwindigkeit beeindruckend,
11:02
aber man übergibt nicht einfach die Schlüssel,
11:04
verlässt die Einfahrt und hofft auf das Beste.
11:05
Sie setzen sich auf den Beifahrersitz,
11:07
geben Grenzen vor und installieren eine Bremse,
11:08
die sie selbst betätigen können.
11:09
Das ist Lebenszyklus-Governance in der Praxis.
11:12
Dutzräder, bis sie sicher sind,
11:13
dass das System nicht vom Weg abkommt.
11:15
Damit kommen wir zur größeren Fertigungshalle,
11:17
in der Agenten, Co-Pilots und alle getesteten
11:19
Arbeitsabläufe zusammenlaufen.
11:20
Microsoft nennt das Azure AI Foundry,
11:22
einen zentralen Ort für die KI-Entwicklung
11:24
mit allen nötigen Werkzeugen.
11:25
Ob es zum Kraftwerk für die Produktion wird
11:27
oder zum Ort, an dem Ihr Projekt in Flammen aufgeht,
11:29
hängt ganz von Ihnen ab.
11:32
Azure AI Foundry, Ihre Fabrik oder Ihr Mimfeld.
11:35
Azure AI Foundry ist das neue Flaggschiff von Microsoft,
11:38
eine sogenannte Fabrik für alles, was mit KI zu tun hat.
11:41
Das Problem, zu viele Teams gehen dort hinein
11:43
und behandeln es wie ein Ikea-Besuch.
11:44
Sie schlendern geblendet durch die Kataloge,
11:46
schnappen sich ein paar glänzende Sprachmodelle,
11:48
werfen ein paar Konnektoren hinein
11:49
und schrauben ohne Anleitung etwas zusammen.
11:52
Am Ende haben Sie kein KI-System für Unternehmen,
11:54
sondern ein Demo-Spielzeug,
11:55
das beim ersten, unordentlichen PDF
11:57
eines echten Benutzers umkippt.
11:59
Hier ist das, was Foundry tatsächlich bietet,
12:01
direkt aus dem offiziellen Handbuch.
12:03
Ein Modellkatalog mit Angeboten
12:04
von Microsoft OpenAI,
12:05
Meta, Mr. Diepsig und Anna.
12:07
Anpassungsoptionen wie
12:08
Retrieval Augmented Generation,
12:10
Feintuning und Destillation.
12:12
Ein Agentendienst zur Orchestrierung,
12:14
Tools wie Promptflow für Bewertung und Debugging,
12:16
Sicherheitsgrundfunktionen,
12:18
Identitäts- und Zugriffskontrollen,
12:19
Inhaltsfilter und Observability-Dashboards.
12:22
Kurz gesagt, es sind alle Komponenten,
12:23
die Sie benötigen, um Co-Pilots,
12:25
Agenten und autonome Abläufe zu erstellen
12:26
und regelkonform zu halten.
12:27
Das ist in Lünter.
12:29
Das Problem ist nicht,
12:29
dass der Werkzeugkasten leer ist,
12:30
sondern dass zu viele Administratoren
12:32
es so behandeln,
12:32
als muss man nur einen GPT-4-Turboschalter umlegen,
12:34
um es produktionsreif zu machen.
12:36
Die Wahrheit ist,
12:36
Foundry ist eine Fertigungshalle,
12:38
keine Spielzeugkiste für ihren Hackathon.
12:39
Das bedeutet, Identitätsgrenzen zu setzen,
12:41
damit nur die richtigen Leute
12:42
auf die richtigen Modelle zugreifen können.
12:44
Es bedeutet,
12:44
jeden Prozess mit Sicherheitsfiltern
12:46
für Inhalte zu umgeben.
12:47
Es bedeutet, Observability zu nutzen,
12:49
damit Sie wissen,
12:49
wann eine Antwort fundiert ist
12:50
und wann das Modell
12:51
Firmenrichtlinien frei erfindet.
12:54
Und es bedeutet,
12:54
die Aufgabe mit dem richtigen Modell
12:56
zu verknüpfen,
12:56
anstatt nur das Größte zu wählen,
12:57
weil es sich klug anhört.
12:59
Überspringen Sie diese Schritte
13:00
und das Chaos kommt durch die Hintertür.
13:02
Ich habe erlebt,
13:02
wie ein Team eine Foundry-Co-Pilot
13:03
für SharePoint einrichtete,
13:04
fröhlich vertrauliche Personaldaten
13:06
an 20 Praktikanten weitergab.
13:08
Das war nicht clever,
13:08
es war ein Compliance-Desaster,
13:09
das mit integrierten Zugriffsregeln
13:10
hätte vermieden werden können.
13:12
Lassen Sie uns über echte Fälle sprechen.
13:14
Ein Unternehmen nutzte einmal
13:15
GPT-4 Turbo
13:15
für die Verschlagwortung von Produktfotos.
13:17
Im Labor meisterte es die Demo mit Bavur.
13:20
Saubere Studiofotos,
13:21
perfekte Tags,
13:22
alle waren begeistert.
13:23
In der Produktion waren die Eingaben
13:25
keine glänzenden JPEGs,
13:26
sondern unscharfe Handyfotos
13:27
aus dem Lager.
13:28
Plötzlich stufte die KI-Kinderwagen
13:29
fälschlicherweise als Bürostühle ein
13:31
und verwandelte UPC-Etiketten
13:32
in erfundene Seriennummern,
13:33
in erfundene Serien.
13:34
Zusätzlich zum Vertrauensverlust
13:36
begannen die Kosten zu steigen.
13:37
Und das ist kein Märchen
13:38
von 0,01 Dollar pro Nachricht.
13:39
Die Preisgestaltung von Foundries
13:40
ist nutzungsabhängig
13:41
und an die spezifischen Dienste
13:42
gebunden, die Sie verwenden.
13:43
Jeder Connector,
13:44
jeder Abrufaufruf
13:45
und jeder Nachrichtenzähler
13:46
wird Ihrem Tenant in Rechnung gestellt.
13:47
Jedes Element hat sein eigenes Modell.
13:50
Diese Flexibilität ist zwar schön,
13:51
aber wenn Sie nicht
13:52
mit dem Azure-Preiskalkulator schätzen
13:53
und die Nutzung verfolgen,
13:54
wird sich Ihr Finanzteam
13:55
über Ihre Überraschungsrechnung freuen.
13:58
Das ist die Kostenfall.
13:59
Verbrauchsbasierte Preise funktionieren,
14:00
wenn man plant,
14:01
überwacht und optimiert.
14:02
Wenn nicht, ist es so,
14:06
und sinnlos.
14:07
Wir alle kennen das von Dingen
14:08
wie Power BI,
14:09
tolle Demo,
14:09
explodierende Kosten.
14:11
Lassen Sie nicht zu,
14:12
dass Ihnen das mit Foundry
14:12
genauso passiert.
14:13
Entwickler lieben das Prototyping
14:14
in Foundry,
14:15
weil sich die Sandbox
14:16
so elegant anfühlt.
14:17
Und an der Sandbox
14:17
ist wie das auch.
14:18
Saubere Demodaten,
14:19
kein Chaos,
14:19
sofortiger Wow-Effekt.
14:21
Aber das ist der Knöp.
14:22
Teams bringen den Prototypen
14:23
ohne Evaluierungspipelines
14:24
in die Produktion.
14:25
Wer auf Evaluierungen
14:26
für Fundiertheit,
14:27
Sprachgewandtheit,
14:27
Relevanz und Kohärenz verzichtet,
14:29
handelt blind.
14:30
Und was passiert dann?
14:31
Die Nutzer bemerken
14:32
die Abweichung in der Ausgabe,
14:33
das Vertrauen sinkt,
14:33
die Führungsebene streicht die Finanzierung.
14:35
Das liegt nicht an Foundry,
14:36
sondern am Versagen
14:36
der Governance und Team.
14:38
Viele Foundry-Prototypen
14:38
kommen genau aus diesem Grund
14:39
nicht über die Produktionsreife hinaus.
14:41
Keine Beobachtbarkeit,
14:42
keine Qualitätskontrolle
14:43
und keine Telemetrie.
14:44
Die Antwort liegt direkt
14:45
in der Plattform bereit.
14:46
Nutzen Sie die Azure AI Foundry
14:47
Beobachtbarkeit vom ersten Tag an.
14:49
Binden Sie PromptFluss ein.
14:50
Lassen Sie bei jedem Test
14:51
integrierte Evaluatoren ab.
14:52
Fundieren Sie Ihr System
14:53
mit Azure AI Search
14:54
unter Verwendung von hybrider Such
14:55
und semantischem Reranking,
14:56
bevor Sie überhaupt
14:56
an den Livegang denken.
14:57
Microsoft hat diese Tools
14:58
nicht im Anhang versteckt,
14:59
sie sind für die Produktionssicherheit
15:00
dokumentiert.
15:01
Doch allzu oft
15:02
überlesen Entwickler
15:03
sie wie Fußnoten.
15:04
Diese Mentalität
15:05
der Kontrollpunkte
15:06
ist der Weg,
15:06
wie sie das Mienefeld meiden.
15:08
Betrachten Sie Foundry
15:09
als Fabrik,
15:09
Governance ist Schritt 1,
15:11
Compliance-Richtlinien
15:11
wie bedingter Zugriff
15:12
sind fest integriert
15:13
und Beobachtungspipelines
15:14
laufen von Anfang an.
15:16
Und ja, Identitätsabgrenzung
15:17
und Inhaltssicherheit
15:18
sollten nicht nachträglich
15:18
angeflanscht werden,
15:19
sie gehören zur Grundausstattung.
15:21
Wer Governance überspringt,
15:22
riskiert mehr als eine schlechte Antwort.
15:23
Ohne sie könnte
15:24
Ihr multimodaler Bot
15:25
fröhlicher HR-Gehälter
15:26
an externer Nutzerpreis geben
15:27
oder Rechnungen
15:28
mit fiktiven Richtlinien
15:29
um an versehen.
15:30
Das ist nicht nur
15:31
eine defekte KI
15:31
des Schlagzeilenfutters
15:32
das Ihr Compliance-Büro
15:33
nicht erklären möchte.
15:34
Und genau hier
15:35
verlagert sich der Fokus,
15:36
denn der nächste Stolperstein
15:37
ist technischer Natur
15:37
überhaupt nicht.
15:38
Es geht darum,
15:39
ob Ihre KI verantwortungsbewusst ist.
15:41
Jeder liebt es,
15:42
diese Begriffe
15:42
auf eine Keynote-Folie zu werfen,
15:44
aber in der Praxis
15:44
geht es um Audits,
15:45
Filter, Compliance
15:46
und den Berg an Entscheidungen
15:47
vor dem Start.
15:48
Und genau da
15:49
fangen die Kopfschmerzen
15:49
jetzt richtig an.
15:50
Abonnieren Sie uns
15:51
an M365 Showminus
15:52
Satter für die direkten Lösungen
15:53
und folgen Sie uns
15:54
auf M365.
15:56
Besuchen Sie unsere LinkedIn-Seite
15:57
für Livestreams mit MVPs,
15:58
die Foundry in der Produktion
15:59
getestet und gesehen haben,
16:00
was schief gehen kann.
16:01
Verantwortungsvolle KI
16:02
oder verantwortungsvolle Kopfschmerzen?
16:04
Jeder liebt es,
16:04
verantwortungsvolle KI
16:05
in einer Keynote fallen zu lassen.
16:07
Es sieht gut aus,
16:07
neben Schlagworten
16:08
wie Fairness und Transparenz.
16:10
Aber an der Front
16:10
ist es keine inspirierende Philosophie.
16:12
Es sind Konfigurationen,
16:13
Audits, Filter
16:14
und Governance-Schritte,
16:15
die sich eher nach Serverwartung
16:16
als nach Innovation anfühlen.
16:18
Verantwortungsvolle KI
16:19
ist der Sicherheitsgurt,
16:19
nicht der Sportwagen.
16:20
Lassen Sie ihn einmal weg
16:21
und der Crash kommt schnell.
16:23
Microsoft spricht vorab
16:24
über Ethik und Sicherheit,
16:25
doch für Administratoren,
16:26
die das live umsetzen,
16:27
bedeutet es praktische Leitplanken.
16:29
Sie brauchen Zugriffsrichtlinien,
16:30
die unter Druck nicht nachgeben,
16:31
Filter,
16:32
die schädliche Prompts
16:33
wirklich blockieren
16:33
und Protokolle,
16:34
die detailliert genug
16:35
für eine Regulierungsbehörde
16:36
mit Koffein und Vorladung sind.
16:38
Es ist keine glamouröse Arbeit.
16:39
Es geht darum,
16:39
HR-Copilots von Finanzdaten
16:41
zu isolieren,
16:41
Bereichsregeln festzulegen,
16:42
damit Team-Bots nicht
16:43
in SharePoint-Geheimnisse eindringen
16:44
und Protokolle so zu taggen,
16:46
dass man beweisen kann,
16:47
wie eine Antwort entstanden ist.
16:49
Wenn Sie das richtig machen,
16:50
ist Verantwortung kein Firmenslogan,
16:51
sondern Überlebensstrategie.
16:53
Die hässliche Konsequenz,
16:54
wenn man das ignoriert,
16:54
ein Bot wird direkt
16:55
ohne Tenenteinschränkung
16:56
an das HR-Repository angeschlossen.
16:59
Ein Benutzer fragt
17:00
nach Versicherungsleistung.
17:01
Der Bot veröffentlicht
17:02
hilfreich Gehaltsbände
17:03
der Mitarbeiter im Chat.
17:05
Jetzt haben Sie eine Datenschutzverletzung,
17:06
einen Albtraum für die Arbeitsmoral
17:08
und möglicherweise
17:08
Regulierungsbehörden im Lacken.
17:10
Der schnellste Weg,
17:11
die Akzeptanz zu töten,
17:11
ist keine schlechte UX,
17:12
sondern ein einziger
17:13
Leck vertraulich hat ab.
17:14
Was hält dieses Chaos also ab?
17:15
Fangen Sie mit
17:16
Azure AI Content Safety an.
17:17
Es wurde entwickelt,
17:18
um gewalttätige,
17:19
obszöne und anstößige
17:20
Eingaben und Antworten
17:21
herauszufiltern,
17:21
bevor Sie die Benutzer erreichen.
17:23
Aber das ist nur
17:23
die grundlegende Hygiene.
17:24
Foundry und Copilot Studio
17:26
bauen auf Evaluierungspipelines auf,
17:27
die die nächste Ebene abdecken.
17:29
Groundedness Checks,
17:30
Relevant Scoring,
17:31
Transparenz Dashboards
17:32
und Erklärbarkeit.
17:34
Einfach ausgedrückt.
17:35
Sie können Schwellenwerte anpassen,
17:37
Eingaben und Ausgaben filtern
17:38
und Bots dazu bringen,
17:39
ihre Arbeit offen zu legen.
17:40
Ohne das würfeln Sie bei dem,
17:41
was die KI ausspuckt.
17:43
Und hier ist die Realität
17:44
der Ressourcen.
17:45
Microsoft setzt sich hier voll ein.
17:47
34.000 Vollzeit-Ingenieure
17:49
für Sicherheit
17:49
plus 15.000 Partner
17:51
mit tiefer Sicherheitsexpertise.
17:53
Das ist eine Festung.
17:54
Aber lehnen Sie sich nicht zurück.
17:56
Keiner dieser Ingenieure
17:56
ist in Ihrem Tenant
17:57
und erstellt Ihre Zugriffsregeln.
17:59
Microsoft tiefert die Leitplanken.
18:01
Aber es bleibt Ihre Aufgabe,
18:02
Identitäten zu sichern,
18:03
Daten zu isolieren,
18:04
Verschlüsselung anzuwenden
18:04
und Richtlinien zu konfigurieren.
18:07
Wenn Ihr Scoping nachlässig ist,
18:08
haften Sie dennoch
18:08
für den Sicherheitswurf.
18:09
Die wahre Lösung
18:10
ist eine Governance
18:10
des gesamten Lebens.
18:11
Betrachten Sie es als das Rezept,
18:13
das Microsoft selbst empfiehlt.
18:14
Testen, freigeben,
18:16
veröffentlichen, prüfen,
18:18
iterieren.
18:19
Mit Checkpoints
18:19
in jedem Zyklus
18:20
erkennen Sie Abweichungen,
18:21
bevor Sie Schlagzeilen machen.
18:23
Teams, die einmal ausliefern
18:24
und dann abschalten,
18:25
scheitern immer.
18:26
Modelle entwickeln sich,
18:27
Prompt sendern sich
18:28
und Ergebnisse driften ab.
18:29
Governance ist kein unnötiger
18:30
bürokratischer Ballast.
18:31
Sie verhindert,
18:32
dass ein interner Bot
18:32
Richtlinien Teams erfindet,
18:34
während alle schlafen.
18:35
Manche Admins beklagen,
18:36
dass verantwortungsbewusst
18:37
nur langsamer bedeutet.
18:38
Die falsche Perspektive.
18:39
Verantwortung tötet
18:40
nicht die Geschwindigkeit,
18:41
sie verhindert,
18:41
dass Geschwindigkeit sie tötet.
18:43
Rude Governance bedeutet,
18:44
dass Sie Audits bestehen
18:45
und Projekte dennoch
18:46
vorantreiben können.
18:47
Ignorieren Sie das
18:48
und Sie stürzen hinab.
18:49
Geschwindigkeit ohne Kontrollen
18:50
führt nur zu einer Art von Rekord.
18:51
Die kürzeste Zeit
18:52
bis zur Fehlanalyse.
18:53
Denken Sie an Fahrten
18:54
durch Bergsepplantien.
18:55
Man verflucht nicht
18:56
die Leitplanken,
18:57
man dankt ihnen,
18:57
wenn es 60 Meter
18:58
in die Tiefe geht.
18:59
Bei verantwortungsvoller
19:00
KI ist es.
19:00
Scopes, Richtlinien, Filter,
19:02
LOXI bremsen nicht ihr Tempo,
19:03
sie verhindern
19:03
die negativen Schlagzeilen.
19:05
Unterm Strich.
19:06
Microsoft hat Ihnen
19:07
mächtige Werkzeuge
19:07
an die Hand gegeben.
19:09
Content-Sicherheit,
19:10
Valuierungspipelines,
19:11
Sicherheitsframeworks,
19:12
SDK-Leitplanken,
19:12
doch es bleibt Ihre Aufgabe.
19:14
Tenants abzugrenzen,
19:15
Zugriffe zu konfigurieren
19:16
und diese Schleifen
19:16
in Ihren Produktionszyklus
19:17
zu integrieren.
19:19
Tun Sie das
19:19
und Ihre KI übersteht
19:20
Compliance-Vorgaben,
19:21
anstatt daran zu zerbrechen.
19:23
Ignorieren Sie das,
19:24
droht nicht nur
19:24
ein Ausfallrisiko,
19:25
sondern auch das Ende
19:26
Ihrer Karriere.
19:27
Verantwortungsvolle KI
19:28
ist nicht langsam.
19:29
Verantwortungsvolle KI
19:29
ist überlebensfähig
19:30
und Überlebensfähigkeit
19:31
ist der wahre Test,
19:32
denn die Zukunft
19:33
dreht sich nicht um Features,
19:34
sondern darum,
19:34
ob Sie diese Plattform
19:35
als Plug-and-Play
19:36
oder als Governance-First-Infrastruktur
19:37
begreifen.
19:38
Dieser Unterschied entscheidet
19:39
darüber, wer besteht
19:40
und wer ausbrennt.
19:41
Das Fazit dazu.
19:42
Die Falle ist nicht Foundry
19:43
oder Co-Pilot-Studio,
19:44
sondern der Glaube
19:45
an reines Plug-and-Play.
19:46
Die Merkregel ist simpel.
19:48
Erst Governance,
19:48
dann Experimente,
19:49
zuletzt Produktion.
19:51
Identitätsmanagement
19:51
um Beobachtbarkeit
19:55
Prototypen echte Produktion.
19:57
Wenn Sie also klare Lösungen wollen,
19:58
die Ihren Tenent
19:58
wirklich am Leben erhalten,
20:00
abonnieren Sie den Podcast
20:00
und hinterlassen Sie
20:01
alle Bewertungen.
20:03
Ich investiere täglich viel Zeit
20:04
und Ihre Unterstützung
20:05
hilft mir wirklich.
20:06
Tools ändern sich
20:07
über Lebenstaktiken
20:07
bleiben bestehen.