Latest / M365.FM – Microsoft 365, Copilot & KI Podcast auf Deutsch / Enterprise-KI mit Power Platform und Azure OpenAI: Architektur, Sicherheit und Governance jenseits der Chatbot-Demo (KI-Synchronfassung)

Transcript

Enterprise-KI mit Power Platform und Azure OpenAI: Architektur, Sicherheit und Governance jenseits der Chatbot-Demo (KI-Synchronfassung) · M365.FM – Microsoft 365, Copilot & KI Podcast auf Deutsch

• 0:00
  Bereit für 10 Tage Microsoft 365, Co-Pilot KI Azure und die Menschen, die die Zukunft der Arbeit gestalten.
• 0:07
  Diesen Januar ist die M365-Con zurück und zwar noch größer, noch größer.
• 0:12
  Seien Sie dabei bei Live-Sessions, Demos aus der Praxis und erfahren Sie praktisches Wissen von MVPs und Branchenexperten aus aller Welt.
• 0:18
  Keine generischen Folien, keine endlosen Schlagworte.
• 0:22
  Wir stellen uns den echten Herausforderungen.
• 0:23
  Co-Pilot Studio, KI Agents, Fabric, Sicherheit, Governance und Automatisierung.
• 0:28
  Ganz gleich, ob Sie IT-Experte, Entwickler oder Führungskraft sind, es gibt speziell aus Sie zugeschnittene Sessions.
• 0:35
  An 10 vollen Tagen können Sie verschiedene Technologien kennenlernen und sich mit einer globalen Community vernetzen.
• 0:40
  Sehen Sie sich die Live-Übertragung an und nehmen Sie praktische Einblicke mit nach Hause in Ihr Unternehmen.
• 0:45
  Januar 2027, 10 Tage, eine Microsoft-Community.
• 0:49
  Die Registrierung ist ab sofort möglich.
• 0:52
  Gehen Sie noch heute an Ihren Platz.
• 0:54
  Das ist m360con.net.
• 1:00
  Melden Sie sich jetzt auf m360con.net an und wir sehen uns im Januar live.
• 1:04
  Haben Sie sich!
• 1:06
  Jemals gefragt, warum so viele KI-gestützte Power-Plattform-Demos bei Chatbots aufhören und sich nicht in einem echten Geschäftsworkflow bewähren?
• 1:12
  Dieses Video zeigt, was nicht der Fall ist, wie Sie Azure Open AI mit Power-Apps und Dynamics 365 verknüpfen und dabei alle Sicherheits-, Leistungs- und Governance-Funktionen nutzen, die für professionelle Bereitstellungen erforderlich sind.
• 1:25
  Wenn Sie sich weniger Magie und mehr Wissen gewünscht haben, sind Sie hier genau richtig.
• 1:28
  So ist sie!
• 1:28
  Abgesehen vom Connector beginnt die eigentliche Anatomie der KI in der Power-Plattform.
• 1:33
  Immer auf die gleiche Weise.
• 1:36
  Geschäftsanwender sehen eine raffinierte Demo, vielleicht einen Vertriebs-Chatbot, der innerhalb von Sekunden antworten kann, oder eine Kundendienst-App, die Tickets wie von Zauberhand sortiert.
• 1:44
  Und Sie denken großartig, das lasse ich gleich in Power-Apps implementieren.
• 1:47
  Der Connector ist da, die Bildschirme leuchten auf und die Leute stellen sich vor, wie KI-Routineaufgaben erledigt.
• 1:52
  Doch die Realität holt sich schneller.
• 1:53
  Der Connector funktioniert für zwei Personen in einer Demo und dann, gerade wenn man denkt, man entwickelt das nächste große Ding, tauchen Leistungsprobleme auf, Chatbots fangen an, Unsinn zu murmeln oder sensible Kundendaten werden aus Versehen herausgelangt.
• 2:06
  Hier scheitern die meisten KI-Integrationen.
• 2:08
  Schuld daran ist der Mythos, dass das Hinzufügen von KI zu Power-Plattformen durch Klicken auf Plus und Hinzufügen eines Connectors sowie dessen Verknüpfung eines Connectors sowie dessen Verknüpfung mit Azure umher erfolgt.
• 2:15
  Diese Denkweise hält sich hartnäckig, denn auf dem Papier sehen diese Tools fast so einfach aus, wenn das doch nur der schwierige Teil wäre.
• 2:21
  Also was steckt wirklich im Hintergrund, wenn man mehr als nur ein Spielzeugprojekt möchte?
• 2:25
  Zu verstehen, wo die KI-Magie wirklich stattfindet, macht den Unterschied zwischen dem Scheitern einer Demo und der tatsächlichen Unterstützung eines Geschäftsprozesses.
• 2:31
  In so ziemlich jedem seriösen Power-Plattform-KI-Setup gibt es vier Akteure.
• 2:35
  Erstens haben Sie Power-Apps oder Dynamics 365 selbst, mit denen die Endbenutzer interagieren und Sie sind der eigentliche Auslöser für jede KI-Anforderung.
• 2:43
  Sie sammeln Daten, vielleicht eine Kundennachricht, ein Umfrageergebnis, eine Produktbewertung oder welche Eingaben auch immer Sie benötigen.
• 2:50
  Power-Apps kommunizieren jedoch nicht direkt mit Azure Open AI.
• 2:53
  Hier kommt Power Automate ins Spiel und orchestriert das Ganze.
• 2:56
  Jedes Mal, wenn ein Benutzer auf eine Schaltfläche klickt oder ein Formular absendet, erfasst der Power Automate Flow die Daten, bringt sie in das richtige Format und sendet sie an die gewünschte Stelle.
• 3:03
  An dritter Stelle steht der Azure Open AI Endpunkt.
• 3:07
  Dies ist das eigentliche Gehirn, das Funktionen wie Stimmungsanalysen, Textzusammenfassungen oder sogar das Generieren von Kundenantworten bereitstellt.
• 3:14
  Und versteckt im Stapel befindet sich Azure API Management, das sträflich übersehen wird, bis etwas explodiert.
• 3:20
  Das ist der Sicherheits- und Drosselungsaspekt, der den Unterschied zwischen einem gleichmäßigen Datenfluss und einer Überflutung der Leitungen auslöst.
• 3:25
  Lassen Sie uns aufschlüsseln, wie diese Puzzleteile aufeinander aufbauen.
• 3:28
  Nehmen wir den Trigger in dem Moment, in dem ein Benutzer in Dynamics 365 beispielsweise ein Verkaufsgespräch protokolliert.
• 3:34
  Das löst ein Power Automate Flow aus.
• 3:37
  Der Flow verschiebt nicht nur Daten von A nach B.
• 3:39
  Er kann auch Text bereinigen, Kontext aus anderen Quellen zusammenführen oder Felder aus Datenschutzkunden maskieren, bevor die Anfrage an Azure Open AI weitergeleitet wird.
• 3:47
  Dieser Prozess ist wichtig.
• 3:48
  Wenn der Flow langsam ist, weil eine andere Automatisierung Ressourcen verbraucht, kommt es in Ihre App zu akkumulierten Latenzen.
• 3:55
  How?
• 3:56
  Wenn Power Automate die Nutzlast nicht richtig vorbereitet.
• 3:58
  Zum B.
• 3:59
  Wenn bei einer Produktbewertung der Kontext fehlt oder sie mit einer seltsamen Formatierung eingeht.
• 4:03
  Gebt Ihr Open AI-N-Punkt seltsame Ergebnisse zurück oder schlimmer noch, halluzinierte Antworten.
• 4:07
  Schlimmer noch.
• 4:08
  Es findet also keine Intelligenz statt, wenn die vorgelagerte Verkabelung unübersichtlich ist.
• 4:12
  Mit Azure API Management wird dies noch interessanter.
• 4:14
  Während alle von der Intelligenz begeistert sind, denken nicht genügend Leute darüber nach, wer wie oft Zugriff haben sollte.
• 4:21
  API Management fungiert wie ein Türöffner.
• 4:24
  Es überprüft jede Anforderung, wendet die Authentifizierung an und stellt sicher, dass die Nutzung nicht außer Kontrolle gerät.
• 4:28
  Wenn Sie keine Drosselungsrichtlinien einrichten, kann eine defekte App tausende von Anforderungen pro Stunde ausführen und plötzlich Ihre Open AI-Instants überlasten oder, was eben so lustig ist, eine horrende Azure-Rechnung verursachen.
• 4:39
  100.
• 4:40
  Außerdem wird protokolliert, was getan hat.
• 4:42
  Wenn also etwas kaputt geht oder jemand Abstrich macht, haben Sie tatsächlich einen Prüffahrt, dem Sie folgen können.
• 4:47
  In Demos werden diese Probleme nie wirklich gezahlt.
• 4:49
  In diesen kurzen exemplarischen Vorgehensweisen ist alles für eine Handvoll Benutzer und nahezu perfekte Netzwerkbedingungen optimiert.
• 4:56
  In einem echten Unternehmen gibt es jedoch tatsächliche SLAs, Datenschutzbedenken und Leistungsschwellenwerte, die nicht einfach ignoriert werden können.
• 5:02
  Nehmen wir beispielsweise an, Sie starten eine Power-App für Vertriebsfeedback mit integrierter Stimmungsanalyse.
• 5:06
  Mit nur 10 Personen läuft der Ablauf reibungslos und Sie erhalten in weniger als einer Sekunde nützliche Ergebnisse.
• 5:11
  Doch sobald die Zahl auf 10.000 ansteigt, vielleicht nach einer E-Mail-Kampagne oder einer Fusion, treten Wartezeiten von 30 Sekunden oder Fehler auf, weil Ihr Endpunkt nicht mit den Anforderungen Schritt halten kann.
• 5:20
  Schlimmer noch, es kann vorkommen, dass die Hälfte der Feedback-Daten plötzlich nicht mehr verarbeitet werden kann, weil Ihre Nutzlastgröße die Grenzwerte von Azure überschreitet oder die Sicherheitsrichtlinien für API-Management nie verschärft wurden.
• 5:33
  Anstatt dem Vertrieb nun zu helfen, blockiert Ihre KI-Pipeline ihn und der Helpdesk ist nicht begeistert.
• 5:38
  Das ist der Weckrupp.
• 5:39
  Das Einrichten eines Connectors ist nichts weiter als die Einladung zur Architektur-Party.
• 5:43
  Das eigentliche Ereignis besteht darin, herauszufinden, wie die einzelnen Ebenen interagieren und wie fragil die Dinge werden, wenn sie versuchen zu skalieren.
• 5:52
  Zu wissen, wie Power-Apps Orchestrierung auslösen, wie Flows Daten verarbeiten und sichern, wie KI-Endpunkte sie interpretieren und wie API-Management als Leitplanke fungiert, ist es, was einen Bot, der in einer Sandbox feststeckt, von einer unternehmensfähigen Lösung unterscheidet.
• 6:05
  Wenn Sie nur den Connector verstehen, setzen Sie immer die Stabilität und Sicherheit aufs Spiel.
• 6:09
  Jeder kann per Drag & Drop eine neue KI-Demo in Power-Apps erstellen.
• 6:14
  Um etwas zu entwickeln, das den Kontakt mit echten Benutzern und echten Daten übersteht, müssen Sie sich in die Details vertiefen und sich nicht nur an Connectoren orientieren.
• 6:21
  Wenn sich also die Anfrage von diesen Echotexterstellen in ein Geschäftsproblem tatsächlich lösen ändert, muss die Intelligenz um einiges intelligenter werden.
• 6:29
  So werden die Gehirne für geschäftliche Auswirkungen verkabelt.
• 6:32
  Optimieren von KI für Unternehmensstimmung, Zusammenfassung und mehr.
• 6:35
  Wenn Sie schon einmal mit Azure Open AI in Power-Plattform herumgespielt haben, ist Ihnen wahrscheinlich etwas Merkwürdiges aufgefallen.
• 6:42
  Ein Endpunkt kann negative Stimmungen in einem Satz erkennen, eine komplette E-Mail-Kette zusammenfassen oder eine neue Produktbeschreibung verfassen, manchmal sogar an nur einem Tag.
• 6:50
  Und das alles mit derselben KI-Box.
• 6:52
  Das ist aber keine Zauberei und es gibt einen Grund, warum nicht wenige Projekte in dem Moment scheitern, indem man versucht, etwas wirklich Nützliches zu tun.
• 6:59
  Oft wird angenommen, man könne einfach die Eingabeaufforderungen austauschen und fertig.
• 7:02
  Wie sieht die Realität aus?
• 7:04
  Jeder geschäftliche Anwendungsfall erfordert einen anderen Ansatz und hier scheitert die Vorstellung von Plug-and-Play, Shine-Play.
• 7:09
  Sprechen wir über den Unterschied zwischen Stimmungsanalyse und Textgenerierung.
• 7:12
  Angenommen, Sie möchten, dass Ihre Dynamics 365 Erdkundenbeschwerden kennzeichnet.
• 7:17
  Die Stimmungsanalyse ist der naheliegende erste Anwendungsfall.
• 7:19
  Kurze Eingaben, schnelle Antworten, geringe Kosten und kaum Kontext.
• 7:23
  Danach verfolgt werden muss.
• 7:25
  Das funktioniert, weil Power Automate nur die grundlegendsten Daten an den Open AI Endpunkt übergeben muss.
• 7:29
  Das ist ein oder zwei Sätze zusammen mit der richtigen Eingabeaufforderung, die dem Modell mitteilt, wonach es suchen soll.
• 7:35
  Sie können Dutzende von Datensätzen durchgehen, ohne dass das Modell außer Kontrolle gerät oder Ihr Budget auffrisst.
• 7:41
  Diese Abläufe sind einfach zu verwalten.
• 7:42
  Leicht zu drosseln und müssen fast nie neu geschrieben werden.
• 7:45
  Fahren wir nun mit der Zusammenfassungsgenerierung fort, die bereits an die Grenzen stößt.
• 7:49
  Wenn Ihre Power App es Managern ermöglicht, detaillierte Besprechungsnotizen einzufügen und innerhalb von Sekunden zusammenhängende Zusammenfassungen zu erwarten,
• 7:54
  muss die Eingabeaufforderung, die Sie an Open AI senden, prägnant formuliert und auf den richtigen Ton abgestimmt sein.
• 8:01
  Selbst dann sind nicht alle Zusammenfassungen gleich.
• 8:04
  Wenn Ihre Nutzlast zu umfangreich oder der Quelltext zu unstrukturiert ist, kann das Modell aus der Rolle fallen und mit Paraphrasen beginnen,
• 8:10
  anstatt zusammenzufassen oder sogar Details halluzinieren, die nie stattgefunden haben, bekommt die Konfiguration wieder ins Spiel.
• 8:17
  Power Automate muss die Eingabeformen und Signaturen entfernen, die Formatierung beseitigen und das Dokument möglicherweise in Abschnitte aufteilen, wenn es zu lang ist.
• 8:23
  Und das alles, bevor die Karriere Arbeit tut.
• 8:25
  Richtig haarig wird es jedoch bei der vollständigen Textgenerierung oder Klassifizierung in großem Umfang.
• 8:30
  Nehmen wir an, Ihr Vertriebsziel möchte Benutzer definierte E-Mail-Antworten im Handumdrehen erstellen oder Ihre Support-Mitarbeiter möchten,
• 8:35
  dass jedes Ticket nach Problemtyp kategorisiert wird.
• 8:38
  Die meisten Leute wissen nicht, dass die Ausführung dieser KI-gestützten Flows mit tausend von Eingaben nichts mit der rosigen Demo zu tun hat.
• 8:43
  Nichts mit der rosigen Demo zu tun hat.
• 8:44
  Der Power Automate Flow muss riesige Datensätze durchlaufen.
• 8:47
  Der OpenAI-Endpunkt wird mit Anforderungen überflutet und plötzlich sinkt Ihr Durchsatz und Ihre Azure-Rechnung steigt an,
• 8:54
  manchmal so schnell, dass die Buchhaltung eingeschaltet werden muss.
• 8:59
  Der große Knackpunkt dabei ist, dass diese KI-Prozesse als austauschbar behandelt werden.
• 9:03
  Die Stimmungsanalyse kostet möglicherweise nur ein paar Bruchteile eines Cents pro Anforderung.
• 9:07
  Aber die Generierung umfangreicher Formulare erhöht die Komplexität des Modells, verarbeitet hunderte von Token und benötigt mehr Zeit für die Reaktion.
• 9:15
  Hinzu kommt die Notwendigkeit benutzerdefinierter Anweisungen, möglicherweise eines anderen Torens oder einer anderen Formulierung für einen anderen Kunden
• 9:20
  und jede Optimierung erfordert ein präzises Prompt Engineering.
• 9:23
  Die Leute hören diesen Ausdruck Prompt Engineering und denken, es geht dabei nur darum, bessere Anweisungen zu tippen, aber es ist eher wie das Optimieren eines Suchalgorithmus.
• 9:29
  Sie testen, erhalten bizarre Ergebnisse und schreiben neu.
• 9:31
  Und jede Variation, die Sie herausgeben, wirkt sich nicht nur auf die Ausgabe, sondern auch auf den Zeit-, Kosten- und Sicherheitsprofil Ihres Workflows aus.
• 9:38
  Das ist keine Theorie. Es gibt zu viele Beispiele aus der Praxis, um sie zu ignorieren.
• 9:42
  Ein Unternehmen hat einmal einen Power-Plattform-Flow erstellt, der OpenAI verwendete, um Kundendienst-Tickets zu priorisieren, nach Stimmung zu klassifizieren und eine vorgefertigte Antwort vorzuschlagen und eine vorzuschlagen.
• 9:52
  In der Staging-Phase sah alles perfekt aus.
• 9:54
  Das Problem trat auf, als das Team den Flow für alle Support-Mitarbeiter freigab und der Endpunkt plötzlich jede Minute Anfragen für jedes Ticket erhielt.
• 10:02
  Das Modell war auf die allgemeine Textgenerierung ausgelegt, nicht nur auf die einfache Klassifizierung.
• 10:05
  Daher analysierte es den gesamten Ticketverlauf und schrieb jedes Mal Entwürfe mit mehreren Absätzen.
• 10:11
  Die Kosten stiegen über Nacht in die Höhe, die Workflows wurden immer langsamer und die KI begann, in ihren Vorschlägen Informationen zu erfinden.
• 10:17
  Niemand stellte die Frage, warum für eine einfache Priorisierungsaufgabe der Endpunkt auf die Textgenerierung anstatt auf eine kurze Klassifizierung optimiert werden musste.
• 10:25
  Es dauerte Stunden der Untersuchung, bis jemand erkannte, dass einige Einstellungen Power Automate und die Endpunkt-Konfiguration das ganze Chaos verursachten.
• 10:33
  Wenn Sie etwas Kontrolle wünschen, legen Sie zunächst Nutzungskontingente für Power Automate Flows fest und überwachen Sie die Anforderungs- und Token-Nutzung immer über das Azure-Portal.
• 10:42
  Richten Sie für schnelle Aufgaben wie Klassifizierung oder Stimmungsanalyse parallele Abläufe ein und verwenden Sie das kleinste Modell, das die Aufgabe erledigt.
• 10:48
  Begrenzen Sie für die Generierung umfangreicher Formulare die maximale Token-Anzahl und drosseln Sie, wie oft Benutzer auf diese Funktionen zugreifen können.
• 10:57
  Überprüfen Sie regelmäßig die Produkte.
• 10:59
  Erkennen Sie Spitzen oder Ausreißer so früh wie möglich.
• 11:01
  Wenn Sie diese Schritte überspringen, wird die Plattform dies mit einer verspäteten Rechnung oder Schlimmerem kennzeichnen und die Benutzer werden dies durch eine träge App-Leistung zu spüren bekommen.
• 11:09
  Bei der richtigen KI-Konfiguration geht es also nicht nur darum, dass die Lösung funktioniert.
• 11:13
  Es geht darum, die Geschäftsbetriebe am Laufen zu halten, die Kosten vorhersehbar zu machen und die Ergebnisse vernünftig zu gestalten.
• 11:17
  Mit der falschen Einrichtung wird KI-Rekordzeit von einem Verbündeten zu einer Belastung.
• 11:22
  Nachdem Sie nun Ihre Apps mit intelligenter Intelligenz ausgestattet haben, müssen Sie herausfinden, wer Sie verwenden darf und wie Sie Ihre Endpunkte und Daten in großem Umfang schützen.
• 11:31
  Sichern des Ablaufs?
• 11:32
  Warum Azure API Management Ihr Schutzschild ist?
• 11:35
  Sie haben sicherlich bemerkt, dass die meisten KI-Demos der Power-Plattformen das Thema Sicherheit beim Seite wischen, als wäre es nur ein weiteres Kontrollkästchen am Ende.
• 11:41
  Wenn Pilotprojekte jedoch von internen Spielwiesen in die Live-Produktion übergehen, zeigen sich schnell neue Risiken.
• 11:48
  Plötzlich beantwortet dieser Open-AI-Endpunkt nicht nur harmlose Testaufforderungen.
• 11:53
  Er ist ein potenzielles Fenster zu allem, was Ihre App offenlegt.
• 11:56
  Stellen Sie sich einen Kundenservice-Workflow vor, der Kundendaten still und heimlich über eine ungesicherte API leitet,
• 12:01
  oder einen Chatbot, der mit einem Schlüssel betrieben wird, der offen herumgereicht wird.
• 12:05
  Eine Handvoll Fehltritte kann ein Unternehmen anfällig für unbefugten Zugriff, Datenlecks oder eine Flut von API-Aufrufen von den falschen Leuten machen.
• 12:12
  Ei, das ist keine Hypothese?
• 12:14
  Sobald Sie Azure Open-AI-Endpunkte mit Power-Apps oder Dynamics 365 verbinden, setzen Sie eine große Bedrohung frei.
• 12:21
  Wenn die falsche Person ihren API-Schlüssel abgreift, vielleicht in einem Skript oder versteckt in einem Testablauf, kann sie damit beginnen,
• 12:25
  Aufforderungen zu senden, Antworten abzurufen und die Nutzung zu steigern, Antworten abzurufen und steigern.
• 12:29
  Die DOS-Angriffe werden zum echten Problem.
• 12:32
  Selbst ohne böswillige Akteure könnte eine falsch konfigurierte App, die den falschen Datensatz wiederholt, ihren Endpunkt ununterbrochen angreifen.
• 12:38
  In beiden Fällen entstehen nicht nur Governance-Probleme, sondern es können auch explodierende Kosten entstehen.
• 12:43
  Je nachdem, welche Daten über die Leitung übertragen werden, können auch echte Compliance-Risiken auftreten.
• 12:47
  Hier kommt Azure API Management als heimlicher Held ins Spiel.
• 12:50
  Die meisten Leute sehen es als eine weitere zu konfigurierende Azure-Ressource, aber in Wirklichkeit ist es der Unterschied zwischen Ordnung und Chaos und Chaos.
• 12:56
  API Management leistet Dinge, die Power Automate und die Connectors selbst nicht können.
• 13:01
  Es erzwingt die Authentifizierung und Autorisierung jedes Mal, wenn eine Anforderung gestellt wird und nicht nur, wenn sie daran denken, sie zu kodieren.
• 13:07
  Es begrenzt die Anzahl der Anforderungen, die ihren Endpunkt erreichen, was bedeutet, dass ein einzelner Entwicklerfehler oder ein außer Kontrolle geratenes Skript ihr Budget oder ihren Ruf nicht gefährdet.
• 13:14
  Außerdem werden detaillierte Protokolle geführt, sodass sie bei Fragen dazu, wer wann auf was zugegriffen hat, nachverfolgen können, nachverfolgen können.
• 13:21
  Sprechen wir über einen realen Vorfall.
• 13:23
  Eine Organisation hat einen KI-Klassifizierungsfloor für Kunden-E-Mails in Dynamics 365 eingeführt und den API-Schlüssel an Power Automate übergeben.
• 13:30
  Der Schlüssel gelangt in einen freigegebenen Dokumentationsordner und ein eifriges, aber ungeschultes Teammitglied hat versehentlich eine rekursive Schleife in seine Test-App eingebaut.
• 13:37
  Innerhalb weniger Stunden erreichten tausende API-Aufrufe den OpenAI-Endpunkt, viele davon wiederholten sich mit denselben wenigen Datensätzen.
• 13:44
  Die Azure-Rechnung stieg unerwartet stark an und erst nach dem Durchforsten der Protokolle erkannte das Team, was passiert war.
• 13:49
  Das Schlimmste war nicht nur die Rechnung, sondern auch die Ungewissheit, ob sensible Informationen an der falschen Stelle gelandet waren.
• 13:56
  Wäre API-Management vorhanden gewesen, hätte die Schleife lange vor dem Eskalieren der Situation einen Fehler bei der Ratenbegrenzung ausgelöst
• 14:02
  und eine bessere Protokollierung hätte die Flut sofort erkannt.
• 14:05
  API-Management-Richtlinien sind das eigentliche Sicherheitsnetz.
• 14:09
  Sie können Ratenbegrenzung einrichten, wie eine maximale Anzahl von Zugriffen pro Minute und Benutzer.
• 14:14
  Sie können Aufrufe nach IP-Bereich beschränken, sodass nur Anforderungen von bekannten Power-Plattformen-Gateways zulässig sind.
• 14:20
  Für Organisationen mit strengen Compliance-Richtlinien können Sie Header oder Token anfordern,
• 14:24
  die für Ihren Geschäftsprozess eindeutig sind, wodurch wahlfreier Zugriff von außen sowohl störend als auch leicht zu blockieren ist.
• 14:30
  Alle diese Kontrollen wurden speziell entwickelt, um Endbenutzer nicht zu frustrieren,
• 14:34
  sondern um sicherzustellen, dass eine schnell wachsende, KI-gestützte App Ihren Betrieb nicht lahmlegt oder, schlimmer noch, Kundendaten gefährdet.
• 14:42
  Hier ist es wichtig an den Richtgewicht.
• 14:44
  Sicherheitsrichtlinien müssen stark genug sein, um Missbrauch zu verhindern, dürfen aber den normalen Geschäftsbetrieb nicht verlangsamen.
• 14:48
  Wenn die Drosselung zu stark festgelegt wird, schlagen legitime Anforderungen fehl und Benutzer beginnen mit Umgehungsversuchen,
• 14:54
  indem sie beispielsweise immer wieder dieselben Daten übermitteln, bis sie durchgehen.
• 14:58
  Hier werden Überwachung und Analyse in API-Management entscheidend entscheiden.
• 15:01
  Sie erkennen Nutzungsmuster im Zeitverlauf, erkennen fehlgeschlagene Aufrufe und optimieren Richtlinien,
• 15:07
  bevor Benutzer dies überhaupt bemerken, bemerken.
• 15:10
  Sie möchten also, dass alle im Unternehmen mit KI-gestützten Funktionen in Power-Apps und Dynamics 365 experimentieren,
• 15:15
  benötigen jedoch einen Puffer, um sowohl die Daten als auch die Kosten vor dem Aus dem Ruder laufen zu lassen.
• 15:21
  Wenn API-Management das Gatekeeping übernimmt, erhalten sie mehr als nur Schutz.
• 15:24
  Sie können die Akzeptanz tatsächlich verfolgen, erkennen, welche Workflows einen echten Mehrwert generieren
• 15:28
  und welche grundlos Kapazitäten verbrauchen.
• 15:30
  Wenn die Geschäftsleitung fragt, wer, was, wann und wie, wird alles aufgezeichnet.
• 15:34
  Wenn die Nutzung von fünf Personen einem Proof-of-Concept auf tausende Personen mit einer Live-Vertriebs- oder Support-App ansteigt,
• 15:40
  stellt API-Management sicher, dass sie nicht einfach die Schleusen öffnen und auf das Beste hoffen.
• 15:44
  Sie leiten den Datenverkehr vorhersehbar.
• 15:46
  Das schmutzige Geheimnis ist, dass die meisten produktionsreifen Integrationen beim ersten unerwarteten Ereignis zusammenbrechen,
• 15:51
  wenn keine ordnungsgemäße Verwaltung dieser KI-Entpunkte erfolgt, erfolgt.
• 15:54
  API-Management ermöglicht den Übergang von der Idee zur unternehmensweiten Umsetzung,
• 15:59
  ohne dass versteckte Risiken entstehen, entstehen.
• 16:01
  Betrachten Sie es also weniger als eine Art Installation, sondern vielmehr als Ihr Eingangsportal.
• 16:04
  Natürlich kümmert sich selbst der beste Pförtner nur um das, was ihm gegeben wird.
• 16:08
  Die Sicherung von Endpunkten ist eine Seite der Medaille.
• 16:10
  Darüber hinaus gibt es ein größeres Bild.
• 16:12
  Die Nutzung mit Nachverfolg, die Budgets werden eingehalten und es wird sichergestellt,
• 16:14
  dass die Compliance-Regeln nicht vernachlässigt werden, wenn sich Apps weiterentwickeln,
• 16:16
  nicht vernachlässigt werden, wenn sich Apps weiterentwickeln oder Richtigen ändern.
• 16:19
  Genau hier ist Governance nicht länger nur eine Option, sondern wird zum Motor des gesamten Systems.
• 16:23
  Governance ist das Bindemittel, die Einhaltung von Kosten und die Kontrolle der KI.
• 16:28
  Wenn Sie schon einmal erlebt haben, dass eine Power-App über Nacht von einem Nebenprojekt
• 16:31
  zum neuen Lieblingstool aller geworden ist, haben Sie wahrscheinlich den plötzlichen Ruck gespürt,
• 16:34
  wenn die Kosten steigen und niemand mehr so recht weiß, wer dafür verantwortlich ist,
• 16:37
  wer dafür verantwortlich ist, dass alles auf Kurs bleibt.
• 16:39
  Es ist einfach, einen erfolgreichen KI-Roller zu feiern.
• 16:42
  Die Stimmungsanalyse läuft leise im Hintergrund, Textzusammenfassung und sparen Stunden,
• 16:45
  bei den Berichten, äh.
• 16:48
  Doch irgendwann wirft jemand einen Blick auf die Azure-Rechnung oder erhält eine Nachricht von Infosec und es wird still.
• 16:53
  Im Raum, äh.
• 16:55
  Das ist das erste Anzeichen für eine Governance-Look.
• 16:58
  Sie zeigt sich fast jedes Mal, wenn eine App tatsächlich so gut funktioniert, dass die Leute sie weiterhin verwenden.
• 17:02
  Das Muster ist nahezu universell.
• 17:04
  KI-Funktionen werden implementiert, Endpunkte werden gesichert und
• 17:07
  die Geschäftsleitung genehmigt den Business Case.
• 17:10
  Dann kommen echte Benutzer dazu und alles an der Umgebung wird immer komplizierter.
• 17:13
  Wer kontrolliert den Zugriff auf die Azure OpenAI Endpunkte?
• 17:17
  Wie viele Anforderungen kommen von jeder Power-App und sind diese überhaupt notwendig, äh?
• 17:23
  Wo verläuft die Grenze zwischen Experimenten und Automatisierung, die das Budget auffrisst?
• 17:27
  Und je mehr Mitarbeiter ihre eigenen Automatisierung erstellen oder optimieren,
• 17:30
  desto schwieriger wird es, den Überblick zu behalten, was hinter den Kulissen passiert.
• 17:34
  Ausufernde Kosten sind oft der erste Kontrollpunkt für Governance-Maßnahmen.
• 17:38
  Azure zählt jeden Token, jeden API-Aufruf und jedes Gigabyte an Daten, die über OpenAI Endpunkte übertragen werden.
• 17:43
  Aber wenn diese Zahlen nicht nachverfolgt werden, können die Kosten im Hintergrund in die Höhe schnellen.
• 17:49
  Sie zahlen nach Nutzung und die Nutzung wird heikel, wenn Citizen-Developer wirklich Innovationen vorantreiben wollen,
• 17:54
  aber nicht immer wissen, dass ihr Power-Automate-Flow den KI-Endpunkt tausendmal am Tag aufruft.
• 17:59
  Die meisten Leute stellen dies auf die gleiche Weise fest, eine Budgetwarnung wird ausgelöst
• 18:04
  oder jemand aus der Finanzabteilung vermutet einen Abrechnungsfehler.
• 18:08
  Wenn sie dies ignorieren, müssen sie nicht nur höhere Schecks ausstellen,
• 18:10
  sondern riskieren auch, dass jemand das Projekt einstellt, um den Schaden zu stoppen
• 18:13
  oder schlimmer noch, dass die Geschäftsleitung das Vertrauen in das Vertrauen ist,
• 18:15
  Vertrauen in das Gesamtakademie informiert.
• 18:16
  Es geht jedoch nicht nur ums Geld.
• 18:18
  Als nächstes kommen Compliance-Fragen auf den Plan.
• 18:19
  Selbst wenn das API-Management die Eingangstür überwacht, gibt es immer noch Fragen dazu,
• 18:23
  welche Daten gesendet werden, wie lange sie gespeichert werden und wo Kopien möglicherweise landen.
• 18:27
  Hat der Entwickler personenbezogene Daten maskiert,
• 18:31
  bevor er den Support-Ticket-Text an Azure OpenAI gesendet hat?
• 18:35
  Gibt es Aufzeichnungen darüber, welche Benutzer auf welche Inhalte zugegriffen haben
• 18:39
  und entspricht dies den Richtlinien ihres Unternehmens?
• 18:41
  Prüfer sind davon nicht beeindruckt, wir glauben das.
• 18:43
  In regulierten Branchen kann ein einziger Compliance-Verstoß,
• 18:46
  vielleicht hat jemand vertrauliche Daten, für eine Textzusammenfassung ohne ordnungsgemäße Filterung gesendet,
• 18:50
  Projekte wochenlang zum Stillstand bringen oder das Unternehmen in Schwierigkeiten bringen.
• 18:54
  Oder das Unternehmen in Schwierigkeiten bringen.
• 18:55
  Selbst in weniger regulierten Umgebungen wird die IT-Abteilung nervös,
• 18:59
  wenn es so aussieht, als würden unkontrollierte Daten in der Cloud herumschwirren.
• 19:02
  Microsoft versucht, das Leben an diesen Fronten zu vereinfachen.
• 19:05
  Azure Cost Management bietet ihnen Dashboards, Warnungen und Ausgaben obergrenzen.
• 19:09
  Es liegt immer noch an jemandem, Schwellenwerte festzulegen,
• 19:11
  wöchentliche Nutzungsspitzen zu überwachen und zu pausieren,
• 19:13
  bevor sie eskalieren, bevor sie eskalieren.
• 19:15
  Das Markieren jeder Ressource, jedes KI-Endpunkts, jedes Flows und sogar einzelner Power-Apps
• 19:19
  ist eine einfache, aber effektive Möglichkeit,
• 19:21
  die Ausgaben für jedes Team oder jeden Geschäftsbereich nachzuverfolgen.
• 19:24
  Es hilft auch bei der Bereinigung und Berichterstellung.
• 19:27
  Wenn eine Automatisierung nach dem Ende eines Pilotprojekts weiterläuft,
• 19:29
  fallen markierte Ressourcen auf und sie vermeiden das Szenario einer mysteriösen Workload,
• 19:33
  das bei einer Integritätsprüfung immer wieder aufzutauchen scheint.
• 19:36
  Immer wieder aufzutauchen scheint.
• 19:37
  Auf Seiten der Power-Plattform kommt das Center of Excellence Starter Kit,
• 19:40
  einer KI-Kommandozentrale so nah wie nur möglich.
• 19:44
  Es durchsucht ihren Mandanten nach jedem Flow,
• 19:46
  benutzerdefinierten Connector, jeder App und jedem Bot
• 19:48
  und erstellt ein Inventar, auf das sie reagieren können.
• 19:51
  Die IT-Abteilung kann Nutzungsanalysen einrichten,
• 19:54
  Warnungen senden, wenn verdächtige Muster auftauchen
• 19:57
  und Citizen-Developer mit Erinnerungen an interne Best Practices anstoßen.
• 20:01
  Einige Organisationen verwenden es, um regelmäßige Berichte über die API-Nutzung,
• 20:04
  über Flows, die heiß laufen und sogar darüber zu generieren, wer was entwickelt.
• 20:08
  Das QE-Toolkit dient nicht nur der Transparenz.
• 20:10
  Es bietet auch Vorlagen für die eingeschränkte Bereitstellung,
• 20:12
  löst Überprüfungen für Apps mit hohem Risiko aus
• 20:15
  und kann sogar Geschäftsrichtlinien durchsetzen,
• 20:16
  in dem Flows außerhalb der Compliance-Schutzmaßnahmen heruntergefahren
• 20:19
  oder angehalten werden, werden.
• 20:21
  Für eine schnell wachsende Organisation mit Dutzenden von Power-Usern
• 20:24
  verhindern diese Schutzmaßnahmen, dass die Dinge außer Kontrolle geraten.
• 20:27
  Es ist erwähnenswert, dass Governance-Probleme normalerweise nach dem Erfolg auftreten.
• 20:31
  Nehmen wir den Fall einer Kunden-Feedback-App,
• 20:33
  die sich viel schneller als erwartet durchgesetzt hat.
• 20:36
  Die Nutzung verdoppelte sich in der Woche und verdreifachte sich dann.
• 20:39
  Innerhalb eines Monats stiegen die Kosten sprunghaft an.
• 20:41
  Das Azure-Gesetz erzwang eine Neuprognose
• 20:43
  und es stellte sich heraus, dass dieselbe App vertrauliche Daten ohne Genehmigung in den KI-Endpunkt verschob.
• 20:48
  Ad-Hoc-Skripte und Flickschüster reinkamen,
• 20:50
  hinzu aber zu diesem Zeitpunkt herrschte bereits großes Sicherung.
• 20:52
  Ein Kompetenzzentrum hätte das Wachstum frühzeitig erkennen und eine Überprüfung erzwingen können.
• 20:56
  Best Practices lassen Sie schnell umsetzen.
• 20:57
  Kennzeichnen Sie Ressourcen immer.
• 20:59
  Legen Sie Budgets oder weiche Obergrenzen-Facesteps für Machbarkeitsstudien.
• 21:02
  Überprüfen und auditieren Sie den Zugriff auf Endpunkt.
• 21:04
  Die Liste der Personen, die sich mit welchen Daten verbinden können,
• 21:07
  ändert sich, wenn sich Teams verschieben und Rollen weiterentwickeln.
• 21:09
  Dokumentieren Sie, welche Datenflüsse welche Daten senden und warum.
• 21:13
  Das ist keine Schreibarbeit nur um der Schreibarbeit willen.
• 21:15
  Es bedeutet, dass jemand Wochen oder Monate später beantworten kann,
• 21:18
  wie das System funktioniert und wo die Grenzen liegen.
• 21:21
  Seien Sie sich bewusst, dass Governance kein Schritt ist,
• 21:22
  den man einfach einrichten und dann vergessen kann.
• 21:24
  Modelle ändern sich, die Geschäftslogik wandelt sich
• 21:26
  und die Datenschutzregeln entwickeln sich ständig weiter.
• 21:28
  Überprüfungen und Aktualisierungen müssen regelmäßig erfolgen.
• 21:31
  Eine solide Governance macht den Unterschied zwischen einer KI-Funktion,
• 21:33
  die unter Druck versagt und einer, die nachhaltig wächst,
• 21:36
  wenn das Unternehmen darauf angewiesen ist
• 21:38
  und mit den eingerichteten Kontrollen gewinnen IT- und Unternehmensleiter
• 21:41
  das Vertrauen zu expandieren, zu experimentieren
• 21:43
  und Innovationen zu entwickeln und Innovationsentwickeln.