Latest / M365.FM – Microsoft 365, Copilot & AI podcast in het Nederlands / Context engineering voor Copilot Studio: zo stop je hallucinaties en drift in Power Platform (AI-nasynchronisatie)
Transcript
- 0:00Je co-piloot is niet dom, je hebt hem uitgehongerd, geen schema, geen regels, geen vangrails en dan klagen over hallucinaties.
- 0:07De waarheid? De meeste AI-fouten in het Power Platform liggen niet aan de intelligentie van het model.
- 0:12Ze liggen aan de context die jij hebt gecreëerd.
- 0:14Dit is wat je vandaag krijgt.
- 0:15Een herhaalbaar context-engineering-patroon voor Copilot Studio en Power Automate dat hallucinaties doodafwijkingen tussen tenants herstelt en latentie en kosten verlaagt.
- 0:24We bouwen het systeembericht-patroon, een checklist voor schema-grounding en een schabloon voor de retrieval-pipeline.
- 0:30Er is één laag die iedereen vergeet, de beleidslaag die governance-afwijkingen voorkomt.
- 0:34We koppelen deze en bewijzen het met statistieken van voor en na.
- 0:37We gaan van start, het probleem waarom je copilot faalt, context-schuld.
- 0:41Laten we het probleem precies definiëren, context-schuld.
- 0:44Het is de opeenstappeling van ontbrekende of slordige context die een taalmodel dwingt om te gaan gokken.
- 0:49Je slaat systeemregels over, je koppelt niet aan dataversen, je laat tools ongedefineerd en je negeert beleidsregels.
- 0:55Dan ben je verbaasd als de uitvoer verschilt per tenant.
- 0:57Fascinerend. Context-schuld uit zich in vier fouten.
- 1:01Ten eerste, ontbrekende systeemregels, geen identiteit, geen rijkwijte, geen weigeringsbeleid.
- 1:05Het model optimaliseert voor behulpzaamheid en breedspraakigheid, niet voor naleving en precisie.
- 1:09Ten tweede, niet gegronde data.
- 1:11Je wijst naar de leningentabel zonder entiteitsnamen, velddefinities, relaties of voorbeeldrecords te geven.
- 1:16Ten derde, ongeveer definieerde tools.
- 1:19Je vraagt om de status bij te werken, maar biedt geen beheerd actiepad aan in Power Automate.
- 1:23Ten vierde, afwezig beleid. Je vertrouwt op je gevoel in plaats van op DLP, vertrouwelijkheidslabels en voorwaardelijke toegang.
- 1:29Die context garandeert afwijkingen. Het bewijs is overal.
- 1:32Hoge uitval en verlatingspercentages bij bedrijfs-AI zijn terug te leiden naar uitvoering en context, niet naar modelbeperkingen.
- 1:38Teams rapporteren hallucinaties, inconsistenties per omgeving en tokenverbruik door hele tabellen op te halen voor de zekerheid.
- 1:43Je hebt geen groter model nodig. Je hebt een ruggengraad nodig.
- 1:46Dit is het mentale model dat het oplost.
- 1:48Vier contextlagen, systeem, retrieval, tools en beleid.
- 1:51Zie het als het Windows-register voor je agent. Het is niet zomaar een database, het is de ruggengraad.
- 1:56Systeem verklaart wie de agent is en wat hij weigert.
- 1:59Retrieval levert feiten en schema's zodat hij stopt met het verzinnen van velden.
- 2:02Tools stellen de exacte acties bloot die hij mag uitvoeren op basis van het principe van de minste rechten.
- 2:06Beleid dwingt grenzen af, ongeacht slimme prompts.
- 2:09Verwijder één laag en de uitvoer gaat wankelen.
- 2:11Voeg alle vier toe en ze staan als een huis.
- 2:12Wat de meeste ontwikkelaars missen, omgevingen zijn de beveiligingsgrens in het Power Platform.
- 2:16Als je DLP-beleid het mengen van zakelijke en niet-zakelijke connectoren in productie blokkeert,
- 2:20maar niet in de ontwikkelomgeving, heb je twee verschillende universums gebouwd.
- 2:23De ogen en handen van je agent veranderen per omgeving.
- 2:25Dus ja, resultaten wijken af tussen tenants en omgevingen, omdat je de wereld onder hun voeten verandert.
- 2:30Laat me de typische faalloop uitleggen.
- 2:32Je bouwt een co-pilot studio-agent.
- 2:34Je geeft hem een vaag doel, helpen bij leningaanvragen.
- 2:37Je koppelt een documentbibliotheek met pdf's zonder de structuur te extraheren.
- 2:40Je indexeert geen dataverse entiteiten, relaties of vertrouwelijkheidslabels.
- 2:44Je slaat de tool catalogus over en gaat ervan uit dat co-pilot het zelf wel uitzoekt.
- 2:48Dan stel je een vraag.
- 2:49Hij antwoordt met algemene beleidspraat en verzint een veld genaamd leningsfase, dat niet in je schema bestaat.
- 2:54Gefeliciteerd, je hebt betaald voor tokens om de verkeerde inhoud te lezen en kreeg onzin terug.
- 2:58Vergelijk dat eens met een gefundeerde aanpak.
- 3:00Dezelfde vraag, maar je ophallaag bevat een schema-index, entiteit leningaanvraag, veldstatus,
- 3:05keuzelijstwaarde, relaties met aanvragen en document, plus voorbeeld records.
- 3:09De agent verwijst expliciet naar de status van de leningaanvraag en noemt toegestane waarden.
- 3:14Geen gegok.
- 3:15Het verschil is niet het model, maar de context.
- 3:17Latentie en kosten zijn symptomen van dezelfde schuld.
- 3:20Het ophalen van hele tabellen omdat je geen filters op veldniveau hebt doet tokens en tijd exploderen.
- 3:24Vage ophaalacties dwingen het model om door irrelevante brokken informatie te waden.
- 3:27Onduidelijke top-K en geen intentiefiltering.
- 3:30Je betaalt voor alles, leert niets en krijgt alsnog hallucinaties.
- 3:33Brutaal, governance-afwijking is de stille doder.
- 3:35Zonder beleidslaag, DLP, vertrouwelijkheidslabels en voorwaardelijke toegang wijkt het gedrag van je agent geleidelijk af.
- 3:41Een connector wordt geherklassificeerd, een gastaccount sluipt een flow binnen, lags staan uit en de agent vat vrolijk gevoelige notices samen voor een nietzakelijke connector.
- 3:49Dat merk je pas tijdens de Added Week.
- 3:50Uitstekend. Dit is de oplossing en we gaan die stap voor stap bouwen in deze serie.
- 3:55Systeemlaag. Een beknopt versie beheert systeembericht dat identiteit, rijkwijte, weigeringslogica, schemabewustzijn, regels voor tolgebruik en logrenzen bevat.
- 4:03Opgesteld per omgeving met tokens voor bedrijfsonderdeel en vertrouwelijkheidstoewijzing.
- 4:07Ophalaag. Een pijplijn die eerst baseert op dataverse met een documentindex als secundaire bron, gebruikmakend van entiteitsbewuste chunking, hybride zoeken, beveiligingsafbakening en filters op veldniveau.
- 4:18Ophalaag. Een beheerde katalogus van Power Automate acties met het principe van minimale privileges en prompt schablonen die invoerschema's, weigeringslogica en vertrouwelijkheidsvlaggen definiëren.
- 4:28Beleidslaag. Afgedwongen DLP-groepen, voorwaardelijke toegang, real-time maskering via labels en een noodstop voor beheerders.
- 4:34Als je niets anders onthoudt, onthoud dan dit.
- 4:36Modellen voorspellen tekst. Jij ontwerpt de waarheid, de kracht en de grenzen.
- 4:40Jouw taak is de context. Het model is de rendering engine.
- 4:43Stop met het de schuld geven aan de renderer voor jouw ontbrekende blauwdruk.
- 4:46Laag 1. Systeemcontext die niet afwijkt. Patroon plus checklist.
- 4:49Nu stoppen we met gokken en installeren we identiteit.
- 4:52Zonder expliciete identiteitskaders en weigeringsregels gedragen grote taalmodellen zich als charmante labradors.
- 4:57Ze halen alles, plezieren iedereen en negeren de compliance.
- 5:00Je hebt een uitsmijter nodig, geen golden retriever.
- 5:02De waarheid is, als je systeembericht vaag is, zullen je outputresultaten ook vaag zijn.
- 5:06Als je systeembericht per omgeving inconsistent is, zullen je resultaten per omgeving afwijken.
- 5:10Daarom schrijven we eerst de kern.
- 5:12Dit is het patroon dat ik gebruik.
- 5:14Het is kort, versiebeheerd en medogenloos.
- 5:16Rol. Je bent de co-piloot voor leningoperaties voor bedrijfseenheid in omgeving omgevingsnaam.
- 5:21Je beantwoordt alleen vragen over leningaanvragen en gerelateerde processen.
- 5:25Kader. Houd je aan dataverse entiteiten en gelabelde documenten in deze omgeving.
- 5:29Als het antwoord externe systemen of ongelabelde inhoud vereist, weiger dan en stel een veilige volgende stap voor.
- 5:35Toon. Beknopt. Feitelijk. Citeer velden exact volgens schema.
- 5:38Entiteit. Veld. Weigeringsbeleid.
- 5:41Als gevoelige inhoud met label-label-lijst wordt opgevraagd in een nietzakelijke context, weiger dan met opgave van reden en leg de weigeringssamenvatting vast.
- 5:49Schema bewustzijn. Geef de voorkeur aan de dataverse schema-index.
- 5:52Verzin nooit velden. Koppel synoniemen aan kanonieke namen met behulp van de bijgeleverde woordenlijst.
- 5:59Regels voor tolgebruik.
- 6:00Je mag alleen goedgekeurde power automate acties aanroepen wanneer een intentie wordt geclassificeerd als actiegericht met betrouwbaarheid 0,8.
- 6:07Reageer anders met een analyse.
- 6:10Logging grenzen.
- 6:11Echo geen PII.
- 6:12Vat waarde samen als gemaskeerd wanneer de gevoeligheid hoog is.
- 6:16Dat patroon komt in de aangepaste instructies van Copilot Studio.
- 6:19En ja, het wordt geparametriceerd omgevingsnaam, bedrijfseenheid, MIP-label-lijst.
- 6:23Koppel deze aan omgevingsvariabelen zodat dev, u, at en prod dezelfde logica delen met andere bindingen.
- 6:28Voorzie het van een versie, systeembericht v1.3.
- 6:31Stempel de versie in elke reactievoet tijdens testen en beleid v1.3, zodat afwijkingen direct zichtbaar zijn.
- 6:37Nu de checklist, want anders vergeet je iets.
- 6:39Doelstellingen, wat de agent in één zin mag bereiken.
- 6:43Doelgroep, wie het dient.
- 6:45Leningadviseurs, niet het hele bedrijf.
- 6:47Definities, kanonieke entiteit en veldnamen plus synonieme.
- 6:51Toegestane inhoud, toegestane gegevensklassen en bronnen.
- 6:54Niet toegestane acties.
- 6:56Alles wat cross-tenant, ongelabeld of buiten zakelijke connectoren valt.
- 6:59Escalatiepad, wanneer over te dragen aan een mens.
- 7:03Criteria en berichtschabloon.
- 7:05Evaluatierubriek, hoe we resultaten beoordelen.
- 7:07Veldnauwkeurigheid, correctheid van weigeringen en citatie van het schema.
- 7:10Schrijf dit in begrijpelijke taal en comprimeer het daarna.
- 7:13De meest gemaakte fout is het begraven van beperkingen onder een roman aan beleidstekst.
- 7:16Het model zal erdoorheen scannen als een gemiddelde stagiair.
- 7:18Hou het chirurgisch precies.
- 7:19Nog een klassieke fout.
- 7:21Beperkingen in de gebruikersprompt proppen.
- 7:23Nee, beperkingen horen thuis in het systeembericht en de toolwrappers.
- 7:26Niet waar de gebruiker toevallig typt.
- 7:28En versie per omgeving.
- 7:29Def kan permissief zijn.
- 7:31Pro-out mag dat niet.
- 7:32Het kopiëren van één systeem bestand tussen tenants zonder tokens creëert parallele universa.
- 7:37Een snelle winst die je vandaag kunt boeken.
- 7:38Maak sjablonen van berichten met variabelen en koppel deze bij het importeren van de oplossing.
- 7:42Dat alleen al neemt een hoop inconsistentie weg.
- 7:44Voeg een woordenlijst toe die veel voorkomende synoniemen koppelt aan kanonieke velden,
- 7:47zoals stadium, stap, fase, status van leningaanvraag.
- 7:50Je zult zien dat gehallucineerde velden verdwijnen.
- 7:53Implementatie in Copilot Studio is eenvoudig.
- 7:55Open aangepaste instructies, plak het patroon, voeg variabelen in voor omgevingsnaam,
- 7:59bedrijfseenheid en afbeeldingslevenlijst, een schakel, altijd opnemen, in.
- 8:03Maak een notitie met instructies voor schema-canonisatie waar de agent naar verwijst voordat hij antwoordt.
- 8:08Voeg vervolgens een weigeringssjabloon toe.
- 8:11Ik kan redactie niet delen vanwege beleidslabels.
- 8:13Hier is een veilig alternatief.
- 8:16Consistentie is geen magie, het zijn sjablonen.
- 8:18Laatste vangrail, logboekgrenzen.
- 8:21Zorg dat de agent nooit onbewerkte gevoelige waarden herhaalt.
- 8:24Wanneer hij ernaar moet verwijzen, gebruikt hij tijdelijke aanduidingen en biedt hij een toolactie die geheimen verwerkt via referentieacties in flows.
- 8:30Als je niets anders onthoudt, onthoud dan dit.
- 8:31Identiteit, rijkwijten, weigering, schema, tools, logboekregistratie.
- 8:36Zes regels, geen drama.
- 8:37Laag 2, ophalen.
- 8:38Retrieval, dat gebaseerd is op dataverse via een pijplijnsjabloon.
- 8:41Identiteit is ingesteld.
- 8:43Nu geven we de agent feiten die hij niet kan hallucineren.
- 8:45Retrieval is waar de meesten van jullie de brandslang opendraaien en het grounding noemen.
- 8:49Onjuist.
- 8:50Retrieval is selectief, entiteitsbewust en ja, dataverse heeft de prioriteit omdat daar je bron van waarheid ligt.
- 8:56Waarom dit ertoe doet?
- 8:57Hallucinaties ontstaan wanneer het model zelf de structuur moet afleiden.
- 9:00Als het geen kanonieke entiteit en velddefinities kan zien, verzint het ze.
- 9:04Latentie en kosten stijgen wanneer je hele tabellen en pdf-blobs verwerkt omdat je niet op intentie hebt gefilterd.
- 9:09Het resultaat, dure ruis.
- 9:11De oplossing is een pijplijn die schema's bevoorrecht en bijsnijdt op basis van beveiliging.
- 9:15Hier is het schabloon.
- 9:16Twee indexen, één brein.
- 9:17Ten eerste een schema-index voor dataverse entiteiten, velden, relaties, optiezets, bedrijfsregels, plus een korte woordenlijst met synoniemen.
- 9:24Ten tweede een document-index voor beleid, SOPs en referentiedocumenten, alleen nadat deze gestructureerd zijn.
- 9:29Hybride zoeken over beide met beveiligingsfiltering per omgeving en gebruiker.
- 9:32Het model ziet nooit wat de gebruiker niet mag zien.
- 9:35Dat is geen suggestie, dat is de grens.
- 9:37Ik zal de schema-index voor je uiteenzetten.
- 9:39Leg voor elke entiteit het volgende vast, naam, beschrijving, veldlijst met datatypen, optiezetwaarden, relaties,
- 9:45één op veel, veel op één en bedrijfsregels die de geldige statussen beïnvloeden.
- 9:48Voeg twee voorbeeld-records per entiteit toe, geanonimiseerd, en één voorbeeld-query die natuurlijke taal koppelt aan canonieke velden.
- 9:55Voeg een synonieme kaart toe, stadium, stap, fase, status van leningaanvraag.
- 9:59Het model zal zich verankeren aan canonieke namen omdat jij de kaart hebt aangereikt.
- 10:02Nu, de document-index.
- 10:03PDF zijn geen heilige teksten.
- 10:05Het zijn containers.
- 10:06Extraheer de structuur voor het indexeren.
- 10:08Koppen worden secties.
- 10:09Tabellen worden sleutelwaardeparen.
- 10:11Beleidsregels worden gelabeld met Microsoft Purview-klassificaties en MIP-labels, zodat vertrouwelijkheid machineleesbaar is.
- 10:16Als een bestand niet kan worden geparseerd in secties en velden, hoort het niet in de index thuis.
- 10:20Je bent geen plakboek aan het maken.
- 10:22Beveiligingsfiltering is niet onderhandelbaar.
- 10:23De index-query-laag moet filteren op gebruikersidentiteit, omgeving en DLP-beleid.
- 10:28Als dev bepaalde connectoren toestaat en prod niet, dan weer spiegelt de ophalaag dat.
- 10:31Zelfde gebruiker, andere omgeving, andere resultaten.
- 10:34Dat is geen opsmuk, dat is ontwerp.
- 10:35Chunking stopt met snijden op basis van paginatelling.
- 10:37Chunk op basis van entiteitslogica. Groep weer voor schema's op entiteits- en relatiegranulariteit.
- 10:42Denk aan 500 tot 800 tokens per chunk met veldlijsten intact.
- 10:45Chunk documenten per sectie met behoud van koppen en voeg broodkruim om metadata toe.
- 10:50Titel, sectie, subsectie.
- 10:52Het punt is om betekenis terug te geven, geen confetti.
- 10:56Prestatietactieken die je echt zult merken.
- 10:57Filtering op veldniveau.
- 10:59Wanneer de intentiestatus bevat, haal dan niet de volledige entiteitsdefinitie op.
- 11:02Haal het veldblok en de relevante bedrijfsregel op.
- 11:05Top K op basis van intentieclassificatie stuurt de query.
- 11:08Schema queries krijgen een kleine K, 2 of 3.
- 11:11Documentzoekopdrachten hebben er misschien 4 of 6 nodig.
- 11:13Cash veel voorkomende FAQ's en schema snippets in het geheugen met een korte TTL,
- 11:17zodat je niet de hele dag voor dezelfde zoekopdrachten betaalt.
- 11:19Handhaaf connector en tokenlimieten, zodat een vage prompt geen volledige tabelscan activeert.
- 11:24Graag gedaan.
- 11:25Hoe je dit aansluit in Copilot Studio.
- 11:27Stel dataverse in als de primaire kennisbron.
- 11:29Kennisbron.
- 11:29Bouw een gegevensbron die schemakaarten, entiteiten, velden, relaties, optiesets, regels en voorbeelden afgeeft,
- 11:36en voeg Purview-classificaties en MIP-labels toe als eigenschappen.
- 11:39Voeg je documentindex toe als secundaire bron met sexy inhoud.
- 11:41Configureer hybride ophalen met herrangschikking die schema-overeenkomsten verkiest boven verhalende tekst.
- 11:46Als er een schema-overeenkomst is, geef die voorrang.
- 11:48Als er geen is, val terug op documenten.
- 11:50Als er geen van beide is, weiger dan of stel een verhelderende vraag.
- 11:53Ja, weigeren is beter dan fictie.
- 11:56Checklist voor schema-grounding die je zult printen en op je monitor zult plakken.
- 11:59Entiteitsnamen precies zoals in dataverse, veldbeschrijvingen in begrijpelijke taal,
- 12:03relaties vermeld met kardinaliteit, optiezetwaarden en betekenissen,
- 12:07voorbeeld records met schema's keerde waarden, bedrijfsregels,
- 12:10notices over NAL-afhandeling, synonieme voor kanonieke namen en opmerkingen over gegevenskwaliteit.
- 12:14Als een van deze ontbreekt, is je grounding onvolledig.
- 12:17Veelvoorkomende valkuilen, pdf's indexeren zonder structuur te extraheren, niet doen.
- 12:21Vertrouwelijkheidslabels negeren, gevaarlijk.
- 12:23Zakelijke en niet-zakelijke connectors mengen in dezelfde ophaalaanhoep,
- 12:26geblokkeerd door DLP in PROT, en dan verbaasd reageren.
- 12:29Nog een 10 vrijwel identieke tekstblokken retourneren omdat je de headers nooit hebt ondubbeld.
- 12:33Schoon je feed op. Laten we een snelle mentale demo doen.
- 12:36Prompt. Kunnen we deze lening naar de definitieve beoordeling verplaatsen?
- 12:39Totale CDA-down data en app-brondata.
- 12:41Slechte pijplijn haalt drie algemene beleids-pdf's op zonder schema.
- 12:45Model verzint een leningfase.
- 12:47Goede pijplijn. Intentieclassificatie stuurt door naar schema.
- 12:50Retourneert leningaanvraag.
- 12:52Status. Toegestane overgangen via bedrijfsregels en de Power Automate actienaam die de status wijzigt.
- 12:58Het antwoord citeert toegestane statuswaarden en stelt de actie voor of weigert deze als gevoeligheid het blokkeert.
- 13:04Dat is grounding.
- 13:05Nog één detail.
- 13:06Latentie.
- 13:07Meet de ophaaltijd apart van de generatietijd.
- 13:09Als het ophalen routinematig langer dan 300 milliseconden duurt, zijn je filters fout of is je index opgeblazen.
- 13:14Optimaliseer daar eerst.
- 13:15Modellen zijn snel, jouw besluiteloosheid niet.
- 13:18Als je niets anders onthoudt, onthoud dan dit.
- 13:20Ophalen is geen zoeken, het is curatie.
- 13:22Dataverse is de ruggengraat.
- 13:24Documenten zijn de spieren.
- 13:25Verbind beide.
- 13:26Trim op beveiliging.
- 13:28En je agent stopt met gokken.
- 13:29Laag 3.
- 13:31Tools en beleid die governance afdwingen.
- 13:33Power Automate plus DLP.
- 13:35Het weet wat waar is.
- 13:36Leer het nu wat het veilig kan doen.
- 13:38Een agent die niet kan handelen is een chatbot.
- 13:40Een agent die handelt zonder vangrails is een datalek dat op de voorpagina wacht.
- 13:44Je wilt competentie met een veiligheidsgordel.
- 13:46Maak kennis met Power Automate DLP en voorwaardelijke toegang.
- 13:49De spieren, de hekken en de uitsmijter bij de deur.
- 13:51Dit is het principe.
- 13:52Acties zijn expliciet, geautoriseerd en omkeerbaar.
- 13:55We geven het model geen vrijheid.
- 13:57We geven het een katalogus met werkwoorden.
- 13:59Elk werkwoord is een flow met een nauw inputschema.
- 14:01Minimale privilege connectiereferenties en ingebouwde weigeringslogica.
- 14:04Het model improviseert nooit rechten.
- 14:05Het vraagt een werkwoord aan.
- 14:07Begin met een tool katalogus.
- 14:08Katalogus items zien er zo uit.
- 14:10Weergavenaam, doel, inputschema, randvoorwaarden, gevoeligheidsvlaggen, connectiereferentie en retourcontract.
- 14:15Voorbeeld, update lening status.
- 14:17Doel, leningaanvraag overzetten.
- 14:20Status, input, lening ID string, doel status enum.
- 14:24Randvoorwaarden, doel status moet een geldige overgang zijn volgens de regelzet.
- 14:28Gevoeligheidsvlaggen, vereist zakelijke connector gelabeld als intern.
- 14:33Connectiereferentie, SVC, lening en min.
- 14:35Je leert een peuter een schaar gebruiken door een veiligheidsschaar te geven, geen kettingzaag.
- 14:39Minimale privileges zijn niet optioneel.
- 14:41Maak speciale service accounts met minimale dataverse rechten om precies die actie uit te voeren.
- 14:45Geen brede tabelrechten, geen machtsmisbruik op eigenaarsniveau.
- 14:48Sla inloggegevens op in connectiereferenties gebonden per omgeving.
- 14:51Dus, dev gebruikt nepdata, prod raakt de realiteit aan en beide lekken niet naar elkaar.
- 14:55Als je aangepaste beveiliging gebruikt, beoordeel deze dan alsof je het meent.
- 14:58Bouw nu een flow-schabloon met drie standaardlagen.
- 15:01Laag 1, invoervalidatie.
- 15:02Valideer type, koppel synoniemen aan kanonieke velden en wijs dubbelzinnige of ontbrekende parameters af met een gestructureerde weigering.
- 15:08Laag 2, beleidscontroles.
- 15:10Evalueer MIP-labels, DLP-groepslidmaatschap en alle signalen voor voorwaardelijke toegang die je via headers of de activeringscontext blootstelt.
- 15:17Laag 3, uitvoering en meskering.
- 15:19Voer het minimale recht uit, maskeer gevoelige waarden in logboeken en geef een compact resultaat terug met een correlatie-ID.
- 15:25Prompt schablonen staan voor deze flows als wrappers.
- 15:27Ze bepalen hoe de agent om de tool vraagt, wanneer de intentie verandert, de status en het vertrouwen.
- 15:328, roep de lening-status bijwerken aan met lening-ID, doel-status.
- 15:36Als de status in strijd is met bedrijfsregels of gevoeligheidsblokkades, weiger dan en citeer het specifieke beleid.
- 15:41Dit is waar de meesten van jullie falen.
- 15:43Jullie sturen vrije tekst naar flows alsof het 2019 is.
- 15:46Sterk schema erin, sterke resultaten eruit.
- 15:48Markeer variabelen als gevoelig.
- 15:50Invoer zoals BSN, inkomen of elk hogevoelig veld hoort in beveiligde variabelen thuis.
- 15:54Ze worden nooit weergegeven in de uitvoeringsgeschiedenis.
- 15:56Gebruik referentieacties voor alles wat met authenticatie te maken heeft.
- 15:59Als een flow een token moet ophalen, worden inloggegevens tijdens runtime uit een veilige opslag gehaald, niet geplakt in een prompt.
- 16:04Niet in omgevingsvariabelen gedeeldgenaamd, niet lezen.
- 16:07Ja, mensen doen dat.
- 16:08Wees niet zoals die mensen.
- 16:10Voorwaardelijke toegang is de volwassenen in de kamer.
- 16:12Dwing MFA af.
- 16:13Beperk uitvoering tot conforme apparaten of vertrouwde locaties.
- 16:16Als je beleid zegt dat gasten geen acties kunnen starten, moet je toolwrapper de identiteit van de beller lezen en afwijzen met een duidelijke weigering.
- 16:22Actie vereist een conform apparaat volgens het beleid.
- 16:25De agent blijft beleefd, het beleid blijft strikt.
- 16:28DLP is het membraan.
- 16:29Klassificeer connectors in zakelijk, niet zakelijk en geblokkeerd.
- 16:31Flows in deze toolcatalogus gebruiken alleen zakelijke connectors.
- 16:34Probeer je uitvoer naar een niet zakelijke bestemming te sturen, geblokkeerd op tenantniveau, niet alleen in jouw flow.
- 16:39Het punt is om het verkeerde pad fysiek onmogelijk te maken.
- 16:42Je vertrouwt niet op de terughoudendheid van ontwikkelaars, je vertrouwt op natuurkunde.
- 16:46Omgevingssegmentatie houdt je gezond van verstand.
- 16:48Dev, UAT, prod.
- 16:49Andere gegevens, andere verbindingsreferenties, dezelfde toolnamen, dezelfde schema's.
- 16:54Dat betekent dat de prompts van je agent niet veranderen, alleen de bindingen.
- 16:57Je test in UAT met realistische labels en DLP-instellingen, zodat verrassingen niet in prod verschijnen.
- 17:02Als Dev een soepel DLP heeft en prod strikt is, test ze dan beide.
- 17:06Variantie is opzettelijk, niet per ongeluk.
- 17:08Beleidslaag gekoppeld aan runtime.
- 17:10Integreer weigeringsregels die gebaseerd zijn op labels in opgehaalde inhoud.
- 17:13Als het ophalen een vertrouwelijk record teruggeeft en de gevraagde actie dit zou blootstellen aan een extern systeem,
- 17:18weigert de toolwrapper met een beleidsreden en logt het incident.
- 17:21Real-time maskering vervangt waarde door tijdelijke aanduidingen in tekst die zichtbaar is voor het model.
- 17:25Het model ziet nooit onbewerkte geheimen, dus het kan ze niet per ongeluk lekken.
- 17:29Het is geen wantrouwen, het is hygiëne.
- 17:31Logboekregistratie en addits maken deel uit van het ontwerp, niet achteraf.
- 17:33Schakel addit logs in voor elke flow.
- 17:35Leg vast wie de actie aanvroeg, welke parameters werden doorgegeven, wat er gemaskeerd werd, welke beleidscontroles er liepen en de uitkomst.
- 17:40Drie maandelijkse beoordelingen vinden verweesde assets, overmatig gedeelde flows en connectorwildgroei.
- 17:45Deactiveer alles wat eigendom was van een voormalig werknemer.
- 17:47Negeer dit en je ontdekt uiteindelijk een spook flow die om twee uur s'nachts naar productie schrijft.
- 17:52Heerlijk, veelgemaakte fouten, geheime doorgeven in gebruikersprompts, direct spijt.
- 17:57PI-loggen in succesberichten, ook spijt.
- 17:59Flows bouwen zonder versiebeheer van prompts en schema's.
- 18:02Nu roept je agent een API aan die vorige week is gewijzigd.
- 18:05Onbeheer de omgevingen zonder DLP.
- 18:07Gefeliciteerd, je proof of concept is een aansprakelijkheid.
- 18:10En mijn favoriet, het mengen van zakelijke en niet-zakelijke connectors omdat we iemand moesten mailen.
- 18:14Nee, gebruik zakelijke e-mail of mail niet.
- 18:17Laten we praten over de noodstop.
- 18:18Je hebt een incidentschakelaar nodig in het beheercentrum of via automatisering die de agent uitschakelt, de tooloplossing uitschakelt, of beide.
- 18:25Bij een beleidsgending discussieer je niet.
- 18:27Je stopt, onderzoekt en hervat alleen met een wijzigingslogboek.
- 18:30Snelheid is veiligheid.
- 18:32Zodra je dit hebt ingericht, gebeurt er iets voorspelbaars.
- 18:35De agent stopt met loze beloftes.
- 18:36Hij stelt acties voor die hij echt kan uitvoeren.
- 18:38Wanneer beleid het weigert, is de weigering specifiek en gelogd.
- 18:42Gebruikers vertrouwen het omdat het consistent is.
- 18:44En ja, je addeteam stopt met rondhangen als een havik omdat je ze eindelijk telemetrie hebt gegeven die het lezen waard is.
- 18:49End-to-end opbouw.
- 18:50Copilot Studio plus Power Automate.
- 18:52Voor- en nametingen laten we de ruggengraat samenvoegen met een concrete opbouw.
- 18:57Een copilot voor leningondersteuning.
- 18:59Copilot Studio regelt de orkestratie.
- 19:01Dataverse is de bron van waarheid.
- 19:02Power Automate zijn de handen.
- 19:03Dezelfde architectuur in dev, UAT, PROT, andere bindingen, dezelfde logica.
- 19:07Stap 1.
- 19:08Pas het systeempatroon toe.
- 19:09Maak in Copilot Studio aangepaste instructies met ons versiesjabloon.
- 19:13Bind omgevingsnaam.
- 19:14UAT Business Unit Retail Lending MIP labellijst vertrouwelijk, zeer vertrouwelijk in de woordenlijstfase status leningaanvraag inschakelen altijd opnemen.
- 19:27Stempel beleid V1.3 in de testvoedtekst zodat afwijkingen zichtbaar zijn.
- 19:31Stap 2.
- 19:32Bouw de schema-index genereer schemakaarten voor entiteiten leningaanvraag aanvrager document inclusief velden optiesets relaties en markeer twee voorbeeldrackards per entiteit.
- 19:42Voeg bedrijfsregels toe.
- 19:44Status overgangen toegestaan, ingediend, eerste beoordeling, definitieve beoordeling, goedgekeurd, afgewezen, geen directe, ingediend naar goedgekeurd, publiceer als primaire kennisbron in de documentindex, secundaire SOPs, beleidssecties voor leningen per weergave klassificaties, MIP labels en koppen behouden.
- 19:59Stap 3.
- 20:00Configureer ophalen, schakel hybride zoeken in met herwaardering die schema-matches versterkt, klassificeer intenties, schema-opzoeking, beleidsopzoeking, bruikbare top, K is 2 voor schema, 4 voor documenten, filters op veldniveau per intentie, termijn, status, inkomen.
- 20:14K-Griekse YC.
- 20:15Schakel beveiligingsstrimming in per gebruiker en omgeving, cache veelgebruikte schemasnippets met een TTL van 10 minuten.
- 20:20Stap 4.
- 20:21Verbind de toolcatalogus.
- 20:23Importeer een beheerde oplossing met drie stromen, leenoverzicht ophalen, leenstatus bijwerken, document opvragen.
- 20:28Elke stroom heeft invoerschema's, randvoorwaarden, gevoeligheidslabels, least privilege, verbindingsreferenties gekoppeld aan uw AT.
- 20:34Invoer gemarkeerd als gevoelig waar nodig, logboeken ingeschakeld met meskering en correlatie-ID's.
- 20:39Stap 5.
- 20:40Voeg prompt wrappers toe.
- 20:41Maak in Copilot Studio schablonen voor het aanroepen van tools.
- 20:44Bij intentie, status wijzigen en een betrouwbaarheid van 8, roep update leenstatus aan met leen-ID en doelstatus.
- 20:50Als de doelstatus bedrijfsregels schendt, weiger dan met rubric code BR statusovergang.
- 20:55Verpak weigeringen met ik kan dat niet uitvoeren vanwege beleid, labelcode.
- 20:58Dit is een veilige volgende stap.
- 21:00Validatieloop.
- 21:01Bouw een testsuite van 25 prompts, bestaande uit dubbelzinnige, vijandige en normale voorbeelden.
- 21:06Verplaats LA4831er, kunnen we direct door naar Goedgekeurd.
- 21:09E-mail het BSN van de aanvrager naar hun makelaar.
- 21:12Voer uit in dev, UAT en Pro.
- 21:14Controleer of uitvoer.
- 21:15Site-kanonieke velden en acties alleen worden voorgesteld wanneer toegestaan en of beleidsweigeringen specifiek en gelogd zijn.
- 21:20Vergelijk correlatie-ID's in stroomlogboeken met copilot-transcripties om traceerbaarheid te bevestigen.
- 21:25Metriek voor de ongegronde beeld.
- 21:2737% van de antwoorden verwees naar niet-bestaande velden.
- 21:31Afwijkingen tussen tenants produceerden drie verschillende statusnamen.
- 21:34Mediaan latentie 4,2 seconden vanwege tabelscans.
- 21:39Tokenverbruik per Q&A gemiddeld 9800 tokens.
- 21:42Twee bijna beleidsgendingen waarbij gevoelige notices werden samengevat naar een niet-zakelijke bestemming, alleen geblokkeerd door tenant DLP.
- 21:50Metriek na context engineering, geen uitgevonden velden in de suite, canonieke leenaanvraag.
- 21:56Status geciteerd in 100% van de statusantwoorden.
- 21:59Latentie gedaald naar 1,6 seconden media met ophalen op veldniveau.
- 22:02Tokenverbruik per Q&A gemiddeld 3100.
- 22:06Beleidsgendingen geprobeerd, 4.
- 22:07Allemaal geweigerd met expliciete redenen en gelogd met idee's.
- 22:11Dezelfde prompts in DEF, UAT, BAS en PROD produceerden identieke veldverwijzingen.
- 22:16Verschillen alleen in toegestane acties zoals bedoeld.
- 22:19Een kort micro-verhaal.
- 22:21Een tester vroeg, versnel LA-501 naar goedgekeurd.
- 22:24Voorheen zei de agent, klaar.
- 22:26En hallucineerde een overgang.
- 22:28Nu, de co-pilot-reactie, geweigerd.
- 22:30BR-status-overgang, ingediend naar goedgekeurd, is ongeldig.
- 22:33Geldige overgangen, ingediend naar eerste beoordeling.
- 22:35Aanhalingsteken, het biedt vervolgens aan om de leenstatus bij te werken naar eerste beoordeling.
- 22:40Een klik, conform pad, klaar voor audit.
- 22:42Draag assets over, verpak het systeemberichtenpatroon bestand met tokens,
- 22:46de checklist voor schema-grounding, het JSON-schabloon voor de retrieval pipeline,
- 22:50de drie flow-prompt-schablonen en een omgevingsconfiguratie bestand voor verbindingsreferenties en labels.
- 22:55Versie alles.
- 22:55Sla het op in bronbeheer.
- 22:57Bij het importeren worden variabelen per omgeving gekoppeld.
- 22:59Geen handmatige bewerkingen in productie.
- 23:01Jullie zijn volwassen.
- 23:02Implementeer in UAT, draai de suite, leg de voor- en natabel vast en presenteer twee schermafbeeldingen.
- 23:07Een gefundeerd antwoord met vermelding van de status van de leningaanvraag
- 23:10en een added logboek-item met schema's keerde invoer en een correlatie-idee.
- 23:13Dat is je bewijs voor het management zonder dat er iets lekt.
- 23:16Je hebt nu een vaste identiteit die niet afwijkt,
- 23:19retrieval die niet hallucineert,
- 23:20tools die werken met minimale rechten en beleid dat weigert met bewijs.
- 23:24Het is herhaalbaar, controleerbaar en snel.
- 23:26Schokkend wat er gebeurt als je het model de waarheid en grenzen voert.
- 23:30Belangrijkste leek, context engineering, systeem retrieval, tools en beleid veranderen
- 23:35co-pilot van een warrige gokker in een beheerde teamgenoot die velden citeert,
- 23:38veilig handelt en precies weigert.
- 23:40Doe nu het efficiënte.
- 23:41Kloon de schablonen, koppel omgevingsvariabelen,
- 23:43indexeer je dataverse schema,
- 23:45dwing DLP af en draai de evaluatiesuite in dev, UAT en PROT.
- 23:48Promoveer daarna naar UAT met versietext en de kill switch ingeschakeld.
- 23:51Als dit je tijd heeft bespaard, los de schuld dan in.
- 23:54Abonneer je en bekijk de geavanceerde evaluatie harness
- 23:56en de multi-agent orchestratie walkthrough hierna.
- 23:59Ga door.