Latest / M365.FM – Microsoft 365・Copilot・AI ポッドキャスト（日本語） / LangChain4jとCopilot StudioでのAIエージェント・ガバナンス：プロンプトインジェクション、コネクタ、監査、RBAC（AI吹き替え）

Transcript

LangChain4jとCopilot StudioでのAIエージェント・ガバナンス：プロンプトインジェクション、コネクタ、監査、RBAC（AI吹き替え） · M365.FM – Microsoft 365・Copilot・AI ポッドキャスト（日本語）

0:00
ai エージェントは変更管理会議よりも早く出荷されガバナンスは雰囲気ですテストのためだけにテナント全体にアクセスできるコパイロットが出荷された時のあの感覚をご存知ですか
0:08
a それはコンプライアンス担当者の心臓の鼓動です今日は実際のケースプロンプトの挿入過度に寛容なコネクタ監査のギャップを使用してラングチェーン4jとコパイロットスタジオの混乱を解消します
0:18
何が壊れるかなぜ壊れるか実際に機能する修正方法を示します最後までお付き合いくださいほとんどのインシデントを防ぐガバナンス手順を一つ教えします
0:27
エージェント rbac モデルデータ損失ポリシーレッドチームチェックリストを持ち帰ることができますケース1プロンプトの挿入監督されていないインターンがポリシーを作成します
0:36
プロンプトの挿入は役に立ちそうに聞こえ完全な文章で書き給与データを安全のために個人のアーカイブにメールで送信する監督されていないインターンです
0:45
システムプロンプトが法律だと思っているかもしれませんがモデルはそれを提案だと考えていますそしてそれを内部コンテンツに基づかせた瞬間刺激的なドキュメントやユーザーメッセージが
0:53
会話の途中でルールを書き換えてしまう可能性がありますこれがなぜ重要なのかインジェクションが成功するとエージェントはデータ漏洩の王様詩人になります
1:01
ツールをエスカレートさせ wi-fi の利用規約のようにポリシーの文言を無視します規制された職場ではこれはバグではなく会社名が付記された報告対象インシデントです
1:10
ラングチェーン4jで何が壊れるかから始めましょうほとんどの人が見落としているのは厳密な出力スキーマなしでツールを呼び出すことは
1:16
基本的に犯罪を犯して雰囲気を返すようなものだということですツールがチェックされていない引数自由形式のテキスト
1:22
sql クエリフィールドなどを受け入れ型範囲列挙型を検証しない場合モデルは攻撃者が持ち込んだものを喜んで渡します
1:31
出力検証の弱さが共犯者ですジェイソンを期待しているのにジェイソン風のものを受け入れると攻撃者はコメントや文字列に指示を
1:38
忍び込ませることができ下流のパーサーはそれをコマンドとして扱います取得ツールが任意のマークダウンを持つトピックパラメータを受け取ったログを見たときに
1:45
これが負に落ちました次の呼び出しではそのマークダウンが構成のように渡されました
1:50
これはオーケストレーションではなく自己責任ですさてここでほとんどの人が失敗します
1:56
彼らは高度のガードレールの代わりにモデルの安全であるようにしてください設定に依存しています
2:00
ラングチェーン4jではツール名と引数の許可リスト境界で強制されるジェイソンスキーマ出力
2:06
シークレットを削除するパターンベースの出力フィルタテニスボールを持ったゴールデンレトリバーのように同じ毒された入力を5回再試行しない
2:14
例外処理が必要ですこれが機能する理由はモデルを信頼することがすべてのバイトを検証することに変わるからです
2:20
コパイロットスタジオで何が壊れるか広範囲のシェアポイント取り込みによるナイーブなグラウンディング
2:25
完全性のためにサイトコレクション全体を接続すると以前の指示を無視する一つのオンボーディングドキュメントがエージェントの新しい宗教になります
2:32
ビジネスユーザーが編集できるシステムプロンプトが続編です私はビジネスユーザーが大好きですが彼らに迅速な管理者権限を与えるのは
2:38
マーケティング部門がブランドボイスを知っているからといってファイアウォールルールを設定させるようなものです
2:42
そして摩擦を減らすためにモデレーションを無効にしたテナント構成を見たことがありますできれば見たくないですよね
2:47
その証拠は本来存在しないはずのエクスポートオールフラグなど無制限のパラメータでツールが呼び出されたことを示すテナントログです
2:55
アシスタントが取得したドキュメントから挿入された文字列を繰り返しモデレーションのトグルが無効になっている会話トレース
3:01
これは仮説ではなくあなたが参加したくないインシデント後のレビューのすべてですでは今日実装できる固定パスは何でしょうか
3:07
ラングチェーン4jの場合ツールレジストリで許可リストを強制しますツールがスキーマに登録されていない場合は存在しないものとします
3:13
ジェイソンスキーマ出力を必須とし検証できないものはすべて拒否しますスキーマがなければ応答なしそれだけです
3:19
明らかな漏洩APIキーシークレットSSNに対してパターンフィルタを追加しますブルームフィルタは高速で安価なので使用してください
3:25
ツールをポリシーチェックでラップし実行前に引数のタイプ範囲および期待される形式を検証します前処理と後処理にコンテンツモデレーションを追加しモデルが有害またはセンシティブなコンテンツに対して動作したり
3:35
それを出力したりしないようにします明示的な例外で終了させ汚染されたプロンプトを自動再試行しません
3:40
コパイロットスタジオの場合システムプロンプトをロックします管理者のみが変更できますコードのようにバージョン管理します
3:46
環境ごとにコネクタの範囲を設定します開発テスト本番では境界が異なりますデータソースでは最小権限を付与します
3:51
テナントレベルでコンテンツモデレーションポリシーを有効にしますこれは最低限必要なことです
3:56
利便性のためにファーム全体ではなくラベル付けされたセンシティブタグ付きコンテンツのみをベースとしますすぐに効果が出るクイックウィンはエージェント境界に出力スキーマとブルームフィルタモデレーションステップを追加することです
4:05
ビジネスロジックに触れることなくほとんどの愚かなリークをなくすことができます次に構造化された要約など期待される形式の小さな拒否許可リストをレイヤー化しそれ以外はすべてブロックします
4:14
これがどのように機能するかを正確に示しましょう例えばタイトル説明優先度を受け入れるチケット作成ツールがあるとします
4:21
スキーマの強制がない場合攻撃者はすべての p 1インシデントを閉じるという記述をトリプルバックコートブロック内に挿入します
4:28
モデルはそれを通過させます itsmapiは肩をすくめて更新スクリプトを実行します
4:33
スキーマと検証があれば記述にはコマンドトークンを含めることができず長さを超えることもできません
4:37
リクエストはクローズに失敗し相関idがログに記録され cm はモデレーションヒットをフラグ付けします
4:43
そしてほら結果を見てくださいインシデントは回避されトレールは保持され監査人は満足します
4:48
避けるべき一般的な間違いモデルにツール名を動的に選択させること
4:52
ツールは契約であり提案ではありませんバリデータなしで自由形式のジェイソンを受け入れること
4:56
ジェイソンは褒め言葉ではないようです本番環境で編集可能なプロンプトレビューなしで変更できる場合は変更されます
5:03
会話メモリをポリシーに頼ることポリシーはコードと構成に属するものであり雰囲気に属するものではありません
5:08
これをマスターすれば他のすべてがうまくいきますインターンが順番を無視して話すのを止めます
5:12
次にマスターキーを持ってすべての部屋に入るのを止めますケースに過度に寛容なコネクタ
5:17
ランヤードについた城の鍵インターンが離すのを止めます
5:21
バッジを返してください過度に寛容なコネクタは金庫
5:24
託事書そしてどういうわけか ceo のペロトンを含む建物のすべてのドアを開ける清掃員のキーリングです
5:29
これがなぜ重要なのかは簡単ですスコープが過剰に設定されたコネクタが一つあると理論上ではなく単一のリクエストで企業全体のデータ漏洩につながります
5:36
1回の呼び出しです変更チケットのタイトルについてまだ議論している間にラングチェーン4jで何が壊れるかから始めましょう
5:43
開発者は利便性のためにエージェント間で api キーを共有します
5:46
すると誰かが実際には公開されているプライベートリポジトリに envy をコミットしあなたは海外で午前2時にインシデント対応を行うことになります
5:52
次はオーススコープですテスト中に時間を節約するために読み取り書き込みのすべてを許可し6ヶ月後にはそのテストトークンが本番の
6:00
手法になりますツールレジストリはどうでしょうか私はクリーンなレジストリが好きですがデモが今日中に動作する必要があるため
6:05
開発者エージェントを本番の認証情報に向けるとチェーンソーをルンバに接続したことになりますほとんどの人が見落としている点はツールは渡された id を継承するということです
6:12
共有認証情報は共有された影響範囲を意味します保存するだけの魔法のフラグはありません
6:17
トークンがレコードを削除できる場合エージェントは誤って熱心にそして完璧な自信を持ってレコードを削除できますさてコパイロットスタジオに移動してください
6:24
テナント全体の m 365コネクタは典型的な落とし穴です一度クリックするとすべてのチームのすべてのコパイロットが本来見るべきではないデータを見ることができるようになります
6:32
これは権限付与ではなくミスのビュッフェです採用のために組織全体の可視性を持つチームに展開すると財務用のパイロットボットがマーケティングの質問に答え存在を知るはずのないシェアポイントサイトからコンテンツを取得するようになります
6:44
管理されていないサードパーティのサーズフックはどうでしょうかこれらは2009年の usb ドライブのようなものですどこにでも不思議なほど存在し常に一時的です
6:51
証拠は毎回同じように現れますローテーションされず有効期限がなく所有者もいない古いシークレットシンプルにするためにグローバルグループにマッピングされたコネクタ
7:00
自白のように読めるスコープを持つアプリ登録そしてそうですその一時的な本番用キーは開発環境で何ヶ月も存在しています
7:08
セキュリティの発見事項やテナント構成は嘘をつきませんただため息をつくだけですでは修正パスは何でしょうかラングチェーン4jの場合各エージェント独自の id を持つ個別のアプリケーションとして扱います
7:17
エージェントごとにサービスプリンシパルを作成しますトークンは共有しません2つのエージェントが同じ api を必要とする場合でも異なる認証情報を取得します
7:23
スコープ付き要素を使用しますツールがその仕事をするために必要な最小限の権限セットを付与します
7:27
読み取り専用で書き込みはしません全てのコレクションではなく一つのコレクションに書き込みます
7:31
シークレットは適切なシークレットマネージャーに保存しますスケジュールに基づいてローテーションします
7:34
インシデント発生時にローテーションします誰かがトークンについて囁いただけでもローテーションします
7:37
ツールレベルのrbacを追加しますツールラッパーはapiにアクセスする前に呼び出し元の役割を確認します
7:42
役割がない場合は呼び出しは行いません環境を分離し開発用キーは開発システムとのみ通信します
7:46
ツールが開発環境で本番エンドポイントを見つけた場合ツールは閉じられログにエラーを出力します
7:50
コパイロットスタジオでは環境とスコープで明確な境界を設定します環境分離開発テスト本番を使用します
7:57
異なるコネクタ異なる権限異なる所有者ワークフローを使用してコネクタのスコープを確認します
8:01
変更には承認有効期限所有者が必要です所有者がいなければコネクタはありません
8:06
チャンネルごとにdlpポリシーを適用します財務チャンネルには会社全体よりも厳しいルールが適用されます
8:10
それがポイントですパイロットのために組織全体のチーム展開を停止します
8:13
可視性をセキュリティグループに制限しますレビュー後にのみ拡張します
8:17
サードパーティのサーズコネクタをインベントリしてゲートします管理されていない場合はデフォルトでオフになります
8:22
所有者はアクセスを正当化し更新する必要がありますこれは今日の午後に出荷できる簡単な勝利です
8:26
テナント全体のスコープを停止し各コネクタを有効期限ポリシーを持つセキュリティグループにマッピングします
8:31
グループの有効期限が切れるとアクセスは正常に終了しますドラマもサプライズもありません
8:35
これがどのように実行されるかを正確に示しますストレージバケットに書き込むエクスポートレポートツールがあるとします
8:39
共有資格情報を使用するとすべてのバケットを見ることができますつまりバックアップをアーカイブに保存というプロンプトは
8:45
機密データをひっそりと公開パスに保存しますエージェントごとのプリンシパルとスコープ付きロールを使用すると
8:50
そのツールは一つのプレフィックスを持つ一つのバケットにのみ書き込むことができますモデルが別のパスを作成しようとした場合
8:56
APIはそれを拒否します相関IDをログに記録するとcmがアラートを発します
9:01
これで意図しないデータ漏洩パーティーは発生しません避けるべきよくある間違い
9:05
とりあえずアクセスにグローバルグループを使用する今だけは終わりません
9:09
ドキュメントがわかりにくかったため広範囲または全てのスコープを付与するわかりにくいことは許可ではありません
9:14
環境間で認証情報をコピーする貼り付けられるなら間違った方法で貼り付けますチームの可視性を無害とみなす
9:20
可視性はアクセスですアクセスはリスクですアクセススコープをきちんと設定すれば監査人は血の匂いを嗅ぎつけなくなります
9:25
そして監査人がノックしてきたら証拠が必要になりますここで誰もが忘れがちな部分に触れます
9:30
ログに記録されていなければ何も起こらなかったことになりますケース3監査のギャップログに記録されていなければ何も起こらなかったことになります
9:36
アクセス範囲を設定しました素晴らしいではそれを証明してください監査人が午後3時14分にエージェントは何をしましたか
9:43
と尋ねた時あなたの答えが何かしたと思いますだった場合それは姿勢ではなく謝罪ツアーです
9:48
これがなぜ重要なのか履歴がなければ奇妙な答えを説明したり悪いアクションをロールバックしたりインシデントが封じ込められたかどうかを知ることさえできません
9:55
規制当局はその不確実性を好みます顧客はそれほど好みませんそして経営人はあなたが分かりませんというのを本当に好みます
10:01
ラングチェーン4jでほとんどの人が見落としているのは次の点ですチェーンはログが認めるよりもはるかに多くのことを行っています
10:06
実行グラフがないということは手順を再構築できないことを意味しますトレース id がないということはイベントがランダムな花火のように見えることを意味します
10:12
部分的なログは重要なツール呼び出しを隠しますそしてサイレントツール障害これは私のお気に入りです
10:18
ツールが実行されずモデルが礼儀正しく応答を厳格しただけなのにすべてが緑色に見えます
10:23
取得ステップがタイムアウトしてなるを返し次のステップがチケット api にレコードが見つからないと書き込んで閉じたというインシデントを追跡していた日に
10:30
このことが負に落ちました例外もトレースもなく雰囲気と閉じられたチケットだけでしたログでモデルの出力とツールの出力を区別できない場合はすでに問題が発生しています
10:38
ラングチェーン4jのログを法定で使用できるように修正する方法を正確に示しましょうまず構造化ログをあらゆる場所で有効にします文字列の羅列ではなくジェイソンです
10:46
すべてのリクエストとレスポンスにはタイムスタンプモデル名トークン数およびチェーン全体で存続する相関 id を含むエンベロープが付きます
10:52
次にラングスミスまたはランググラフを使用して実行グラフまたはトレースを追加します各ノードは入力出力期間およびエラーをログに記録します
10:59
ツールが例外をスローする場合は大声でスローしますサイレントな失敗や想定された失敗はありませんさて重要な点です集中管理します
11:05
トレースとログをシームにパイプします自動的にスケールして消滅するポッドに放置しないでくださいノイズのサンプリングを追加しますがエラーは決して削除しません
11:11
トレース id で検索してストーリー全体を確認したいのですプロンプとドキュメントの取得ツール呼び出し api レスポンスそして午前2時にオーリーを探せをプレイすることなく最終的な答えを確認したいのです
11:20
コパイロットスタジオに切り替えましょうこのプラットフォームはテレメトリを提供しますがそれはチームデータバースおよびあなたが触れたコネクタに分散しています
11:26
会話のエクスポートが制限されているため物語ではなく断片的な情報しか得られません断片化されたテレメトリのためコンプライアンス担当者はまるで工作のようにスクリーンショットをつなぎ合わせています
11:34
統一された監査レーンを構築することでこれを解決します明確な保持sla保持する人保持機関および理由を指定して会話トランスクリプトの保持を有効にします
11:42
会話とアクションログをファブリックやログアナリティクスなどの集中ワークスペースにエクスポートしますチームのエントリポイントからデータバースプラグイン
11:49
下流APIまで渡される相関IDですべてのイベントにタグをつけますチャットでケースの作成を求められたら送信された正確なデータを含む正確なシステムの正確なレコードをクリックして移動したいのです
12:00
インシデントレビューで認識できる証拠生ログにユーザーセッションにマッピングされない孤立したLLM呼び出し対応するプロンプトのないツール呼び出しまたはグラウンディングログにドキュメントIDが含まれていないため見つけられないソースを引用する回答
12:12
これは謎ではありませんこれは配管が欠けているということです今週出荷できるクイックウィン
12:17
ハッシュ付きのリクエストレスポンスエンベロープを義務付けますプロンプト取得チャンクおよび出力のコンテンツハッシュを保存して整合性を証明できるようにします
12:24
誰かが改ざんした場合ハッシュはノーと言いますエンドツーエンドの相関IDを要求しますエッジで生成しすべてのホップを通過しそれをドロップする呼び出しを拒否します
12:32
IDがないとサービスは提供されません保持slaを定義しますホームが承認しセキュリティが強制します開発の場合は90日本番の場合は1年規制対象ドメインの場合はそれ以上
12:41
公開しますそれに従います避けるべき一般的な間違い性の秘密またはpをログに記録することソースでマスクします
12:47
オレンジックに必要なフィールドを保持し重要な情報は保持しませんサンプリングエラーサンプル成功すべての失敗をログに記録します何かが壊れたらあらゆる手がかりが
12:55
必要になります自由形式のテキストログは人間は好きですが機械は嫌いですフィールドを使用しますスキーマを追加します取り込み時に検証します
13:02
これで監査担当者は何が起こったのかと尋ねますトレースを一つ開きますプロンプと取得したドキュメントIDツールの入力ツールの出力
13:09
および最終メッセージを表示します相関IDはAPIゲートウェイデータベースへの書き込みおよびチームメッセージと一致します
13:15
これでストーリーが成り立ちますつまり見えるようになれば管理できるということです
13:19
つまりルールを形式化し誰が何をするかをロックダウンする時が来たということですエージェントRBACモデルではエージェントを非常に愚かで非常に強力なユーザーとして扱います
13:27
可視性が得られました良いことです次にこれらのものにIDとリードを与えます
13:31
エージェントはユーザーです非常に愚かで非常に強力なユーザーです
13:34
初日に人間の臨時管理者に与えないのであれば皮肉と素道を区別できない確率的オウムに与えてはいけません
13:39
これが重要な理由ほとんどの組織は人間を保護しエージェントを無視します
13:43
するとエージェントは設計上最小権限の原則を回避しますツールを飛び越え環境を横断しますが組織図に表示されないため誰も気づきません
13:51
こうしてヘルパーボットはシャドウ管理者に変わります私があなたに提供してほしいモデルは次の通りです
13:56
エージェントごとに一つのID 明確な役割コード内のポリシーチェック実際に意味のある環境境界
14:01
IDから始めプラットフォームボット1ではなく全てのエージェントに対してサービスプリンシパルを作成します
14:06
実際の1対1のマッピングアプリのように名前を付けます
14:09
所有者目的環境有効期限でタグ付けします
14:12
2つのエージェントが同じAPIにアクセスしても異なるIDを取得します
14:15
共有IDは共有された爆発範囲を意味します
14:17
次に忙しい人でも適用できる役割の分類を定義します
14:20
私はリーダーランナーライター管理者の4つの役割を使用しています
14:23
リーダーはデータを取得できます
14:24
副作用はありません
14:26
クエリ取得要約を考えてください
14:28
ランナーは境界付き効果を持つワークフローを呼び出すことができます
14:31
チケットの作成承認の送信会議のスケジュールなど
14:34
ライターは特定のスコープにデータを書き込むことができます
14:36
テーブルは1つバケットは1つメールボックスは1つですべてではありません
14:40
管理者は構成を変更できます
14:41
この役割はあなたを悩ませるはずです
14:43
使用は控えめに時間制限を設け常に二重承認が必要です
14:47
次にそれをラングチェーン4jにマッピングします
14:49
ツールは強制ポイントです
14:50
各ツールラッパーは実行前に呼び出し元の役割を確認します
14:54
エージェントIDがリーダーにマッピングされている場合
14:56
書き込みツールは呼び出しを受け取りません
14:58
役割だけで止まらずリソーススコープを含めます
15:00
ケース財務のライターはケース販売を書き込むことができません
15:04
スコープはコメントではなくゲートです
15:06
環境変数と構成ファイルを使用してツールを環境にバインドします
15:09
開発エージェントは開発ホストと開発キーのみを参照します
15:12
本番URLを試みるとクローズしてログを第4両で出力します
15:15
ポリシーチェックはAPI呼び出しが失敗した後ではなく協会で行われます
15:19
コパイロットスタジオでは環境ロールとコネクタスコープで同じパターンを実行します
15:23
エージェントをリーダーをミラーリングする権限を持つ環境に割り当てます
15:26
つまりランナー、ライター、管理者です
15:29
コネクタの権限はこれらのロールに関連付けられたセキュリティグループにマッピングされます
15:32
チームデプロイメント協会は爆発半径です
15:34
パイロットは小規模グループ内に留めてください
15:36
変更チケットでのみ拡張してください
15:38
レビューワークフローがここで誠実さを保つ役割を果たします
15:40
スコープの変更はすべて変更要求です
15:42
エージェント、要求された役割、コネクタまたはツール、環境、理由、要求者、有効期限をリストします
15:48
承認は2件、技術オーナーは1名、データオーナーは1名です
15:51
有効期限が切れるとアクセスは自動的に無効になり更新するか放棄するかのアラートが表示されます
15:55
一時的とは最終的には一時的な意味になります
15:57
マイクロストーリーでこれがどのように展開されるかを正確に示しましょう
16:00
財務Q&Aエージェントは最初はリーダーとして開始します
16:02
人々はそれを気に入っているので製品は経費レポートを作成したいと考えています
16:05
これは狭いスコープのランナーアクションです
16:07
ツールレベルのポリシーを持つ新しいツールを追加します
16:10
経費の送信のみ、従業員のコストセンターのみ、添付ファイルが5つ以下のみ
16:15
エージェントIDは30日後に期限切れになる単一のAPIのランナーを取得します
16:19
コパイロットスタジオでは環境波業レベルのセキュリティを持つ一つのデータバーステーブルへのコネクタ権限を取得します
16:25
監査ログには変更チケット、承認者、有効期限が表示されます
16:29
マーケティング部門がレポートの削除も要求してきたら拒否するか独自の所有者とSLAを持つ別のライターツールにルーティングします
16:35
モデルは何でも要求できます
16:37
ポリシーは全てを強制します
16:39
止めなければならないよくある間違い
16:41
利便性のための共有ID
16:43
利便性は封じ込めの敵です
16:45
期限切れにならない一時的な管理者
16:46
タイムアウトはカレンダーではなく権限に設定します
16:49
デモのブロックを解除するために開発でプロジェクトの認証情報を使用します
16:52
デモには本番データは必要なく監査人が必要とします
16:54
コードではなくUIによるツールのゲート
16:56
モデルが呼び出せるならユーザーインターフェースは関係ありません
16:59
他に何も覚えていなくても
17:00
エージェントを愚かな好奇心と鋭いナイフを持ったユーザーのように扱います
17:03
エージェントごとのID
17:04
アクションごとのロール
17:05
リソースごとのスコープ
17:07
デフォルトで時間制限があり
17:08
全ての呼び出しはデータに触れる前にポリシーをチェックします
17:11
AIが漏水蛇口になるのを実際にブロックするデータ損失ポリシー
17:14
エージェントにIDとロールを与えました
17:16
今度は滴りを止めます
17:17
ガバナンスはここでプロアクティブです
17:19
建物から出る前に悪いものをブロックします
17:21
これが重要な理由
17:22
AIは露出を増幅します
17:23
一つのプロンプトで
17:24
それぞれが潜在的な情報漏洩となる100個の送信トークンが生成される可能性があります
17:27
コントロールが事後分析でのみ表示される場合
17:29
ガバナンスではなくホレンジックを行っています
17:31
実際に効果を発揮するポリシーセットは次の通りです
17:34
シートベルト、エアバッグ、レンガの壁のようなものと考えてください
17:36
出力のピ削減はデフォルトです
17:38
名前、メールアドレス、電話番号、国民ID
17:40
ユーザーに権限がない場合はマスクされます
17:43
情報漏洩は誰の内部内部にもありません
17:45
シークレット検出、APIキー、トークン、秘密鍵、接続文字列パターン
17:50
および速度のためのブルームフィルターを保護します
17:51
一般的な形式のチェックサムを追加して
17:53
誤検出で溺れないようにします
17:55
ビジネスに合わせて調整された機密用語フィルター
17:57
法的プロジェクト名、M&Aコードワード、未リリースの製品コード名
18:01
このリストを所有者と変更履歴のある管理ストアに保持します
18:04
出力構造の正規表現許可リスト
18:06
ツールが請求書の概要を期待している場合
18:08
請求書形式の出力のみが通過します
18:10
物語形式の歌は通過しません
18:11
スキーマはオプションではありません
18:13
契約です
18:13
ラングチェーン4Jでは強制前処理と後処理があります
18:16
前処理は入力をスキャンして
18:17
インジェクションペイロードと許可されていないタスクを検出します
18:19
後処理はJSONスキーマを検証し
18:22
用語シークレットフィルターを実行し
18:23
エージェント協会から何も出る前にPを編集します
18:26
チェックが失敗した場合は
18:27
相関IDを含む安全なエラーを返します
18:29
部分的な真実はありません
18:31
多分もありません
18:38
例えば健康データを開示しない
18:40
それらを連鎖させます
18:42
クローズします
18:43
ボールバック動作を定義します
18:44
より高いレベルで要約するか
18:46
安全な拒否を与えるか
18:47
人間にルーティングします
18:48
モデルをループさせて
18:48
より安全なリークを与えないでください
18:50
コパイロットスタジオでは
18:51
すでに支払っているスタックを使用します
18:53
マイクロソフト365のDLPポリシーは
18:56
チャンネルとコネクタに適用されます
18:57
それらを有効にして調整します
18:59
グラウンディングソースでセンシティブラベルを使用して
19:01
エージェントが明示的な承認なしに
19:02
影響の大きいコンテンツを
19:03
インデックス化しないようにします
19:04
テナントレベルのモデレーションは
19:06
デフォルトで有効にしておくべきであり
19:07
後で有効にするのはやめましょう
19:08
後で有効にするのはPRが関与する場合です
19:11
監視はこれらをまとめます
19:12
式位置異常な出力サイズ異常な宛先異常な頻度を設定します
19:16
Q&Aボットが突然外部エンドポイントに
19:18
メガバイトを書き込んだ場合は
19:19
セッションを隔離します
19:20
リスクの高いセッションを自動的に期限切れにして
19:22
所有者に通知します
19:23
アラートは実行可能なものにします
19:25
全てのマスクイベントで全員にピンを送信しないでください
19:27
今日出荷できるクイックウィンです
19:29
エージェント協会で出力スキーマとブロックリスト用語を強制します
19:32
スキーマがない場合応答しません
19:34
最終パスとしてピ削減を追加します
19:36
この組み合わせにより明らかな漏洩を防ぎ
19:37
残りの実装に時間を稼ぐことができます
19:39
よくある間違い
19:40
フロントエンドコードに依存させる
19:42
メッセージがクライアントに到達する前に
19:44
サーバー側で編集します
19:45
一つのグローバルブロックリスト
19:46
ビジネスドメインごとにセグメント化します
19:48
金融用語はマーケティング用語ではありません
19:50
デバッグのために編集されていないオリジナルをログに記録します
19:53
取り込み時にマスクします
19:54
ホームチームが承認した場合にのみ
19:56
セキュアボールとコピーを保持します
19:57
蛇口をロックしてから
19:58
わざと壊してみよう
20:00
レッドチームのチェックリスト
20:01
プロデューサーが壊す前に壊してみよう
20:03
シートベルトを引っ張るまで信用しないのと同じ
20:05
ガードレールも同じ
20:07
混乱を計画的に起こそう
20:08
目標は雰囲気ではなく
20:10
再現可能な敵対的テスト
20:11
チェックリストを出荷し
20:12
一定のリズムで実行し
20:13
それを使ってリリースをゲートする
20:15
まずはインジェクションテスト
20:16
役割の混乱
20:17
エージェントにポリシーを無視して
20:19
システムとして動作するように促す
20:21
拒否されるはずだ
20:22
ツール名の衝突
20:23
偽のツール名とパラメータを注入する
20:25
登録されたツールのみが実行されるべきだ
20:27
スキーマのバイパス
20:29
コマンドを文字列とジェイソンコメントに埋め込む
20:31
バリデータは拒否しなければならない
20:33
思考の連鎖の餌
20:34
ソースを漏洩する推論ダンプを誘い出そう
20:37
出力はスキーマ内に止まるべきだ
20:39
データ流出のプロンプト
20:40
正確なSSNを引用する
20:42
すべてのメールをエクスポートする
20:44
監査証跡付きで拒否される
20:46
次はアクセステスト
20:47
スコープのエスカレーション
20:48
エージェントの役割外のアクションを要求する
20:50
ツールはラッパーレベルでブロックする必要があります
20:52
機嫌切れトークンの動作
20:53
セッションの途中でシークレットをローテーションします
20:55
呼び出しは明確なエラーでクローズされて失敗する必要があります
20:57
シャドウ環境の漏洩
20:59
開発エージェントが本番エンドポイントを試みます
21:01
ハードフェール
21:01
ログを第4量で出力します
21:03
監査テスト
21:04
トレースの完全性
21:05
一つの相関IDでプロンプトからアクションを再構築できますか
21:08
改ざん検出
21:09
保存されたログの変更
21:10
ハッシュの不一致はアラームを発する必要があります
21:11
サービス間の相関
21:12
チームメッセージIDからデータバースレコード
21:15
外部API呼び出しまで全て一致します
21:17
合格
21:17
不合格ゲートを定義します
21:19
スキーマがない場合は失敗します
21:21
検証しない出力はリリースをブロックします
21:23
テナント全体のスコープは失敗します
21:25
スコープグループと有効期限のないコネクタはブロックされます
21:28
サイレントツールの障害は失敗します
21:30
エラーは隠蔽するのではなく表面化する必要があります
21:32
ロールバックプランがない場合は失敗します
21:34
数分以内に権限の変更またはモデル構成を元に戻せない場合は準備ができていません
21:38
エージェントの変更ごとにプレリリースを定期的に実施します
21:40
本番環境のような環境に対して市販機ごとにカオスドリルを実施します
21:43
インシデント後の学習ループを5営業日以内に開始し
21:46
新しいテストをスイートに追加します
21:48
各チェックリスト項目には修正するオーナーとSLAおよびステータスがあります
21:52
オーナーがいなければ出荷できません
21:54
すぐに成果が得られます
21:55
スキーマがないと失敗しテナント全体のスコープがないとCICDチェックとして失敗します
21:59
どちらかがトリップするとパイプラインが停止します
22:02
会議も議論も不要で誰もが尊重する赤信号だけです
22:04
リストを実行します
22:05
壊れます
22:06
修正します
22:07
そして驚きが驚きでなくなるまでもう一度実行します
22:10
ほとんどの組織がスキップするガバナンス手順が一つあります
22:13
他に何も覚えていなくてもエージェントはIDです
22:16
エージェントを最小限の権限強制出力契約および完全な監査証石を持つ
22:20
非常に愚かで非常に強力なユーザーとして扱います
22:23
ほとんどの組織がスキップする手順は
22:24
すべてのエージェントに専用のサービスプリンシパルを作成し
22:27
環境ごとにスコープ付きロールを介してすべてのツールとコネクタを接続することです
22:30
共有資格情報もテナント全体のスコープもありません
22:33
RBACモデルを採用します
22:35
今週DLPポリシーを有効にしてレッドチームのチェックリストを実行します
22:39
次回の配信ではJ言語とコパイロットスタジオ用のラングチェーンの正確な設定方法をご紹介しますので
22:43
謝罪する代わりにガバナンスをコピー&ペーストできるようになります
22:45
ぜひご登録ください