Latest / M365.FM – подкаст о Microsoft 365, Copilot и ИИ на русском / Управление ИИ-агентами в LangChain4j и Copilot Studio: prompt injection, коннекторы, аудит и RBAC (ИИ-дубляж)

Transcript

Управление ИИ-агентами в LangChain4j и Copilot Studio: prompt injection, коннекторы, аудит и RBAC (ИИ-дубляж) · M365.FM – подкаст о Microsoft 365, Copilot и ИИ на русском

0:00
И агенты внедряются быстрее, чем ваше совещание по управлению изменениями, а управление — это
0:03
определенная атмосфера. Знаете это чувство, когда Копайлот запускается с доступом для всего
0:07
арендатора только для тестирования? Да, это сердцебиение вашего специалиста по соблюдению
0:10
нормативных требований, которые вы слышите. Сегодня я разберу беспорядок в LangChain 4J и
0:14
Копайлот Студия на реальных примерах внедрения подсказок, чрезмерно разрешительные коннекторы
0:17
и пробелы в аудите. И я покажу вам, что ломается, почему это ломается и какие исправления
0:21
действительно работают. Оставайтесь до конца, я расскажу вам об одном шаге в управлении,
0:25
который предотвращает большинство инцидентов. Вы уйдете с моделью RBC для агентов, политиками
0:29
защиты от потери данных и контрольным списком для команды красных. Пример первый — внедрение
0:33
подсказок. Неконтролируемый стажер пишет политику. Внедрение подсказок — это тот самый
0:38
неконтролируемый стажер, который кажется полезным, пишет полными предложениями, а затем
0:41
отправляет данные о заработной плате по электронной почте в свой личный архив для сохранности.
0:45
Вы думаете, что подсказка вашей системы — это закон. Модель думает, что это предложение. И как только
0:49
вы основываете это на внутреннем контенте, один опасный документ или сообщение пользователя
0:53
может переписать правила прямо посреди разговора. Почему это важно? Когда побеждает внедрение,
0:58
ваш агент превращается в короля утечек данных. Он галлюцинирует, эскалирует инструменты и
1:02
игнорирует язык политик, как будто это условие предоставления услуг Wi-Fi. В регулируемых
1:06
компаниях это не ошибка, а инцидент, о котором нужно сообщить, и на нем будет указано название вашей
1:10
компании. Давайте начнем с того, что ломается в лангчейн 4G. Большинство людей упускают из виду,
1:15
что вызов инструментов без строгих схем вывода — это, по сути, совершение преступлений и возврат
1:18
результатов. Если ваши инструменты принимают непроверенные аргументы, например, свободный текст,
1:23
SQL или поля запросов, и вы не проверяете типы, диапазоны или перечисления, модель с удовольствием
1:29
передаст все, что злоумышленник видит. Слабая проверка вывода — это соучастник преступления.
1:34
Когда вы ожидаете JSUN, но принимаете что-то похожее на JSUN, злоумышленник может внедрить
1:38
инструкции в комментарии или строки, которые ваш нежестоящий парсер будет рассматривать как команды.
1:41
Я понял это, когда увидел логи, где инструмент получения данных принимал параметр темы с произвольным
1:46
разметкой Markdown. Следующий вызов передавал эту разметку, как будто это была конфигурация.
1:51
Это не оркестровка, это самоконтроль. Теперь вот где большинство людей ошибаются.
1:56
Они полагаются на настройку «Пожалуйста, будьте осторожны» в моделях вместо защитных
2:00
механизмов в коде. В лангчейн 4J вам нужны списки разрешенных имен инструментов и аргументов,
2:04
принудительное использование выходных данных в формате JSUN на границе, фильтры выходных данных на основе
2:09
шаблонов для удаления секретов и обработки исключений, которые не повторяет один и тот же отравленный
2:13
ввод 5 раз, как золотистый ретривер с теннисным мячом. Причина, по которой это работает,
2:17
заключается в том, что доверие к модели превращается в проверку каждого байта, что ломается в
2:21
Капайлот Студия. Наивная основа при широком использовании SharePoint. Вы подключаете целую
2:26
коллекцию сайтов для полноты, и теперь один документ по адаптации с возможностью игнорирования
2:30
предыдущих инструкций становится новой религией для вашего агента. Системные подсказки,
2:33
редактируемые бизнес-пользователями, это продолжение. Я люблю бизнес-пользователей, но предоставление им
2:37
быстрого доступа к административным функциям. Это все равно, что позволить маркетологам
2:39
устанавливать правила Брандмауэра, потому что они знают фирменный стиль. И да, я видел конфигурации
2:43
арендаторов, где модерация была отключена для уменьшения неудобств. Хотелось бы, чтобы это было
2:47
не так. Доказательства, которые вы узнаете, журналы арендаторов, показывающие вызов инструментов
2:50
с неограниченным количеством параметров, например, флаги экспорта всех данных, которых никогда не
2:53
должно было существовать. Трассировки разговоров, где ассистент повторяет внедренную строку из полученного
2:59
документа, отключенные переключатели модерации. Это не гипотетическая ситуация, это каждый анализ
3:03
инцидента, на котором вы не захотите присутствовать. Итак, какой фиксированный путь можно
3:06
реализовать уже сегодня? Для лангчейн 4J внедрить списки разрешенных инструментов в реестре
3:10
инструментов. Если инструмент не зарегистрирован со схемой, он не существует. Требовать вывод
3:14
схем в формате JSON и отклонять все, что не проходит проверку. Нет схемы, нет ответа, точка. Добавить
3:19
фильтры шаблонов для очевидных утечек, ключей API, секретов, номеров социального страхования. Фильтры Bluma
3:24
быстрые и недорогие. Используйте их. Оберните инструменты проверками политик, проверяйте типы
3:28
аргументов, диапазоны и ожидаемые форматы перед выполнением. Добавьте модерацию контента в
3:32
pre- и постпроцессоры, чтобы модель не обрабатывала и не генерировала токсичный или конфиденциальный
3:36
контент. Закрывайте запросы с явными исключениями и никогда не повторяйте автоматически обработанные
3:40
запросы. Для Copilot Studio заблокируйте системные запросы. Изменять их могут только администраторы.
3:45
Версионируйте их как код. Ограничьте область действия коннекторов в зависимости от среды. Разрабатывайте,
3:48
тестируйте и проверяйте на разных уровнях. Минимальные привилегии для источников данных.
3:52
Включите политики модерации контента на уровне арендатора. Это обязательное условие. Для удобства
3:56
ограничивайте доступ только к контенту с метками конфиденциальности, а не ко всей ферме.
4:00
Быстрый и эффективный способ – добавить схему вывода и шаг модерации с помощью фильтра Bluma на
4:05
уровне агента. Вы устраните большинство ненужных утечек, не затрагивая бизнес-логику. Затем добавьте
4:09
небольшой список разрешенных и отклоняемых форматов, которые вы ожидаете, например, структурированные
4:13
сводки и заблокируйте все остальное. Позвольте мне показать вам, как это работает на практике.
4:17
Например, у вас есть инструмент создания заявок, который принимает заголовок, описание и
4:21
приоритет. Без проверки схемы злоумышленник внедряет описание «закрыть все инциденты P1» внутри
4:26
блока с тремя обратными кавычками. Модель передает его дальше. Ваша API-TSM просто пожимает
4:31
плечами и запускает скрипт обновления. При наличии схемы и проверки описание не может содержать
4:36
токены команд или превышать длину. Запрос завершается с ошибкой. Регистрируется
4:40
идентификатор корреляции, и ваш СМ помечает срабатывание модерации. И вот результат. Инцидент
4:45
предотвращен, журнал сохранен, аудитор удовлетворен. Распространенные ошибки, которых следует
4:49
избегать, позволять модели динамически выбирать имена инструментов. Инструменты — это контракты,
4:53
а не предложения. Принимать JSON в произвольной форме без валидатора. Похоже, JSON — это не комплимент.
4:58
Редактируемые подсказки в производственных средах. Если что-то можно изменить без проверки,
5:02
это будет сделано. Полагаться на память разговоров для политики. Политика должна быть в коде и конфигурации,
5:07
а не в настройках. Как только вы это освоите, все остальное встанет на свои места. Вы не
5:10
позволите стажеру говорить не по теме. Далее, мы не позволяем им входить в каждую комнату с помощью
5:14
мастер-ключа. Второй случай — через разрешительные коннекторы, ключи от замка на шнурке. Вы
5:19
запрещаете стажеру разговаривать. Теперь заберите бейджек обратно. Разрешительные коннекторы — это
5:24
тот самый брелок для ключей уборщика, который открывает все двери в здании, включая хранилище,
5:27
детский сад и каким-то образом даже велопарк генерального директора. Почему это важно?
5:31
Просто. Один коннектор с расширенными правами доступа равен утечке данных в масштабах всего
5:35
предприятия в одном запросе, а не в теории. Один звонок. Пока вы все еще спорите о названии заявки
5:39
на изменения, давайте начнем с того, что ломается в лангчейн 4G. Разработчики используют общие API-ключи
5:45
между агентами для удобства. Затем кто-то отправляет ключ Envi в частный репозиторий, который на самом
5:49
деле является публичным, и вы занимаетесь реагированием на инциденты в 2 часа ночи за границей.
5:52
Далее идут области действия OAT. Вы предоставляете право на чтение и запись всего, чтобы сэкономить
5:56
время во время тестирования, и через 6 месяцев этот тестовый токен становится жемчужиной в короне
6:00
производственной среды. А что насчет реестра инструментов? Я люблю чистый реестр, но если вы
6:03
направляете агента-разработчика на учетные данные для производственной среды, потому что демо-версия
6:06
должна работать сегодня, вы просто подключили бензопилу к роботу-пылесосу-румба. Большинство людей упускают
6:10
из виду, что инструменты наследуют любую предоставленную им идентификацию. Общие учетные данные
6:13
означают общий радиус поражения. Нет никакой магии, кроме как пометить сохранение. Если токен может удалять записи,
6:19
ваш агент может удалять записи случайно, с энтузиазмом и с полной уверенностью.
6:23
Теперь перейдем к Copilot Studio. Коннектор M365 для всего клиента — это классическая ловушка. Вы
6:27
щелкаете один раз, и теперь каждый Copilot в каждой команде может видеть данные, которые ему не должны
6:31
быть доступны. Это не расширение прав и возможностей, это шведский стол для ошибок. Затем вы
6:35
развертываете приложение в командах с общеорганизационной видимостью, потому что оно уже
6:38
используется, и внезапно бот-пилот, предназначенный для финансового отдела, отвечает на вопросы в отделе
6:41
маркетинга, извлекая контент с сайтов SharePoint, о существовании которых он никогда не должен был знать.
6:44
А неуправляемые сторонние SAAS хуки — это как USB-накопители в 2009 году. Таинственно повсюду и
6:50
всегда временно. Доказательства каждый раз появляются одинаково. Устаревшие секреты,
6:54
которые никогда не обновлялись, без срока действия, без владельца. Коннекторы для простоты
6:59
привязаны к глобальным группам. Регистрация приложений с областями действия, которые читаются
7:03
как признание. И да, этот временный ключ для продакшена живет в среде разработки месяцами. Ваши
7:08
выводы по безопасности и конфигурации арендаторов не будут лгать, они просто вздохнут.
7:11
Итак, каков путь решения проблемы? Для LongChain 4J — рассматривать каждого агента как
7:15
отдельное приложение со своей собственной идентичностью. Создавать субъекты службы для
7:18
каждого агента. Никаких общих токенов. Если двум агентам нужен один и тот же API,
7:22
они все равно получают разные учетные данные. Использовать UAD с областью действия.
7:25
Предоставлять минимальный набор разрешений, позволяющий инструменту выполнять свою работу.
7:28
Читатель, а не писатель. Записывать в одну коллекцию, а не во все. Хранить секреты в подходящем
7:32
менеджере секретов. Обновлять по расписанию. Обновлять преинциденты. Обновлять,
7:36
даже когда кто-то просто шепчет токен. Добавить двухуровневый RBSC. Инструмент-оболочка
7:40
проверяет роль вызывающего пользователя перед обращением к API. Нет роли, нет вызова.
7:43
Раздельные среды. Ключи для разработчиков взаимодействуют только с системами разработки.
7:46
Если инструмент видит конечную точку в среде разработки, он завершает работу с ошибкой и
7:49
записывает это в логи. Для Copilot Studio необходимо установить четкие границы между средами и областями
7:53
действия. Используйте разделение сред, разработка, тестирование, производство.
7:57
Разные коннекторы. Разные разрешения. Разные владельцы. Проверяйте области действия
8:00
коннекторов с помощью рабочего процесса. Изменения требуют утверждения, сроков действия и владельцев.
8:04
Нет владельца, нет коннектора. Применяйте политики DLP для каждого канала. Для финансового
8:08
канала действуют более строгие правила, чем для всей компании. В этом и суть. Отключите
8:11
развертывание Teams в масштабах всей организации для пилотных проектов. Ограничьте видимость
8:14
группы безопасности. Расширяйте доступ только после проверки. Проведите инвентаризацию и
8:18
контролируйте сторонние SAAS коннекторы. Если он не управляется, он отключен по умолчанию.
8:22
Владельцы должны обосновать доступ и продлить его. Вот быстрое решение, которое вы можете внедрить
8:26
уже сегодня. Отключите области действия для всего клиента и сопоставьте каждый коннектор с группой
8:29
безопасности, имеющий политику истечения срока действия. Когда срок действия группы истечет,
8:32
доступ будет корректно отключен. Никаких проблем, никаких неожиданностей. Позвольте мне показать
8:36
вам, как это работает. У вас есть инструмент экспорта отчетов, который записывает данные в хранилище.
8:39
При использовании общих учетных данных он может видеть все хранилища. Таким образом, запрос «сохранить
8:43
резервную копию в архив» незаметно помещает конфиденциальные данные в общедоступный путь. При использовании
8:48
субъектов для каждого агента и ролей с ограниченной областью действия этот инструмент может
8:52
записывать данные только в одно хранилище с одним префиксом. Если модель решит создать другой
8:56
путь, API его заблокирует. Вы регистрируете идентификатор корреляции, и ваш CM отправляет
9:00
оповещение. И вуаля, никакой случайной утечки данных. Распространенные ошибки, которых следует
9:05
избегать. Использование глобальных групп для доступа только на данный момент. Это никогда не закончится.
9:09
Предоставление широких или всех областей действия, потому что документация была запутанной.
9:12
Запутанность – это не разрешение. Копирование учетных данных между следами. Если вы можете вставить,
9:17
вы вставите неправильно. Относитесь к видимости Teams как к чему-то безобидному. Видимость – это
9:21
доступ. Доступ – это риск. Как только вы определите область доступа, аудиторы перестанут чувствовать
9:25
запах крови. А когда они постучат в дверь, вам понадобятся доказательства, что подводит нас к тому,
9:29
о чем все забывают. Если это не зафиксировано, этого не было. Третий случай. Пробелы в аудите.
9:34
Если это не зафиксировано, этого не было. Вы определили область доступа. Отлично. Теперь докажите это,
9:40
потому что когда аудитор спросит, что агент сделал в 15 часов 14 минут, и ваш ответ будет «Мы думаем,
9:45
что что-то произошло – это непоказная позиция». Это попытка извиниться. Почему это важно? Без
9:50
отслеживания происхождения данных вы не сможете объяснить странные ответы, отменить неправильные
9:53
действия или даже узнать, был ли инцидент локализован. Регуляторы любят эту неопределенность.
9:57
Клиенты любят ее меньше. А ваши руководители действительно любят. Когда вы говорите,
10:00
мы понятия не имеем. Вот что большинство людей упускают из виду в Langchain 4G. Ваша цепочка
10:04
работает гораздо интенсивнее, чем показывают ваши логи. Отсутствие графов выполнения означает,
10:08
что вы не можете восстановить шаги. Отсутствие идентификаторов трассировки означает,
10:11
что события выглядят как случайный фейерверк. Частичные логи скрывают единственный важный вызов
10:15
инструмента. А скрытые с бои инструментов – это мои любимые. Все выглядит зеленым,
10:19
хотя инструмент никогда не запускался. А модель просто, вежливо говоря, выдала какой-то ответ.
10:23
Я понял это в тот день, когда разбирался с инцидентом, когда шаг получения данных завершился
10:26
по таймауту, вернул на лыль, а следующий шаг спокойно написал «Записи не найдены»,
10:30
закрыв API-системы обработки заявок. Не исключение, не трассировки, только позитивные эмоции и закрытые заявки.
10:35
Если вы не можете отличить вывод модели от вывода инструмента в ваших логах, у вас уже проблемы.
10:38
Позвольте мне показать вам, как именно исправить логирование LongChain 4J, чтобы оно было готово к судебному разбирательству.
10:42
Во-первых, включите структурированные логирования везде. JSON, а не строковая мешанина.
10:46
Каждый запрос и ответ получает конверт с метками времени, именем модели, количеством токенов и идентификатором корреляции,
10:51
который сохраняется на протяжении всей цепочки. Затем добавьте графики выполнения или трассировки с помощью LangSmith или LangGraph.
10:56
Каждый узел регистрирует входные и выходные данные, продолжительность и ошибки.
10:59
Если инструмент выдает ошибку, она должна быть громкой. Никаких скрытых сбоев, никаких предположений.
11:03
Теперь самое главное. Централизуйте это. Передавайте трассировки и логи в ваш сим. Не оставляйте их в ПД, который автоматически масштабируется до бесконечности.
11:09
Добавьте выборку для шума, но никогда не игнорируйте ошибки. Вам нужно искать по ID трассировки и видеть всю картину целиком.
11:14
Подсказки, получение документации, вызовы инструментов, ответы API и окончательный ответ без игры в «Найди Вальда» в 2 часа ночи.
11:20
Перейдите на КПайлот Студия. Платформа предоставляет некоторую телеметрию, но она распределена по командам, датаверс и любому коннектору, к которому вы прикасались.
11:26
Ограниченный экспорт диалогов означает, что вы получаете фрагменты, а не повествование. Фрагментированная телеметрия означает, что ваш специалист по соблюдению требований сшивает скриншоты, как будто это какое-то занятие.
11:34
Исправьте это, создав единую линию аудита.
11:37
Включите сохранение расшифровок разговоров с четкими соглашениями об уровне обслуживания SLA, кто их хранит, как долго и почему.
11:42
Экспортируйте журналы разговоров и действий в централизованное рабочее пространство, например, Фабрик или Лок Аналитикс.
11:46
Помечайте каждое событие идентификатором корреляции, который передается от точки входа в Teams до плагинов датаверс и последующих API.
11:53
Если в чате написано «Создать обращение», я хочу перейти к точной записи в точной системе с точным отправленным контентом.
11:59
Доказательства, которые вы узнаете из анализа инцидентов.
12:02
Осиротевшие вызовы ЛЛМ в необработанных журналах, которые не соответствуют ни одной пользовательской сессии.
12:06
Вызовы инструментов без соответствующего запроса.
12:08
Или ответы, ссылающиеся на источники, которые вы не можете найти, потому что в журналах подтверждения отсутствуют идентификаторы документов.
12:12
Это не загадка, это недостаток инфраструктуры.
12:15
Быстрые решения, которые вы можете внедрить на этой неделе.
12:17
Обязательно используйте хеши в конвертах запросов и ответов.
12:20
Храните хеш содержимого запросов, извлекайте фрагменты и выходные данные, чтобы подтвердить целостность.
12:24
Если кто-то вносит изменения, хеш говорит «нет».
12:26
Требуйте идентификаторы корреляции от начала до конца.
12:29
Генерируйте данные на границе сети, пропускайте их через каждый узел и отклоняйте любые запросы, которые их прерывают.
12:32
Нет идентификатора, нет обслуживания.
12:34
Определите соглашение об уровне обслуживания SLA по хранению данных.
12:36
Юридический отдел утвердит, служба безопасности обеспечит соблюдение.
12:38
90 дней для разработки, год для производства, дольше для регулируемых доменов.
12:41
Опубликуйте это.
12:42
Следуйте этому.
12:43
Распространенные ошибки, которых следует избегать.
12:44
Введение логов для необработанных секретных данных или персональных данных.
12:47
Маскировка на источнике.
12:48
Храните поля, необходимые для анализа, а не самые ценные.
12:50
Ошибки выборки.
12:51
Успешность выборки.
12:52
Регистрируйте все сбои.
12:53
Когда что-то сломается, вам понадобится каждая крошка.
12:56
Логи в свободном текстовом формате, люди их любят, машины их ненавидят.
12:59
Используйте поля.
13:00
Добавляйте схемы.
13:01
Проверяйте при приеме данных.
13:02
Теперь аудиторы спрашивают, что произошло.
13:05
Вы открываете одну трассировку.
13:06
Вы показываете подсказку, полученные идентификаторы документов,
13:08
входные данные инструмента, выходные данные инструмента и итоговое сообщение.
13:11
Идентификатор корреляции соответствует шлюзу API, записи в базу данных и сообщению Teams.
13:15
И вуаля, история подтверждается.
13:17
Итак, когда вы можете видеть, вы можете управлять.
13:19
А это значит, что пора формализовать правила и определить, кто что делает.
13:22
В модели RBC для агентов относитесь к агентам как к очень глупым, но очень влиятельным пользователям.
13:27
У вас есть видимость.
13:28
Отлично.
13:28
Теперь дайте этим объектам идентификацию и контроль.
13:31
Агенты — это пользователи.
13:32
Очень глупые, но очень влиятельные пользователи.
13:34
Если вы не доверили бы временного администратора человеку в первый день,
13:37
не давайте его случайному попугаю, который не может отличить сарказм от садо.
13:39
Почему это важно?
13:40
В большинстве организаций люди защищены, а агенты игнорируются.
13:43
Агент обходит принцип наименьших привилегий по своей сути.
13:46
Он переключается между инструментами, пересекает среды, и никто этого не замечает,
13:49
потому что он не отображается в организационной структуре.
13:51
Вот как вспомогательный бот превращается в теневого администратора.
13:54
Вот модель, которую я хочу, чтобы вы внедрили.
13:56
Одна идентификация на одного агента, четкие роли, проверки политик в коде и границе сред,
14:00
которые действительно что-то значат.
14:01
Начните с идентификации, создайте субъект службы для каждого агента, а не для бота платформы 01.
14:06
Фактическое соответствие один к одному.
14:08
Назовите его как приложение.
14:09
Укажите владельца, назначение, среду и срок действия.
14:12
Если два агента обращаются к одному и тому же API, они все равно получают разные идентификаторы.
14:15
Общая идентификация означает общий радиус поражения.
14:18
Затем определите таксономию ролей, которую смогут применять даже занятые люди.
14:20
Я использую 4.
14:21
Читатель, исполнитель, писатель, администратор.
14:23
Читатель может получать данные.
14:24
Никаких побочных эффектов.
14:26
Представьте себе запрос, извлечение, суммирование.
14:28
Исполнитель может запускать рабочие процессы с ограниченными эффектами.
14:31
Создание заявки, отправка подтверждения, планирование встречи.
14:34
Писатель может записывать данные в определенной области видимости.
14:36
Одна таблица, один сегмент, один почтовый ящик, не все.
14:40
Администратор может изменять конфигурацию.
14:42
Эта роль должна заставить вас понервничать.
14:44
Используйте ее экономно, с ограничением по времени и всегда с двойным подтверждением.
14:47
Теперь сопоставьте это с LongChain 4J.
14:49
Инструменты – это ваши точки контроля.
14:51
Каждый инструмент-оболочка проверяет роль вызывающего объекта перед выполнением.
14:54
Если идентификатор агента сопоставлен с идентификатором читателя, инструмент записи даже не получит вызов.
14:58
И не ограничивайтесь ролью.
14:59
Включите область действия ресурса.
15:00
Автор, работающий с обращениями в финансовый отдел, не может писать обращение в отдел продаж.
15:04
Область действия – это не комментарий, это шлюз.
15:06
Используйте переменные среды и файлы конфигурации для привязки инструментов к средам.
15:10
Агент разработки видит только хосты разработки и ключи разработки.
15:12
Если он пытается использовать URL-адрес производственной среды, закройте запрос с ошибкой и громко запишите сообщение.
15:16
Проверки политик происходят на границе, а не после сбоя вызова API.
15:19
В Капайлот Студия используйте тот же шаблон с ролями среды и областями действия коннектора.
15:23
Назначьте агента среде с разрешениями, которые соответствуют читателю, то есть исполнителю, автору, администратору.
15:29
Разрешения коннектора сопоставляются с группами безопасности, связанными с этими ролями.
15:32
Границы развертывания Teams – это ваш радиус поражения.
15:34
Держите пилотные проекты в небольшой группе.
15:36
Расширяйте их только с помощью заявки на изменения.
15:38
Именно здесь рабочий процесс проверки помогает вам быть честными.
15:40
Любое изменение области действия – это запрос на изменения.
15:42
Перечислите агента, запрашиваемую роль, коннектор или инструмент, среду, причину, инициатор запроса и срок действия.
15:48
Два утверждения. Один технический владелец, один владелец данных.
15:51
Когда истекает срок действия, доступ автоматически прекращается, и вы получаете уведомление о необходимости его продления или отмены.
15:56
Временный доступ в конечном итоге означает временный.
15:58
Позвольте мне показать вам, как это работает на примере микроистории.
16:00
Агент по финансовым вопросам и ответам начинает работу как читатель.
16:02
Людям это нравится, поэтому отдел разработки хочет создавать отчеты о расходах.
16:05
И это действие исполнителя с узкой областью действия.
16:08
Вы добавляете новый инструмент с политикой на уровне инструмента, только отправка отчетов о расходах, только для сотрудников центра затрат, только не более пяти вложений.
16:15
Идентификатор агента получает статус исполнителя для этого единственного API со сроком действия 30 дней.
16:19
В Капайлот Студия Среда получает разрешение коннектора на доступ к одной таблице датаверс с безопасностью на уровне строк.
16:25
Журналы аудита показывают заявку на изменение, утверждающих лиц и срок действия.
16:29
Когда отдел маркетинга запрашивает также удаление отчетов, вы отклоняете запрос или перенаправляете запрос к отдельному инструменту для создания отчетов со своими владельцами и SLA.
16:35
Модель может запрашивать что угодно.
16:37
Политика обеспечивает соблюдение всего.
16:39
Распространенные ошибки, которые необходимо искоренить.
16:41
Общие идентификаторы для удобства
16:43
Удобство
16:43
Враг сдерживания
16:44
Временный администратор, срок действия которого никогда не истекает.
16:47
Устанавливайте тайм-ауты для разрешений, а не для календаря.
16:49
Используйте учетные данные проекта в среде разработки для разблокировки демонстраций.
16:52
Демонстрациям не нужны данные из производственной среды, они нужны аудиторам.
16:54
Контроль доступа к инструментам осуществляется через пользовательский интерфейс, а не через код.
16:57
Если модель может это вызвать, пользовательский интерфейс не имеет значения.
16:59
Если вы ничего больше не запомните, относитесь к агентам как к пользователям с глупым любопытством и острыми ножами.
17:03
Идентификатор для каждого агента, роль для каждого действия, область действия для каждого ресурса, ограничение по времени по умолчанию.
17:08
И каждый звонок проверяет политику, прежде чем коснуться данных.
17:11
Политики предотвращения потери данных, которые действительно блокируют превращение и в протекающий экран.
17:14
Вы предоставили агентам идентификаторы и роли.
17:16
Теперь мы останавливаем утечки.
17:17
Управление здесь носит проактивный характер.
17:19
Блокируйте вредоносное подо того, как оно покинет здание.
17:21
Почему это важно?
17:22
И многократно увеличивает уязвимость.
17:24
Один запрос может сгенерировать сотню исходящих токенов, каждый из которых является потенциальной утечкой.
17:27
Если ваши средства контроля обнаруживаются только после инцидента, вы занимаетесь криминалистикой, а не управлением.
17:31
Вот набор правил, которые действительно работают.
17:33
Представьте это как ремни безопасности, подушки безопасности и кирпичную стену.
17:36
Сокращение объема персональных данных на выходе по умолчанию.
17:38
Имена, электронные адреса, номера телефонов, национальные удостоверения личности.
17:41
Если пользователь не имеет на это права, информация скрывается.
17:43
Утечки происходят только в чужих внутренних файлах.
17:45
Обнаружение секретной информации.
17:47
Защита от ключей API, токенов, закрытых ключей, строк подключения, шаблонов.
17:50
А также фильтры Bluma для повышения скорости.
17:52
Добавление контрольных сумм для распространенных форматов, чтобы ложные срабатывания не заваливали вас информацией.
17:55
Фильтры по конфиденциальным терминам, настроенные под ваш бизнес.
17:58
Юридические названия проектов, кодовые слова в сделках слияния и поглощения, кодовые названия невыпущенных продуктов.
18:02
Храните этот список в управляемом хранилище с владельцами и историей изменений.
18:05
Список разрешенных регулярных выражений для структуры вывода.
18:06
Если инструмент ожидает сводку счета фактуры, принимаются только выходные данные в виде формы счета фактуры.
18:10
Нарративная поэзия? Нет.
18:11
Схемы? Это не опционально.
18:13
Это контракты.
18:13
В лангчейн 4G используются припроцессоры и постпроцессоры.
18:16
Припроцессоры сканируют входные данные на наличие вредоносных программ и запрещенных задач.
18:20
Постпроцессоры проверяют JSON-схемы, запускают фильтры секретных терминов и удаляют персональные данные до того, как что-либо покинет пределы агента.
18:26
Если проверка не пройдена, возвращается безопасная ошибка с идентификатором корреляции.
18:29
Никаких частичных истин.
18:31
Никаких, возможно.
18:32
Добавьте конвейеры модерации.
18:34
Легковесные фильтры шаблонов и фильтры блума.
18:36
Более интенсивная модерация на основе и для контекста.
18:39
Например, не разглашать данные о здоровье.
18:41
Объедините их, закройте с ошибкой и определите резервное поведение.
18:44
Сводка на более высоком уровне, безопасный отказ или перенаправление к человеку.
18:48
Не зацикливайте модель на предоставлении более безопасной утечки.
18:50
В Капайлот Студия используйте стек, за который вы уже платите.
18:53
Политики DLP в Microsoft 365 применяются к каналам и коннекторам.
18:57
Включите и настройте их.
18:59
Используйте метки чувствительности в ваших источниках привязки,
19:01
чтобы агент никогда не индексировал контент с высоким уровнем воздействия без явного разрешения.
19:05
Модерация на уровне арендатора должна быть включена по умолчанию, а не «мы включим ее позже».
19:08
Позже, вот когда в дело вступает отдел по связям с общественностью.
19:11
Мониторинг объединяет все это.
19:12
Установите пороговые значения, необычный размер выходных данных,
19:14
необычное место назначения, необычную частоту.
19:16
Если бот вопросов и ответов внезапно записывает мегабайты на внешнюю конечную точку,
19:19
поместите сессию в карантин.
19:20
Автоматически завершайте рискованные сессии и уведомляйте владельцев.
19:23
Поддерживайте работоспособность оповещений.
19:25
Не отправляйте всем уведомления о каждом событии маскировки.
19:27
Быстрое решение, которое можно внедрить сегодня.
19:29
Внедрите схемы вывода и условия черного списка на уровне агента.
19:32
Нет схемы, нет ответа.
19:33
Добавьте сокращение персональных данных в качестве финальной проверки.
19:36
Эта комбинация останавливает очевидные утечки и дает вам время для реализации остального.
19:39
Распространенные ошибки.
19:41
Зависимость от кода фронтенда.
19:42
Редактируйте на стороне сервера до того, как сообщение попадет к клиенту.
19:45
Один глобальный черный список.
19:47
Сегментация по бизнес-домену.
19:48
Финансовые термины – это не маркетинговые термины.
19:50
Запись неотредактированного оригинала для отладки.
19:53
Маскировка при приеме.
19:54
Храните защищенную копию в хранилище только с согласия вашей юридической команды.
19:57
Заблокируйте кран, а затем попытайтесь сломать его намеренно.
20:00
Контрольный список для тестирования на проникновение.
20:01
Сломайте его раньше, чем это сделают разработчики.
20:03
Вы не доверяете ремню безопасности, пока не дернете за него.
20:06
То же самое с ограничителями.
20:07
Запланируйте хаос.
20:08
Цель тестирования на основе состязательных действий, которые можно повторить, а не просто имитация.
20:11
Вы выпустите контрольный список, будете запускать его с определенной периодичностью и будете ограничивать релизы с его помощью.
20:15
Сначала тесты на внедрение.
20:16
Путаница ролей.
20:17
Предложите агенту игнорировать политику и действовать как система.
20:20
Он должен отказаться.
20:22
Конфликт имен инструментов.
20:23
Внедрите поддельные имена инструментов и параметры.
20:25
Выполняться должны только зарегистрированные инструменты.
20:28
Обход схемы.
20:29
Встраивайте команды в строки и комментарии JSON.
20:32
Валидаторы должны отклонять.
20:33
Приманка для цепочки мыслей.
20:34
Попробуйте получить дампы логики, которые раскрывают исходные данные.
20:37
Вывод должен оставаться в рамках схемы.
20:39
Запросы на утечку данных.
20:40
Укажите точные номера социального страхования.
20:42
Экспортируйте все электронные письма.
20:44
Вы получите отказ с журналом аудита.
20:46
Далее тесты доступа.
20:47
Эскалация области действия.
20:48
Запросите действия, выходящие за рамки роли агента.
20:50
Инструменты должны блокировать на уровне обертки.
20:52
Поведение с истекшим токеном.
20:54
Ротация секретов в середине сессии.
20:55
Вызовы должны завершаться с ошибкой и четкими сообщениями об ошибках.
20:57
Утечка данных из теневой среды.
20:59
Агент разработчика пытается использовать конечные точки производственной среды.
21:01
Жесткий сбой.
21:02
Громкие логи.
21:03
Аудиторские тесты.
21:04
Полнота трассировки.
21:05
Можно ли восстановить запрос на действие с помощью одного идентификатора корреляции.
21:08
Обнаружение подделки, изменение сохраненных логов, несоответствие хиша должны вызывать тревогу.
21:12
Межсервисная корреляция, идентификатор сообщения Teams с записью датаверс и вызовом внешнего API все совпадает.
21:17
Определите критерии прохождения сбоя.
21:19
Отсутствие схемы приведет к сбою.
21:21
Любой вывод, не прошедший проверку, блокирует релиз.
21:23
Область действия в масштабе всего клиента приведет к сбою.
21:25
Любой коннектор без групп области действия и истечения срока действия блокируется.
21:28
Сбой инструмента без проверки приведет к сбою.
21:30
Ошибки должны быть видны, а не игнорироваться.
21:32
Отсутствие плана отката приведет к сбою.
21:34
Если вы не можете отменить изменение разрешений или конфигурации модели за считанные минуты, вы не готовы.
21:38
Регулярная подготовка к релизу для каждого изменения агента.
21:40
Ежеквартальные учения по устранению хаоса в средах, аналогичных производственной.
21:43
Цикл обучения после инцидента в течение пяти рабочих дней с добавлением новых тестов в набор.
21:47
Владельцы ИСЛА.
21:49
Каждый пункт контрольного списка имеет владельца ИСЛА для исправления, а также статус.
21:52
Нет владельца, нет задачи.
21:54
Быстрый успех.
21:55
Если не задана схема, это приведет к сбою.
21:56
И если проблема затрагивает весь арендатор, это также приведет к сбою, поскольку проверки CICD не выполняются.
21:59
Если срабатывает хотя бы одна из них, конвейер останавливается.
22:02
Никаких совещаний, никаких споров, просто красный свет, который все уважают.
22:05
Запустите список.
22:06
Ломайте.
22:06
Исправляйте.
22:07
Затем запускайте снова, пока неожиданности не перестанут удивлять.
22:10
Один из шагов управления, который большинство организаций пропускают.
22:13
Если вы ничего больше не запомните, агенты — это идентификаторы.
22:16
Относитесь к ним как к очень глупым, очень влиятельным пользователям с минимальными привилегиями,
22:20
обязательными контрактами на вывод и полными журналами аудита.
22:23
Шаг, который большинство организаций пропускают, — это создание выделенных субъектов обслуживания для каждого агента,
22:27
а затем подключение каждого инструмента и коннектора через роли с областью действия по средам.
22:30
Никаких общих учетных данных, никаких областей действия в масштабе всего арендатора.
22:33
Примите модель RBAC, включите политики DLP и запустите контрольный список красной команды на этой неделе.
22:39
Подпишитесь, чтобы не пропустить продолжение, где я покажу точные настройки в лангчейн для J и Капайлот Студия,
22:43
чтобы вы могли просто скопировать и вставить параметры управления вместо того, чтобы извиняться.