Latest / M365.FM – подкаст о Microsoft 365, Copilot и ИИ на русском / Как остановить галлюцинации ИИ: RAG с опорой на данные в Azure AI Search (ИИ-дубляж)

Transcript

Как остановить галлюцинации ИИ: RAG с опорой на данные в Azure AI Search (ИИ-дубляж) · M365.FM – подкаст о Microsoft 365, Copilot и ИИ на русском

0:00
Вы кликнули, потому что в подкасте сказали, что Azure iPhone 3 – это ловушка. Верно? Хорошо.
0:04
Вы попали по адресу. Сразу к делу. Капайлот бесполезный без опоры на факты, но такие инструменты,
0:10
как RAG, генерация с дополнением выборкой, вместе с гибридным семантическим поиском Azure AI
0:15
и оценщиками обоснованности, релевантности и согласованности – это реальные решения,
0:19
которые не дадут вам выдавать галлюцинации за ответы. Мы отбросим маркетинговые презентации
0:23
и покажем вам руководство по выживанию на реальных примерах из практики. Подписывайтесь
0:27
на рассылку M365 Show и следите за прямыми эфирами с экспертами MVP. Именно там обсуждают
0:32
реальные ошибки и способы их исправления. А поскольку первые трещины обычно появляются в
0:36
мультимодальных приложениях, давайте начнем с них. Почему мультимодальные приложения терпят
0:40
неудачу в реальном мире? Когда вы видите мультимодальную демонстрацию на сцене,
0:43
она выглядит безупречно. Докладчик вводит текстовый запрос, чистое изображение, может быть,
0:47
даже голосовую команду, и модель выдает идеальный график или четкое резюме контракта.
0:51
Все это кажется магией, но как только вы пытаетесь применить это в реальной компании,
0:54
магия быстро рассеивается. Демонстрации работают на идеальных данных. В работе мы
0:58
сталкиваемся с мусором. В этом вся разница. В продакшене никто не будет давать вашей модели
1:03
аккуратно подготовленные скриншоты или CSV-файлы, отформатированные по стандартам. Отдел кадров
1:07
подсовывает смазанные копии удостоверений личности. Отдел закупок загружает PDF-файлы,
1:12
которые прошли через пять циклов факса. Кто-то в бухгалтерии фотографирует счет на камеру
1:16
разбитого Android-смартфона. Мультимодальные модели могут работать с текстом, изображениями,
1:20
голосом и видео, но для работы в сложных условиях им нужны хорошо проиндексированные
1:24
данные и поиск. Иначе вы просто просите модель импровизировать на основе мусора. И никакие
1:28
затраты на GPU не исправят ситуацию «мусор на входе, мусор на выходе». Здесь на помощь должна
1:32
прийти генерация с дополнением выборкой или arranging. Простыми словами, модель не знает вашего
1:36
бизнеса, поэтому вы подключаете ее к источнику знаний. Она извлекает фрагмент данных и формирует
1:41
на его основе ответ. Если поиск точен, вы получаете полезные и обоснованные ответы. Если он небрежен,
1:46
модель начинает фантазировать, уверенно выдавая бессмыслицу. И именно так вы получаете чат-бота,
1:50
который клянется, что у вашей компании новая скидочная политика на третий квартал, который не
1:54
существует. Модель не обрела сознание, она просто вытянула не те данные. Azure iStudio и Azure iFoundry
1:59
опираются на этот шаблон и поддерживают все типы модальностей — язык, зрение, речь и даже поиск
2:04
по видео. Но подвох в том, что Rage хорош ровно настолько, насколько хороши его данные. Вот ключевой
2:08
момент, который упускает большинство команд. Нельзя просто подключить один метод поиска и считать,
2:12
что этого достаточно. Чтобы результаты были качественными, вам нужен гибридный поиск по ключевым словам
2:16
и векторам, дополненный семантическим переранжированием, встроенным в Azure iStudio. Это позволяет
2:20
системе сопоставлять буквальные совпадения по ключевым словам с семантическим смыслом,
2:23
а затем переупорядочивать результаты так, чтобы нужный контекст был в приоритете.
2:26
Внедрите это в свою мультимодальную систему, и модель внезапно сможет работать с кривыми сканами
2:30
и нечеткими изображениями, вместо того, чтобы выдумывать правила комплаенса из ниоткуда.
2:34
Теперь давайте обсудим, почему так много запусков терпят неудачу.
2:37
Компании ожидают безупречных результатов с первого же дня, но не закладывают бюджет на циклы оценки.
2:42
Без фоновой проверки на обоснованность, релевантность и логичность вы не заметите отклонений,
2:46
пока пользователи уже не пострадают. Многие ранние внедрения проваливаются именно по этой причине.
2:51
Результат звучит правильно, но никто не сверил его с первоисточником. Подумайте сами,
2:55
вы бы никогда не запустили новую базу данных без мониторинга. Тем не менее,
2:58
с мультимодальным и руководители внедряют его в продакшн, как будто это волшебная коробка,
3:02
включи и работай. Этого финала можно избежать. Carvana – одна из историй успеха клиентов
3:07
Foundry, подтверждающая это. Они сделали и для самообслуживания действительно полезным,
3:11
настроив поиск, правильно обосновав своих агентов и вложившись в наблюдаемость. Это превратило то,
3:16
что могло стать очередной игрушкой, в инструмент, которому клиенты могут доверять.
3:20
А теперь сравните это с компаниями, которые просто прикрутили типичный чат-бот к странице
3:24
поддержки без проверки и оценки. Вы видели результат. Гарантийные претензии попадают в отдел
3:28
продаж, очереди поддержки раздуты, а репутация подорвана. Один и тот же стек Azur – противоположный
3:33
результат. Итак, вот сухой остаток. Мультимодальный и рушится не потому, что он недостаточно умный.
3:38
Он рушится, потому что данные не подготовлены, не проиндексированы и не контролируются.
3:42
Загрузите мусор в поисковую систему, пропустите проверки и наблюдайте, как исчезает доверие.
3:46
Но благодаря гибридному поиску, семантическому переранжированию и постоянным оценкам,
3:50
вы можете обрабатывать счета, контракты, изображения и даже черные аудиозаметки с ответами,
3:54
основанными на реальности, а не на фантазиях. И когда с обоснованностью покончено,
3:58
на горизонте появляется новый риск. Ведь даже если конвейеры данных чисты, система,
4:02
управляющая ими, может выйти из-под контроля. И здесь вопрос меняется. Помогает ли агент,
4:06
координирующий все это вашему бизнесу, или он просто тихо превращает ваш ИТ-бюджет в топливо
4:11
для костра? Полезный помощник или дорогой пресс-папье? Агент координирует модели,
4:16
данные, трикгеры и действия. Представьте его в качестве регулировщика ваших автоматизированных
4:20
рабочих процессов. Иногда он управляет всем гладко, а иногда впускает три самосвала и клоунскую
4:24
машину, а затем уходит на обед. Этот разрыв между четким описанием и запутанной реальностью – место,
4:29
где большинство команд теряют управление. На бумаге агент выглядит безупречно. Дайте ему инструкции,
4:33
укажите путь к данным и приложениям, и он сможет запускать процессы, находить ответы и даже
4:38
начинать рабочие циклы. Но это не идеальный коллега. Он с такой же вероятностью устранит
4:42
повторяющуюся проблему в два часа ночи, как и завалит, в вашу очередь, сотней фантомных
4:45
этикетов из-за неверно прочитанного журнала ошибок. Представьте его внутри сервис Now. При четко
4:50
заданных рамках и создает реальные этикеты только для настоящих проблем – экономия часы работы
4:54
сотрудников. Если оставить его без контроля, он может похоронить службу поддержки под ловиной ложных
4:58
оповещений о критических збоях принтеров, которые исправно работают. Попробуйте объяснить такой
5:01
прирост продуктивности своему ИТ-директору. Вот различия, которые многие упускают.
5:05
Капайлот и агенты – это не одно и то же. Капайлот – это, по сути, помощник по работе с запросами.
5:09
Вы спрашиваете, он отвечает, а вы сохраняете контроль. Агенты, напротив, принимают решения,
5:14
не дожидаясь вас. Они дословно следуют вашим расплывчатым инструкциям, даже если результаты
5:18
лишены смысла. Именно тогда автоматизация либо экономит реальное время, либо погружает вас в хаос,
5:22
на устранение которого уйдет вдвое больше времени. Правда в том, что многие команды дают своему агенту
5:26
описание вакансии, которая звучит как предвыборное обещание. Оптимизировать процессы, предоставлять
5:30
инсайты, помогать людям. Поздравляю, вы фактически разрешили боту делать все, что заблагорассудится.
5:34
Агенты без четких рамок не будут вежливо оставаться в своей зоне ответственности. Они будут
5:37
суетиться. Они будут выдумывать проблемы для решения. Они будут дублировать записи. Они будут
5:41
зацикливаться. А потом руководство удивляется, почему красивая демонстрация обернулась кошмаром в
5:45
продакшене. Теперь давайте проясним ситуацию. Дело не в том, что большинство организаций терпит неудачу в первые
5:49
два месяца. Этого нет в исследованиях. Что действительно происходит, и быстро, так это-то,
5:54
что многие организации рано сталкиваются с преградами, потому что не ограничили рамки агентов,
5:58
не добавили этапы проверки и не настроили телеметрию. Без этих защитных барьеров ваш блестящий
6:02
новый инструмент — это просто безрассудный стажер с правами администратора. И вот здесь
6:05
стек Майкрософт действительно предоставляет вам все необходимые инструменты.
6:08
Капайлот Студия — это лоу-код среда, где разработчики проектируют поведение агента,
6:12
потоки, промпты, трикгеры событий. Затем агент-сервис в составе iPhone 3 служит
6:16
корпоративным фундаментом, который переводит агентов в продуктивную среду с возможностью
6:19
наблюдения. В агент-сервис вы добавляете мониторинг, логи и метрики. Он специально разработан
6:24
для автоматизации со встроенным контролем со стороны человека, потому что в Майкрософт знают,
6:28
что будет, если выпустить непроверенного агента в дикую природу. Итак, как понять,
6:32
полезен ли ваш агент на самом деле? Проверьте его с помощью простого контрольного списка.
6:36
Первое, экономит ли он время сотрудников или заставляет вашу команду заниматься отладкой.
6:40
Во-вторых, очлеживаете ли вы такие метрики, как обоснованность, беглость и связность,
6:44
или просто лубуетесь красивыми маркетинговыми панелями? В-третьих, настроена ли у вас
6:48
телеметрия, чтобы выявлять отклонения до того, как пользователи начнут жаловаться? Если вы
6:52
ответили неверно на любой из этих вопросов, у вас нет интеллектуального агента. У вас просто
6:56
очень дорогая заставка на экране. Выход, использовать функции наблюдаемости и встроенные
7:00
оценщики Azure iPhone 3. Это не дополнительные опции, это проверенный способ измерения обоснованности,
7:06
релевантности, связности и соответствия источникам. Без них вы лишь гадаете, умен ли ваш агент или он
7:11
просто вежливо выдумывает факты. С ними вы можете уверенно вмешаться и настроить систему,
7:15
когда результаты отклоняются от нормы. Итак, да, агенты могут изменить правила игры.
7:19
При неправильном охвате они становятся усилителями хаоса, отнимающими больше времени,
7:22
чем экономящими. При правильном охвате, с четкими границами задач, реальной телеметрии и
7:26
обоснованными ответами они справляются с делами, пока люди заняты более важной работой.
7:29
И как только кажется, что вы нашли баланс, ситуация снова меняется.
7:33
Microsoft уже продвигает автономных агентов, ботов, которые не ждут ваших указаний,
7:37
прежде чем действовать. Это переводит ставки из категории «помощник» или «балласт» в совершенно
7:41
иную плоскость, ведь теперь речь о системах, работающих даже тогда, когда никто не следит.
7:46
Ловушка автономных агентов. Автономные агенты – это момент, когда хайп становится опасным.
7:51
На бумаге это звучит как мечта. Позвольте и действовать за вас. Автоматизируйте рутину и
7:55
перестаньте вскакивать с кровати в 2 часа ночи, чтобы разгребать очередь этикетов.
7:58
Звучит отлично на заседании совета директоров. Ловушка проста. Они не ждут разрешения.
8:02
Капайлот ждет вашего подтверждения. Автономные агенты – нет. И когда они принимают неверные решения,
8:07
ущерб наступает мгновенно и распространяется на весь ваш тенант. Концепция достаточно проста.
8:10
Капайлот работает в реактивном режиме. Агенты работают проактивно. Вместо того,
8:14
чтобы сидеть и ждать ввода команды, вы настраиваете агентов на контроль работоспособности сервисов,
8:17
обработку сигналов безопасности или автоматический запуск рабочих процессов.
8:20
Microsoft преподносит это как повышение эффективности, экономию человеческих ресурсов,
8:24
быстрое обнаружение проблем и бесперебойную работу. Перспективы реальны, но вот важный контекст.
8:28
Автономные агенты в Капайлот Студия сегодня все еще находятся в предварительной версии.
8:32
Предварительная версия не значит «сломана», но это значит «не протестирована в реальных условиях».
8:36
Даже Microsoft заявляет, что вам нужны механизмы управления жизненным циклом и консоль Капайлот,
8:40
прежде чем задумываться о массовом развертывании.
8:42
Рассмотрим реалистичный риск. Допустим, вы создали автономного агента техподдержки и наделили
8:46
его полномочиями реагировать на аномалии при входе в систему. В демо-версии с пяти пользователями он работает
8:50
идеально. Оповещения приходят, аккаунты управляются. Затем в промышленной эксплуатации появляются
8:58
сотен учетных записей из-за ложных срабатываний. Результат – это не гипотетический сбой. Это
9:02
вполне может парализовать операции в конце месяца. Это не научная фантастика. Это тот сценарий
9:07
сбоя, на который вы подписываетесь, если игнорируете ограничения. Решение не в том, чтобы отказаться
9:10
от технологий, а в том, чтобы сначала создать систему безопасности. Итак, каков же контрольный список
9:14
для выживания? Три обязательных пункта перед любой эффектной автоматизацией. Первое – определение
9:18
границ идентификации и доступа. Предоставьте агенту минимальные права, никаких общих прав администратора.
9:22
Второе – логирование и откат. Каждое действие должно оставлять след, который можно проверить. И для
9:27
каждого серьезного действия нужен путь отмены, если агент ошибся. Третье – фильтры контента и
9:32
поведения. Майкрософт выделяет это через Azure iContent Софети и конфигурацию знаний. Фильтры,
9:37
которые не дают рьяному боту генерировать неуместные ответы или отклоняться от сценария.
9:41
Сделайте это сначала, иначе изобретательность вашего агента скорее погубит работу, чем поможет ей.
9:45
Этический уровень делает этот вопрос еще острее. Представьте HR-агента, который автоматически
9:49
помечает сотрудников как рискованных, или финансового агента, блокирующего платежи поставщикам,
9:52
который он ошибочно классифицировал как мошенничество. Это не безобидные причуды,
9:55
это сбои с последствиями для людей, влекущие за собой юридические проблемы и нарушения комплайнса.
9:59
Предвзятость в обучающих данных или при поиске не исчезает просто потому, что вы работаете в
10:03
корпоративной предварительной версии. Без фильтров, проверок и участия человека вы делегируете решения,
10:07
которые ваши юристы точно не хотели бы доверять неконтролируемому алгоритму.
10:10
Собственные сообщения Microsoft на конференции Ягниты были прямолинейны в этом вопросе.
10:14
Ограничители, управление жизненным циклом, мониторинг и система контроля Капайлот – это
10:17
неприятное дополнение, а обязательное требование. Предварительная версия сегодня – это не
10:21
столько эффектные демо, сколько тестирования, выявляющие слабые места. Если вы запускаетесь
10:25
без поэтапного тестирования, рабочих процессов утверждения и аудита, вы не запускаете агента,
10:29
вы стресс-тестируете свой клиент в рабочей среде. Вот почему наблюдаемость – это не опция.
10:33
Вам нужны панели мониторинга, которые показывают каждый шаг агента и проверяют,
10:37
был ли его результат обоснованным, актуальным и соответствующим вашей политике. И вам нужны опции с
10:41
участием человека. Microsoft этого не скрывает. Они ссылаются на шаблоны, где человек остается
10:46
последним рубежом защиты. Подумайте об этом как об автопилоте в самолеты. Невероятно полезно,
10:50
но всегда разработано с возможностью ручного управления. Если бот считает, что оптимальная посадка – в
10:55
озере, вы захотите взять управление на себя до приземления на воду. Правильная аналогия здесь – позволить
10:59
подростку учиться водить машину. Потенциал реален, скорость впечатляет, но вы не отдаете ключи,
11:03
не уходите с подъездной дорожки, надеясь на лучшее. Вы садитесь на пассажирское сидение,
11:07
устанавливаете границы и нажимаете на тормоза, если нужно. Это и есть управление жизненным циклом
11:11
на практике. Тренировочные колеса – пока вы не убедитесь, что система не свернет с дороги. Это
11:15
приводит нас на более масштабную производственную площадку, где объединяются агенты,
11:18
копайлотс и все протестированные вами рабочие процессы. Microsoft называет это Azure iPhone 3
11:22
универсальное пространство для создания и со всеми необходимыми инструментами. Станет ли это мощным
11:26
производственным центром или местом, где ваш проект самоликвидируется, зависит только от вашего подхода.
11:31
Azure iPhone 3 – ваша фабрика или ваше минное поле?
11:35
Azure iPhone 3 – это новая флагманская концепция Microsoft, так называемая фабрика для любых
11:40
задач и… В чем проблема? Слишком многие команды приходят туда и относятся к ней как к Икеа. Они
11:45
бродят, ослепленные каталогами, хватают пару блестящих больших языковых моделей, добавляют
11:49
коннекторы и собирают что-то без всяких инструкций. В итоге получается не корпоративная и система,
11:54
а демонстрационная игрушка, которая ломается, как только реальный пользователь загружает запутанный
11:58
PDF-файл. Вот что на самом деле предлагает Phone 3, согласно официальному руководству. Каталог моделей,
12:03
включающий решения от Microsoft, OpenAI, Meta, Mistral, DeepSeq и других. Опции кастомизации,
12:08
такие как генерация с дополненной выборкой, RAG, дообучение и дистилляция. Сервис агентов для
12:13
оркестрации, инструменты вроде PromptFlow для оценки и отладки, базовые функции безопасности,
12:19
контроль доступа, фильтры контента и панели мониторинга. Короче говоря, здесь есть все компоненты
12:23
для создания копайлотс, агентов и автономных потоков с соблюдением всех требований.
12:27
Это и есть инвентарь. Проблема не в том, что ящик с инструментами пуст, а в том,
12:31
что многие администраторы просто переключают тумблер GPT-4 Turbo и называют это «готовым к
12:35
производству». Правда в том, что Phone 3 – это цех, а не коробка с игрушками для хакатона.
12:39
Это значит установить границы доступа, чтобы только нужные люди работали с нужными моделями.
12:44
Это значит внедрить фильтры безопасности контента в каждый конвейер. Это значит использовать
12:48
мониторинг, чтобы различать обоснованные ответы и ситуации, когда модель выдумывает политику
12:52
компании из головы. И это значит выбирать подходящую модель для задачи, а не просто самую большую,
12:57
потому что она звучит солидно. Пропустите эти шаги, и хаос войдет через заднюю дверь.
13:02
Я видел, как команда подключила Phone 3 Copilot к SharePoint, который радостно выложил
13:05
конфиденциальные данные HR-20 стажерам. Это было не умно, это была катастрофа с соблюдением норм,
13:10
которой можно было избежать с помощью встроенных правил доступа.
13:12
Давайте поговорим о реальных сценариях сбоев. Одна организация использовала GPT-4 Turbo
13:16
для тегирования фотографий товаров. В лаборатории она блестяще справилась с демо. Чистые студийные фото,
13:21
идеальные теги – все аплодировали. В реальности на входе были не глянцевые JPG,
13:26
а размытые снимки с телефона на складе. Внезапно и начал помечать детские коляски,
13:30
как офисные стулья, а UPC-коды превращать в вымышленные серийные номера.
13:34
В дополнение к удару по доверию начали расти расходы. И это не сказка о цене в 1 цент за сообщение.
13:39
Ценообразование Phone 3 основано на потреблении и привязано к конкретным используемым вами службам.
13:43
Каждый коннектор, каждый запрос на извлечение данных, каждый тарифицируемый объем сообщений
13:46
оплачивается в рамках вашего тенанта. У каждого компонента своя модель тарификации.
13:50
Гибкость – это хорошо, но если вы не рассчитываете стоимость в калькуляторе Азур и не
13:53
очлеживаете использование, ваш финансовый отдел будет в восторге от неожиданного счета.
13:57
Это и есть ловушка Билллинга. Потребляемая модель оплаты работает, если вы планируете,
14:01
очлеживаете и оптимизируете. В противном случае это похоже на использование спорткара в
14:04
качестве мопеда для доставки пиццы. Дорого, шумно и бессмысленно. Мы все проходили это с тем же
14:08
Power BI – отличная демо-версия. А потом – огромный счет. Не допустите, чтобы с Phone 3 вы оказались в той же ситуации.
14:13
Разработчики любят прототипировать в Phone 3, потому что в песочнице выглядит очень удобно.
14:16
И в песочнице это действительно так. Чистые демо-данные, никакого беспорядка,
14:20
мгновенный вау-эффект. Но вот в чем подвох. Команды переводят этот прототип в продакшн без
14:24
конвейеров оценки. Если вы пропускаете оценку на обоснованность, беглость, релевантность и связность,
14:29
вы работаете вслепую. И что происходит? Пользователи видят отклонения в ответах,
14:33
доверие падает, руководство урезает бюджет. Это не сбой Phone 3, это провал команд в вопросах управления.
14:37
Многие прототипы Phone 3 застревают до этапа внедрения именно по этой причине. Никакой
14:41
наблюдаемости, никаких проверок качества, никакой телеметрии. Решение уже есть в самой платформе.
14:46
Используйте средства наблюдаемости Azure iPhone 3 с первого дня. Подключите потоки
14:49
промптов. Запускайте встроенные оценщики для каждого теста. Обоснуйте свою систему с помощью
14:53
Azure iSearch, используя гибридный поиск и семантическое переранжирование, прежде чем думать о запуске.
14:57
Microsoft не прятала эти инструменты в приложении, они задокументированы для безопасного
15:01
продакшена. Но разработчики слишком часто пролистывают их, как сноски. Такой менталитет контрольных
15:05
точек — это то, что позволяет не попасть на минное поле. Относитесь к Phone 3 как к фабрике,
15:10
где управление — это первый шаг. Политики соответствия внедрены как условный доступ,
15:13
а конвейеры наблюдаемости работают с самого начала. И да, разграничения прав доступа и безопасность
15:17
контента не должны добавляться потом, они должны быть в списке обязательных компонентов.
15:21
Игнорируйте управление, и вы рискуете не только плохими ответами. Без него ваш мультимодальный
15:25
бот может случайно раскрыть внешним пользователям зарплаты HR или пометить счета вымышленными номерами
15:29
полисов. Это не просто сломанный ИИ, это заголовок в новостях, который ваш отдел комплайнса точно не захочет
15:34
объяснять. И именно здесь фокус смещается, потому что следующий камень преткновения вовсе не
15:38
технический. Вопрос в том, является ли ваш и ответственным. Все любят вставлять эти слова в слайды
15:42
презентации, но на практике речь идет об аудитах, фильтрах, соблюдении требований и горе решений,
15:47
которые вы принимаете до запуска. И именно здесь начинаются настоящие головные боли.
15:50
Подписывайтесь на нас в новостной рассылке M365, шоу, чтобы получать прямые решения, и следите за
15:54
обновлениями M365. Заходите на страницу в LinkedIn для просмотра прямых эфиров с MVP, которые тестировали
15:59
Phone 3 в продакшене и знают, что может пойти не так. Ответственные ИИ или ответственные головные
16:04
упоминать, ответственные ИИ в своих выступлениях. Это отлично смотрится рядом с модными словами
16:08
вроде «справедливость» и «прозрачность». Но на деле это вовсе не вдохновляющая философия. Это
16:12
конфигурации, аудиты, фильтры и процессы управления, которые больше похожи на обслуживание серверов,
16:17
чем на инновации. Ответственные ИИ – это ремень безопасности, а не спортивный автомобиль. Пропустите
16:21
его один раз, и авария произойдет очень быстро. Microsoft много говорит об этике и безопасности,
16:25
но для администраторов, внедряющих это в жизнь, это означает практические защитные барьеры.
16:29
Вам нужны политики доступа, которые не рухнут под нагрузкой, фильтры, реально блокирующие
16:33
вредоносные запросы и журналы, достаточно детальные для регулятора с кофеином и повесткой в суд.
16:37
Это не самая приятная работа. Это изоляция HR-копилотов от финансовых данных, настройка
16:42
правил области действия, чтобы чат-боты не проникали в секреты SharePoint и маркировка логов,
16:46
чтобы доказать, как именно был сформирован ответ. Если сделать все правильно, ответственность
16:50
станет не корпоративным лозунгом, а условием выживания. Худший вариант пренебрежения этим – подключение
16:55
бота напрямую к вашему HR-репозиторию без разграничения прав доступа в тенанте.
16:59
Пользователь спрашивает о льготах по страхованию. Бот услужливо выдает в чат данные о зарплатных
17:04
вилках сотрудников. Теперь у вас нарушение конфиденциальности, кошмар с моральным духом в
17:07
коллективе и, возможно, регуляторы, дышащие вам в затылок. Самый быстрый способ убить внедрение – это
17:11
неплохой интерфейс, а одна утечка конфиденциальных данных. Так что же защищает от этого хаоса?
17:15
Начните с Azure iContent Sofetti. Он создан для фильтрации жестоких, непристойных и оскорбительных
17:20
запросов и ответов, прежде чем они попадут к пользователям. Но это лишь базовая гигиена.
17:24
Foundry и Copilot Studio используют конвейеры оценки, которые работают на следующем уровне.
17:29
Проверка обоснованности, оценка релевантности, панели прозрачности и объяснимость результатов.
17:34
Проще говоря, вы можете настраивать пороги срабатывания, фильтровать как входящие,
17:37
так и исходящие данные и заставлять ботов показывать логику их работы. Без этого вы просто
17:41
играете в кости с тем, что выдает i. А вот реальность с ресурсами. Microsoft вкладывает в это большие
17:46
силы. 34 тысячи штатных инженеров, занимающихся безопасностью, плюс 15 тысяч партнеров с глубокой
17:52
экспертизой в этой сфере. Это настоящая крепость. Но не спешите расслабляться. Ни один из этих
17:56
инженеров не находится внутри вашего тенанта и не устанавливает там ваши правила доступа.
17:59
Microsoft дает вам защитные барьеры, но именно ваша задача — настроить идентификацию,
18:03
обеспечить изоляцию данных, применить шифрование и настроить политики. Если вы небрежно
18:07
определили границы, ответственность за утечку все равно ляжет на вас. Настоящее решение — это
18:10
управление жизненным циклом. Рассматривайте это как рецепт, который рекомендует сама Microsoft.
18:15
Тестирование, утверждение, выпуск, аудит, итерация. Контрольные точки на каждом этапе позволяют
18:20
заметить отклонения до того, как они попадут в заголовки новостей. Команды, которые выпускают
18:24
продукт вслепую и забывают о нем, всегда терпят крах. Модели развиваются, промпты меняются,
18:28
а результаты отклоняются от нормы. Управление — это не бурократия. Это способ помешать боту-стажеру
18:33
выдумывать правила в Teams, пока все спят. Некоторые администраторы ворчат, что ответственный подход
18:37
означает лишь замедление. Это неверный взгляд. Ответственность не убивает скорость, она не дает
18:42
скорости убить вас. Грамотное управление позволяет проходить аудиты, не останавливая работу над проектами.
18:46
Если проигнорировать это, вы совершите прыжок в пропасть. Скорость без контроля
18:50
ведет лишь к одному рекорду — кратчайшему пути до разбора полетов. Представьте, что едете по
18:54
горному серпантину. Вы не проклинаете отбойники, вы благодарите их, когда дорога обрывается на 60 метров
18:59
вниз. С ответственным и все так же. Области охвата, политики, фильтры и журналы не снижают вашу
19:03
скорость. Они берегут вас от попадания в вечерние новости. Суть в том, что Microsoft дала вам мощный
19:08
инструментарий. Безопасность контента, пайплайны оценки, фреймворки защиты, SDK, но ограничивать тенанты,
19:15
настраивать доступ и внедрять эти циклы в производство должны вы. Сделайте это, и ваш и выдержит
19:20
проверку на соответствие требованиям, вместо того, чтобы рухнуть под их тяжестью. Проигнорируйте
19:24
это, и возникнет риск не только сбоев, но и вашей карьеры. Ответственный ИИ — это немедленно.
19:29
Ответственный ИИ — это жизнеспособность. И жизнеспособность — главный тест, ведь дело не в функциях,
19:32
а в том, относитесь ли вы к платформе, как «подключил и забыл», или уважаете ее как инфраструктуру,
19:36
где управление стоит на первом месте. Эта разница определяет, кто добьется успеха, а кто выиграет.
19:41
Итог таков. Ловушка не в Foundry или Copilot Studio, а в мысли, что они работают по принципу «подключил и работай».
19:46
Правило простое — сначала управление, потом эксперименты, в конце — производство.
19:50
Игнорировать управление идентификацией и наблюдаемость — на ваш страх и риск.
19:53
Инструменты есть, но только управление превращает прототипы в реальный продукт.
19:57
Если вам нужны конкретные решения, которые помогут сохранить работоспособность вашего тенанта,
20:01
подписывайтесь на подкаст и оставляйте отзывы. Я трачу на это ежедневно,
20:04
и ваша поддержка мне очень помогает. Инструменты меняются, тактика выживания остается.