Latest / M365.FM – Microsoft 365, Copilot & AI 팟캐스트 (한국어) / Power Platform과 Azure OpenAI로 만드는 엔터프라이즈 AI: 챗봇 데모를 넘어선 아키텍처·보안·거버넌스 (AI 더빙)

Transcript

Power Platform과 Azure OpenAI로 만드는 엔터프라이즈 AI: 챗봇 데모를 넘어선 아키텍처·보안·거버넌스 (AI 더빙) · M365.FM – Microsoft 365, Copilot & AI 팟캐스트 (한국어)

0:00
마이크로소프트 365, 코파일럿, AI, 에이저, 그리고 일의 미래를 만들어가는 사람들과 함께하는 10일간의 여정을 준비하셨나요?
0:08
오는 1월, M365 컨이더 큰 규모로 돌아옵니다.
0:12
전세계 MVP와 업계 전문가들이 제공하는 라이브 세션, 실제 데모, 실무 지식을 직접 확인해보세요.
0:18
뻔한 슬라이드는 없습니다. 끝없는 전문 용어 나열도 없습니다.
0:22
코파일럿 스튜디오, AI 에이전트, 해브릭, 보안, 거버넌스, 자동화 등 실제적인 과제들을 다룹니다.
0:29
IT 전문가든, 개발자든, 비즈니스 리더든 여러분을 위한 맞춤형 세션이 준비되어 있습니다.
0:35
10일 동안 다양한 기술을 탐구하고 글로벌 커뮤니티와 교류할 수 있습니다.
0:40
라이브로 시청하고 실무에 바로 적용할 수 있는 통찰력을 얻어가세요.
0:44
2027년 1월, 10일간의 여정, 하나의 마이크로소프트 커뮤니티, 지금 등록이 시작되었습니다.
0:52
오늘 바로 여러분의 자리를 확보하세요.
0:56
M365 con.net을 확인하세요.
0:59
M365 con.net에서 지금 참여하시고 1월 라이브 행사에서 뵙겠습니다.
1:05
왜 그렇게 많은 AI 기반 파워 플랫폼 데모가 책보 수준에서 멈추고,
1:09
실제 비즈니스 워크플로우에서는 살아남지 못하는지 궁금했던 적 있으신가요?
1:13
이 영상에서는 전문적인 배포에 필수적인 보안, 성능, 거버넌스 요소를 모두 갖추어
1:19
주어에이저 오픈하이와 파워앱스 및 다이나믹스 365를 실제로 연동하는 방법을 보여드립니다.
1:24
마법 같은 이야기보다 실제 작동 원리가 궁금하셨다면 제대로 찾아오셨습니다.
1:29
커넥터를 넘어 파워 플랫폼에서 AI 위 진짜 구조는 항상 같은 방식에서 시작됩니다.
1:35
비즈니스 사용자들은 세련된 데모를 봅니다.
1:38
몇 초 만에 응답하는 영업 책본이나 티켓을 자동으로 분류하는 고객 서비스 앱 같은 것들이죠.
1:44
그리고 생각합니다.
1:45
좋아, 이걸 바로 파워앱스 에너차.
1:47
커넥터를 연결하고 화면이 작동하기 시작하면,
1:49
사람들은 AI가 자신의 번거로운 업무를 대신해주는 상상을 하게 됩니다.
1:52
하지만 혈실은 금방 찾아옵니다.
1:54
데모에서는 잘 작동하던 커넥터가,
1:56
막상 대단한 것을 만들었다고 생각할 때쯤 성능 문제가 발생하고,
2:01
책본은 엉뚱한 소리를 하거나 민감한 고객 데이터가 유출되기도 합니다.
2:06
이 지점이 대부분의 AI 통합이 막히는 구간입니다.
2:09
AI를 파워 플랫폼에 추가하는 것이 단순히 더하기 버튼을 누르고,
2:12
커넥터를 추가해 에이저 오픈아이와 연결하는 것이라는 잘못된 믿음 탓입니다.
2:15
이러한 생각은 도구들이 이론상으로는 너무나 쉬워 보이기 때문에 계속 유지됩니다.
2:19
그게 어려운 부분이기만 하다면 얼마나 좋을까요?
2:21
그렇다면 장난감 수준을 넘어선 제대로 된 프로젝트를 원할 때,
2:23
내부에서는 실제로 무슨 일이 일어날까요?
2:25
AI 마법이 어디서 일어나는지 이해하는 것이 야말로,
2:27
단순히 데모를 보여주는 것과 실제 비즈니스 프로세스를 구동하는 것에 차이를 만듭니다.
2:31
이제 본격적인 파워 플랫폼 AI 설정에는 거의 항상 4가지 요소가 관여합니다.
2:35
첫째, 최종 사용자가 상호작용하며 모든 AI 요청에 실제 트리거가 되는 파워 앱스나 다이나믹스 365 그 자체입니다.
2:43
데이터를 수집합니다.
2:44
고객 메시지나 설문 결과, 제품 리뷰 등 지능형 분석이 필요한 어떤 입력 데이터든 상관없습니다.
2:50
하지만 파워 앱스는 에이저 오픈아이와 직접 통신하지 않습니다.
2:53
그 지점에서 파워 오토메이트가 개입하여 전체 과정을 조율합니다.
2:56
사용자가 버튼을 누르거나 양식을 제출할 때마다 파워 오토메이트 흐름이 데이터를 가져와 적절한 형식으로 변환한 뒤 필요한 곳으로 전송합니다.
3:04
세번째는 에이저 오픈아이 엔드포인트입니다.
3:07
이것이 진정한 두뇌 역할을 하며 감성 분석, 텍스트 요약, 고객 응대 답변 생성과 같은 기능을 수행합니다.
3:13
그리고 스택 안쪽에 조용히 자리 잡은 에이저 API 매니지먼트가 있는데 문제가 터지기 전까지는 억울할 정도로 간과되곤 합니다.
3:20
이것이 보안과 스로틀링을 담당하며 원활한 흐름과 과부하 사이의 차이를 결정짓습니다.
3:25
이 퍼즐 조각들이 서로 어떻게 의존하는지 자세히 살펴보겠습니다.
3:28
예를 들어 다이나믹스 365 사용자가 영업통화 기록을 남기는 즉시 트리거가 작동한다고 가정해봅시다.
3:34
그러면 파워 오토메이트 흐름이 시작됩니다.
3:36
흐름은 단순히 데이터를 A에서 B로 옮기는 것만이 아닙니다.
3:39
텍스트를 정리하거나 다른 소스의 맥락을 병합하거나 에이저 오픈아이로 요청을 보내기 전 개인정보 보호를 위해 필드를 마스킹할 수도 있습니다.
3:47
그 과정이 중요합니다.
3:49
다른 자동화 작업이 리소스를 차지하여 흐름이 느려지면 앱에서 지연 시간이 쌓이는 것을 보게 됩니다.
3:56
만약 파워 오토메이트 가 페이로드를 제대로 준비하지 못해 예를 들어 제품 리뷰에 맥락이 빠져 있거나 서식이 이상하면 오픈아이 엔드포인트는 이상한 결과를 반환하거나 더 나쁘게는 환각 답변을 내놓을 것입니다.
4:07
따라서 상위 단계의 연결 상태가 엉망이면 지능적인 결과도 얻을 수 없습니다.
4:12
에이저 API 매니지먼트까지 포함되면 상황은 훨씬 더 흥미로워집니다.
4:15
모두가 지능형 기능에만 열광할 뿐 누가 얼마나 자주 액세스해야 하는지에 대해서는 충분히 고민하지 않습니다.
4:21
API 매니지먼트는 출입구의 균형 조절 장치와 같은 역할을 합니다.
4:24
모든 요청을 확인하고 인증을 적용하며 사용량이 무분별하게 늘어나지 않도록 제어합니다.
4:29
스로틀링 정책을 설정하지 않으면 결함이 있는 앱 하나가 시간당 수천 건의 요청을 보내 오픈아이 인스터스를 마비시키거나 엄청난 에이저 청구서 폭탄을 맞게 할 수도 있습니다.
4:40
또한 누가 무엇을 했는지 기록함으로 문제가 발생하거나 누군가 편법을 쓰더라도 추적할 수 있는 감사로그가 남습니다.
4:46
데모에서는 이런 문제들이 전혀 드러나지 않습니다.
4:49
짧은 가이드 영상 속에서 모든 것은 소수의 사용자와 거의 완벽한 네트워크 환경에 최적화되어 있습니다.
4:55
하지만 실제 비즈니스 환경에서는 무시할 수 없는 실제 SLA, 데이터 개인정보 보호 문제, 성능 인계 값이 존재합니다.
5:02
예를 들어 감성 분석 기능이 내장된 영업 피드백 파워 앱을 출시한다고 가정해봅시다.
5:07
단 10명이 사용할 때는 흐름이 원활하게 작동하여 1초 이내에 유용한 결과를 얻을 수 있습니다.
5:12
하지만 이 수치가 만으로 치솟는 날, 이메일 캠페인이나 합병 이후에 엔드포인트가 요청을 감당하지 못해 30초 대기시간이나 오류가 발생하기 시작합니다.
5:21
더 나쁜 경우 페이로드 크기가 에이저 제한을 넘어서 거나 API 관리에 대한 보안 정책이 제대로 설정되지 않아 피드백 데이터의 절반이 처리되지 않는 상황이 발생할 수 있습니다.
5:32
이제 AI 파이프라인은 영업을 돕기는커녕 오히려 방해하게 되고 헬프 데스크는 불만이 가득할 겁니다.
5:38
그것이 바로 경각심을 일깨우는 신호입니다.
5:40
커넥터를 연결하는 것은 아키텍처 파티의 초대장을 받는 것에 불과합니다.
5:44
진짜 중요한 것은 각계층이 어떻게 상호작용하는지 그리고 규모를 확장할 때 얼마나 취약해지는지 파악하는 것입니다.
5:52
파워앱스가 어떻게 오케스트레이션을 실행하고 흐름이 데이터를 어떻게 처리하고 보호하며 AI 엔드포인트가 이를 어떻게 해석하고 API 관리가 어떻게 가드레일 역할을 하는지 아는 것.
6:02
바로 그것이 샌드박스에 갇힌 곳과 기업용 솔루션을 구분짓는 요소입니다.
6:05
커넥터만 이해한다면 여러분은 항상 안정성과 보안을 담보로 도박을 하는 셈입니다.
6:10
누구나 파워앱스에서 새로운 AI 데모를 끌어다 놓을 수 있습니다.
6:14
실제 사용자와 데이터와의 접촉에서 살아남는 무언가를 만드는 것은 커넥터로 적당히 넘기는 것이 아니라 세부사항을 파고드는 것을 의미합니다.
6:21
따라서 요구사항이 단순한 텍스트 반복에서 실질적인 비즈니스 문제 해결로 바뀔 때 지능은 훨씬 더 똑똑해져야 합니다.
6:28
비즈니스 임팩트를 위해 AI 위 두뇌를 연결하는 방법을 알려드리겠습니다.
6:32
비즈니스, 감정 분석, 요약 등을 위한 AI 튜닝 방법입니다.
6:35
파워 플랫폼에서 에이저 오픈아이를 다뤄본 적이 있다면 아마 이상한 점을 눈치채 셨을 겁니다.
6:41
하나의 엔드포인트가 문장에서 부정적인 감정을 포착하고 전체 이메일 체인을 요약하거나 새로운 제품 설명을 초안으로 작성할 수 있는데 이 모든 것이 동일한 AI 모델로 가능합니다.
6:53
하지만 이건 마법이 아니면 실제로 유용한 일을 시도하는 순간 여러 프로젝트가 실패하는 데에는 다 이유가 있습니다.
6:59
사람들은 종종 프롬프트만 바꾸면 모든 것이 해결된다고 생각합니다.
7:02
표실은 어떨까요? 각 비즈니스 사례는 다른 접근 방식이 필요하며 여기서 바로 플러그 앤 플레이 방식의 환상이 깨집니다.
7:09
감정 분석과 텍스트 생성의 차이에 대해 이야기해봅시다.
7:13
다이나믹스 365 앱이 고객 불만 사항을 표시하도록 만들고 싶다고 가정해보겠습니다.
7:17
감정 분석은 짧은 입력, 빠른 응답, 낮은 비용, 추적할 문맥이 거의 없다는 점에서 가장 확실한 첫 번째 사례입니다.
7:24
이 방식이 작동하는 이유는 파워 오토메이트가 오픈아이 엔드포인트의 가장 기본적인 데이터, 즉 한두 문장과 모델의 무엇을 찾아야 하는지 알려주는 적절한 프롬프트만 전달하면 되기 때문입니다.
7:35
모델이 폭주하거나 예산을 초과할 위험 없이 수십 개의 레코드를 빠르게 처리할 수 있습니다.
7:41
이러한 흐름은 관리와 속도 조절이 쉽고 거의 다시 작성할 필요가 없습니다.
7:45
이제 요약 생성 단계로 넘어가면 이미 한 개점에 다 다르기 시작합니다.
7:48
파워 앱에서 관리자가 상세한 회의 노트를 붙여넣고 몇 주 안에 일관된 요약을 기대한다면 오픈아이로 보내는 프롬프트는 정교하게 작성되고 적절한 어조를 유지해야 합니다.
8:00
그렇다 하더라도 모든 요약이 동일한 품질인 것은 아닙니다.
8:04
입력 데이터가 너무 크거나 원본 텍스트가 구조화되어 있지 않으면 모델이 역할을 벗어나 요약 대신 위협을 하거나 아예 없던 내용을 지어내는 환각 현상이 발생할 수 있습니다.
8:15
이는 결국 구성 문제로 귀결됩니다.
8:17
파워 오토메이트는 입력 데이터를 다듬고 서명을 제거하고 서식을 정리하며 문서가 너무 길면 분할해야 합니다.
8:23
이 모든 과정은 AI가 작업을 시작하기 전에 이루어져야 합니다.
8:26
하지만 본격적인 텍스트 생성이나 대규모 분류 작업에 들어가면 상황이 복잡해집니다.
8:30
영업팀이 즉석에서 맞추면 이메일 회신을 원하거나 지원 담당자가 문제 유형에 따라 티켓을 분류해야 한다고 가정해보겠습니다.
8:38
대부분의 사람은 AI 기반 흐름을 수천 개의 입력 데이터에 실행하는 것이 데모와는 완전히 다르다는 점을 강과합니다.
8:44
파워 오토메이트 흐름은 방대한 데이터 세트를 반복 처리해야 합니다.
8:49
오픈아이 엔드포인트에 요청이 몰리면서 처리량은 급감하고 에이저 청구 금액은 치솟아 때로는 회계 부서가 개입해야 할 정도가 됩니다.
8:59
가장 큰 함정은 이러한 AI 프로세스를 서로 대체 가능한 것으로 취급하는 것입니다.
9:03
감정 분석은 요청당 몇 센트도 안 들 수 있지만 긴 글을 생성하는 작업은 모델 복잡도를 높이고 수백 개의 토큰을 소모하며 응답 시간도 더 오래 걸립니다.
9:15
여기에 고객별로 다른 어조나 표현 등 맞춤형 지침까지 추가되면 사소한 수정마다 정밀한 프롬프트 엔지니어링이 필요합니다.
9:22
사람들은 프롬프트 엔지니어링이라는 말을 들으면 단순히 더 나은 지침을 입력하는 것이라 생각하지만 실제로는 검색 알고리즘을 조정하는 것에 더 가깝습니다.
9:29
테스트하고 이상한 결과를 얻고 다시 작성하는 과정을 반복합니다.
9:32
적용하는 모든 변경사항은 결과물뿐만 아니라 워크플로우의 시간, 비용, 보안 프로필에도 영향을 미칩니다.
9:38
이것은 이론이 아닙니다.
9:40
무시할 수 없을 만큼 많은 실제 사례가 존재합니다.
9:43
한 기업이 오픈아이를 사용하여 고객 서비스 티켓을 분류하고 감정을 분석하며 정형화된 응답을 제안하는 파워 플랫폼 흐름을 구축했습니다.
9:52
스테이징 환경에서는 완벽해 보였습니다.
9:54
문제는 팀 전체가 해당 흐름을 사용하기 시작했을 때 발생했는데 갑자기 모든 티켓에 대해 분단위로 엔드포인트 요청이 쏟아졌기 때문입니다.
10:02
모델이 단순 분류가 아닌 일반 텍스트 생성으로 설정되어 있었던 것입니다.
10:06
그래서 전체 티켓 기록을 분석하고 매번 여러 단락의 초안을 작성했습니다.
10:11
비용은 하룻밤 사이에 치솟았고 워크플로우는 기어가는 속도가 되었으며 AI는 제한 내용이 없는 정보를 지어내기 시작했습니다.
10:18
간단한 분류 작업에 왜 짧은 분류가 아닌 텍스트 생성용 엔드포인트가 필요한지 아무도 묻지 않았습니다.
10:25
파워 오토메이트 위 설정과 엔드포인트 구성이 모든 혼란을 야기했다는 사실을 깨닫기까지 몇 시간의 조사가 필요했습니다.
10:33
제어권을 확보하려면 파워 오토메이트 흐름에 사용할당량을 설정하고 항상 에이저 포털을 통해 요청 및 토큰 사용량을 모니터링하십시오.
10:42
분류나 감정 분석 같은 빠른 작업의 경우 병렬 흐름을 설정하고 작업을 수행할 수 있는 가장 작은 모델을 사용하세요.
10:50
긴 형식의 생성 작업에는 최대 토큰 수를 제한하고 사용자가 해당 기능을 호출하는 빈도를 조절하세요.
10:57
로그를 정기적으로 검토하세요. 급증이나 비정상적인 동작을 최대한 빨리 파악하세요.
11:02
이 단계를 건너뛰면 플랫폼이 청구서 연체나 그보다 더 나쁜 상황으로 경고를 보낼 것이며 사용자들은 앱 성능 저하라는 고통을 겪게 될 것입니다.
11:09
따라서 올바른 ai 구성은 단지 솔루션을 작동시키는 것만이 아닙니다.
11:13
비즈니스를 원활하게 유지하고 비용을 예측 가능하게 하며 결과의 합리성을 보장하는 것입니다.
11:18
잘못된 설정은 순식간에 ai를 아군에서 부채로 바꿔버립니다.
11:22
이제 앱에 지능을 연결했으니 누가 이를 사용할 수 있는지 파악하고
11:26
대규모 환경에서 엔드포인트와 데이터를 안전하게 보호할 방법을 찾아야 합니다.
11:31
흐름 보호하기
11:32
왜 에이저 API 매니지먼트가 여러분의 방패가 되는가
11:35
눈치채셨겠지만 대부분의 파워 플랫폼 ai 데모는 보안을 마지막에 체크하는 항목 정도로 치부하며 넘어갑니다.
11:42
하지만 파일럿 프로젝트가 내부 테스트 환경에서 실제 운영 환경으로 넘어가면 새로운 위험이 빠르게 나타납니다.
11:48
갑자기 그 오픈아이 엔드포인트는 무해한 테스트 프롬프트에만 응답하는 것이 아니게 됩니다.
11:53
앱이 노출하는 모든 것에 대한 잠재적 인창구가 됩니다.
11:56
보완되지 않은 API를 통해 고객 데이터를 조용히 흘려보내는 고객 서비스 워크플로나 대놓고 공유되는 키로 구동되는 책봇을 상상해보세요.
12:05
몇 번이 실수만으로도 기업은 무단 액세스, 데이터 유출 또는 잘못된 대상으로부터의 엄청난 API 호출에 노출될 수 있습니다.
12:13
이것은 가상의 상황이 아닙니다.
12:15
에이저 오픈아이 엔드포인트를 파워앱스나 다이나믹스 365에 연결하는 순간 강력한 화력을 노출하는 셈입니다.
12:21
잘못된 사람이 API 키를 가로채면 예를 들어 스크립트에 있거나 테스트 흐름에 묻혀있는 키를 통해 프롬프트를 보내고 응답을 가져오며 사용량을 급격히 늘릴 수 있습니다.
12:29
디도스 공격이 현실적인 우려가 됩니다.
12:32
악의적인 공격자가 없더라도 잘못된 내 코드에서 루프를 도는 앱이 엔드포인트를 쉬지 않고 괴롭힐 수 있습니다.
12:38
두 경우 모두 여러분은 거버넌스 문제뿐만 아니라 잠재적으로 통제 불가능한 비용 문제에 직면하게 됩니다.
12:43
그리고 어떤 데이터가 전송되느냐에 따라 실질적인 규정 준수 위험이 발생합니다.
12:47
여기서 에이저 API 매니지먼트가 숨은 공신으로 등장합니다.
12:50
대부분은 이를 구성해야 할 또 하나의 에이저 리소스로 보지만 실제로는 질서와 혼란을 가르는 차이입니다.
12:56
API 매니지먼트는 파워 오토메이트 나 커넥터 자체만으로는 할 수 없는 일들을 수행합니다.
13:01
요청이 있을 때마다 매번 인증과 권한 부여를 강제하며 코드에 따로 구현하는 것을 기억할 필요가 없습니다.
13:07
엔드포인트에 도달하는 요청 수를 제한함으로 개발자의 실수 나 잘못된 스크립트가 예산이나 평판을 위태롭게 하지 않습니다.
13:15
또한 자세한 로그를 기록하여 누가, 무엇을, 언제 액세스했는지 확인해야 할 때 추적 경로를 제공합니다.
13:21
실제 사건 하나를 예로 들어보겠습니다.
13:23
한 조직이 다이나믹스 365위 고객 이메일 AI 분류 흐름을 도입하면서 API 키를 파워 오토메이트에 전달했습니다.
13:30
그 키가 공유 문서 폴더에 노출되었고,
13:33
위혹은 앞섰으나 숙련되지 않은 팀원이 테스트 앱의 실수로 재기 루프를 만들었습니다.
13:38
몇 시간 만에 수천 건의 API 호출이 오픈하이 엔드포인트로 전송되었고,
13:42
대다수가 동일한 기록을 반복했습니다.
13:44
에이저 청구서가 예기치 않게 급증했고, 팀은 로그를 샅샅이 뒤진 후에야 무슨 일이 벌어졌는지 알게 되었습니다.
13:50
가장 최악은 청구 금액뿐만 아니라,
13:52
민감한 정보가 잘못된 곳으로 유출되었을지 모른다는 불확실성이었습니다.
13:56
API 매니지먼트가 도입되어 있었다면,
13:58
상황이 악화되기 훨씬 전에 루프가 속도 제한 오류를 일으켰을 것이며,
14:02
더 나은 로깅으로 즉시 대량 호출을 포착했을 것입니다.
14:06
API 매니지먼트 정책이야말로 진정한 안전망입니다.
14:09
예를 들어 사용자당 분당 최대 호출수와 같은 속도 제한을 설정할 수 있습니다.
14:14
IP 범위별로 호출을 제한하여 알려진 파워 플랫폼 게이트웨이에서 오는 요청만 허용할 수 있습니다.
14:20
엄격한 규정 준수 정책을 가진 조직의 경우,
14:23
비즈니스 프로세스에 고유한 헤더나 토큰을 요구하여,
14:27
외부의 무작위 액세스를 차단하기 쉽게 만들 수 있습니다.
14:30
이러한 제어 장치들은 최종 사용자를 불편하게 하려는 것이 아니라,
14:35
급격히 확장되는 AI 앱이 운영을 마비시킬거나,
14:38
고객 데이터를 위태롭게 하지 않도록 설계되었습니다.
14:41
균형을 유지하는 것이 중요합니다.
14:44
보안 정책은 남용을 막을 만큼 강력해야 하지만,
14:46
정상적인 업무 처리를 늦춰서는 안 됩니다.
14:48
스로틀링을 너무 과하게 설정하면 정상적인 요청조차 실패하기 시작하고,
14:53
사용자는 데이터가 통과할 때까지 반복해서 제출하는 식의 우회 방법을 찾게 됩니다.
14:58
바로 그 지점에서 API 매니지먼트 내의 모니터링과 분석이 중요해집니다.
15:03
시간에 따른 사용 패턴을 파악하고,
15:05
실패한 후출을 찾아내어 사용자가 알아채기도 전에 정책을 조정할 수 있습니다.
15:10
기업 전반의 모든 구성원이 파워 앱스와 다이나믹스 365의 AI 기반 기능을 실험해보길 원하시겠지만,
15:16
데이터와 비용이 통제 범위를 벗어나지 않도록 보호할 완충 장치가 필요하실 겁니다.
15:20
API 매니지먼트 로게이트 키핑을 관리하면 그 이상의 보호 효과를 누릴 수 있습니다.
15:24
부위 변황을 실질적으로 추적하고, 어떤 워크플로우가 실질적인 가치를 창출하며,
15:28
어떤 워크플로우가 불필요하게 용량을 낭비하는지 파악할 수 있습니다.
15:30
경영진이 누가, 무엇을, 언제, 어떻게 했는지 물을 때 모든 기록을 확인할 수 있습니다.
15:34
사용량이 개념 증명 단계의 오명에서 실제 영업 또는 지원 앱을 사용하는 수천 명 규모로 확대될 때,
15:39
API 매니지먼트는 단순히 문을 활짝 열어두고 운에 맡기는 상황을 방지합니다.
15:44
트래픽을 예측 가능한 방식으로 유도할 수 있습니다.
15:46
불편한 진실은 AI 엔드포인트에 대한 적절한 관리 없이는 대부분의 프로덕션 준비 완료 통합이 예상치 못한 문제가 발생할 때 무너진다는 점입니다.
15:55
API 매니지먼트를 사용하면 숨겨진 위험을 초래하지 않으면 서 아이디어 단계에서 엔터프라이즈 규모로 전환할 수 있습니다.
16:01
그러니 이것을 단순한 배관이라기보다 정문으로 생각하세요.
16:04
물론 아무리 뛰어난 게이트 키퍼라도 주어진 것만 처리할 수 있습니다.
16:08
엔드포인트를 보호하는 것은 동전의 한 면일 뿐입니다.
16:11
그 너머에는 더 큰 그림이 있습니다.
16:12
사용량을 추적하고 예산을 관리하며 앱이 발전하거나 정책이 변경될 때 규정 준수 규칙이 느슨해지지 않도록 하는 것이죠.
16:19
바로 이때 거버넌스는 선택사항이 아니라 시스템 전체를 이끄는 핵심 요소가 됩니다.
16:24
거버넌스 통합, 비용 규정 준수, 그리고 AI 통제가 중요합니다.
16:28
파워 앱 프로젝트가 하룻밤 사이에 사이드 프로젝트에서 모두가 애용하는 도구로 변했을 때
16:33
비용이 급증하고 아무도 무엇을 관리해야 할지 모르는 당혹스러운 상황을 경험해 보셨을 겁니다.
16:39
성공적인 AI 도입을 축하하기는 쉽습니다.
16:42
백그라운드에서 감정 분석이 조용히 작동하고 텍스트 요약으로 보고서 작성 시간을 단축하는 것은 좋지만
16:48
결국 누군가 에이저 청구서를 보거나 정보보안팀의 메시지를 받게 되면 분위기는 순식간에 산을 해집니다.
16:55
그것이 거버넌스의 공백을 알리는 첫 신호이며
16:57
앱이 너무 잘 작동해서 사람들이 계속 사용할 때마다 거의 항상 나타나는 현상입니다.
17:02
이러한 패턴은 거의 보편적입니다.
17:04
AI 기능을 연결하고 엔드포인트를 보호하며 경영진이 비즈니스 사례를 승인하면
17:10
실제 사용자가 몰려들고 환경의 모든 요소가 더 복잡해집니다.
17:14
에이저 오픈아이 엔드포인트에 대한 액세스 권한은 누가 제어합니까?
17:18
각 파워 앱에서 오는 요청은 얼마나 되며
17:20
그 중 꼭 필요한 요청은 무엇입니까?
17:23
실험과 예산을 갉아먹는 자동화 사이의 경계는 어디입니까?
17:27
더 많은 직원이 자신만의 자동화를 구축하거나 조정함에 따라
17:30
마크에서 벌어지는 일을 파악하는 것은 매주 더 어려워집니다.
17:34
통제불능의 비용은 종종 거버넌스 관련 첫 번째 비상사태가 됩니다.
17:38
에이저는 오픈아이 엔드포인트를 통과하는 모든 토큰, API 호출, 데이터 기가바이트를 정확히 집계하지만
17:44
누군가의 수치를 추적하지 않으면 비용이 백그라운드에서 급격히 불어날 수 있습니다.
17:48
사용량 기반으로 비용을 지불하는데
17:50
시민 개발자들이 혁신을 위해 노력하면서도
17:53
정작 자신의 파워 오토메이트 흐름이
17:55
하루에 수천 번씩 AI 엔드포인트를 호출하고 있다는 사실을 모를 때
17:59
사용량은 통제불능이 됩니다.
18:01
대부분은 예산 경고가 울리거나 재무팀에서
18:04
청구 오류라고 생각할 때의 문제를 발견합니다.
18:07
이를 무시하면 단순히 더 많은 비용을 지불하는 것에서 그치지 않고
18:10
누군가 손실을 막기 위해 프로젝트를 중단하거나
18:13
더 나아가 경영진이 AI 실험 전반에 대한 신뢰를 잃을 위험이 있습니다.
18:16
하지만 문제는 반지도 내만 있지 않습니다.
18:18
그 다음은 규정 준수 문제입니다.
18:20
API 관리가 입구를 통제하더라도 어떤 데이터가 전송되는지
18:23
얼마나 저장되는지
18:25
사본이 어디에 남는지에 대한 의무는 여전히 남아있습니다.
18:28
개발자가 에이저 오픈아이로 지원 티켓 텍스트를 보내기 전에
18:32
개인 식별 정보를 마스킹했을까요?
18:35
어떤 사용자가 무엇에 액세스했는지에 대한 기록이 있으며
18:38
그것이 조직의 정책과 일치할까요?
18:41
감사관들은 그럴 것 같다는 답변에 감명받지 않습니다.
18:44
규제 산업의 경우 부적절한 필터링 없이
18:47
기밀 데이터를 텍스트 요약에 보내는 등의
18:49
단 한 번이 규정 준수 실패만으로도
18:52
프로젝트가 몇 주간 중단되거나
18:54
회사가 공경에 처할 수 있습니다.
18:55
규제가 덜한 환경이라도 IT 부서는 관리되지 않는 데이터가
18:59
클라우드에 떠돌고 있는 것처럼 보이면 불안해합니다.
19:02
마이크로소프트는 이러한 측면에서
19:03
업무를 더 수월하게 만들고자 노력합니다.
19:05
에이저 코스트 매니지먼트는 대시보드, 경고,
19:08
지출 한도 설정을 제공합니다.
19:09
여전히 누군가는 임계값을 설정하고
19:11
주간 사용량 급증을 모니터링하며
19:13
비용이 커지기 전에 일시 중지해야 합니다.
19:15
모든 리소스, AI 엔드포인트, 흐름,
19:18
심지어 개별 파워 앱스에 태그를 지정하는 것은
19:20
지출을 각 팀이나 사업부별로 추적할 수 있는
19:22
간단하지만 강력한 방법입니다.
19:24
이는 정리 작업과 보고에도 도움이 됩니다.
19:27
파일럿 종료 후에도 자동화가 계속 실행 중이
19:29
라면 태그가 지정된 리소스가 눈에 띄어
19:32
건강검진 때마다 나타나는
19:34
미스터리한 워크로드 시나리오를
19:36
방지할 수 있습니다.
19:37
파워 플랫폼 측면에서
19:38
센터 오브 엑셀런스, 코, 스타터 키트은
19:41
AI 지휘본부와 가장 가까운 도구입니다.
19:43
이 도구는 테넌트 전체를 훑어 모든 흐름,
19:46
사용자 지정 커넥터, 앱,
19:48
봇을 찾아내고 실행 가능한 인벤토리를 구축합니다.
19:52
IT 부서는 사용량 분석을 설정하고
19:54
위심스러운 패턴 발생 시 경고를 보내며
19:56
시민 개발자들에게 내부 모범 사례를
19:59
상기시키는 알림을 보낼 수 있습니다.
20:01
일부 조직에서는 이를 사용하여
20:02
API 사용량, 과부하된 흐름,
20:05
누가 무엇을 빌드하고 있는지에 대한
20:06
정기보고서를 생성합니다.
20:08
코 툴킷은 단순한 가시성 확보만을 위한
20:10
도구가 아닙니다.
20:11
또한 단계적 배포를 위한 템플릿을 제공하고
20:13
고위험 앱에 대한 검토를 트리거하며
20:15
규정 준수 가이드라인을 벗어나는 흐름을 차단하거나
20:18
일시 중지하여 비즈니스 정책을 강제할 수 있습니다.
20:21
빠르게 성장하는 조직과 수십 명이 파워 유저에게
20:24
이러한 가이드라인은 상황이 통제를 벗어나지 않도록 방지해줍니다.
20:27
거버넌스 문제는 대개 성공 이후에 발생한다는 점을 명심해야 합니다.
20:32
예상보다 훨씬 빠르게 인기를 얻은
20:33
고객 피드백 앱의 사례를 살펴보겠습니다.
20:36
사용량은 일주일 만에 2배,
20:37
그 다음에는 3배로 증가했습니다.
20:39
한 달 안에 비용이 급증했습니다.
20:41
에이저 청구서로 인해 재예측을 해야 했고
20:43
해당 앱이 승인 없이 기밀 데이터를 AI 엔드포인트로
20:46
전송하고 있었다는 사실이 밝혀졌습니다.
20:48
임시 스크립트와 땜질식 처방이 도입되었지만
20:49
그때는 이미 상황이 급박하게 돌아가고 있었습니다.
20:51
우수센터, 센터 오브 엑셀런스, 프로세스가 있었다면
20:53
성장을 조기에 포착하고 검토를 강제할 수 있었을 것입니다.
20:56
모범 사례는 빠르게 쌓여갑니다.
20:57
항상 리소스에 태그를 지정하세요.
20:59
개념 증명, 폭, 단계에서도 예산이나 소프트캡을 설정하세요.
21:02
엔드포인트에 대한 액세스를 검토하고 감사하세요.
21:05
팀이 이동하고 역할이 진화함에 따라
21:07
누가 무엇에 연결할 수 있는지에 대한 목록이 변경됩니다.
21:09
어떤 흐름이 어떤 데이터를 전송하는지
21:11
그 이유는 무엇인지 문서화하세요.
21:13
이는 단순히 서류 작업을 위한 작업이 아닙니다.
21:15
이는 몇 주 또는 몇 달 후에
21:16
누군가가 시스템의 작동 방식과
21:18
경계가 어디인지 답변할 수 있게 해줍니다.
21:20
거버넌스는 한 번 설정하고
21:22
잊어버리는 단계가 아니라는 점을 중요하게 인식해야 합니다.
21:24
모델은 변경되고
21:25
비즈니스 로직은 변하며
21:26
개인정보 보호 규칙은 계속 발전합니다.
21:28
검토와 업데이트는 정기적으로 이루어져야 합니다.
21:31
탄탄한 거버넌스는
21:32
압박 속에서 사라지는 AI 기능과
21:34
비즈니스가 의존함에 따라
21:35
지속가능하게 성장하는 AI 기능의 차이를 만듭니다.
21:39
그리고 통제 장치가 마련되면
21:40
IT 및 비즈니스 리더는
21:42
확신을 가지고 확장하고
21:43
실험하며 혁신할 수 있게 됩니다.