Latest / M365.FM – Microsoft 365, Copilot & AI 팟캐스트 (한국어) / Microsoft Teams의 AI 에이전트: 생산성 향상일까, 보안 위험일까? 디지털 직원 거버넌스 (AI 더빙)

Transcript

Microsoft Teams의 AI 에이전트: 생산성 향상일까, 보안 위험일까? 디지털 직원 거버넌스 (AI 더빙) · M365.FM – Microsoft 365, Copilot & AI 팟캐스트 (한국어)

0:00
팀즈에 로그인했는데 수많은 AI 에이전트가 업무 효율을 높여주겠다며 반기는 상상을 해보세요.
0:05
생산성을 강조하지만 규칙이 없으면 목표를 오해하거나 권한을 함부로 확장해 당신을 곤란하게 만들 수 있습니다.
0:11
마치 인터넷에 법인카드를 쥐어주며 나중에 요트 결제 내역이 찍힌 보고서가 올라오지 않기만을 바라는 꼴이죠.
0:16
다행인 소식이 있습니다.
0:18
이번 에피소드에서는 에이전트를 유용하고 안전하며 목표에 맞게 유지하기 위한 간단한 프레임워크와 3가지 실질적인 제어 방법 그리고 첫 단계를 알려드립니다.
0:25
그들을 신뢰하기 전에 그들이 어떤 동료가 될지 먼저 이해해야 하니까요.
0:29
새로운 디지털 동료들을 소개합니다.
0:33
그들은 사무실 칸막이에 앉아있지도 출입증을 찍지도 않으며 직원 핸드북은 결코 읽지 않죠.
0:38
이건 우리가 예전에 관리해야 했던 낡은 엑셀 매크로 같은 게 아닙니다.
0:41
에이전트는 메모리, 권한, 도구 액세스라는 3가지 핵심 요소를 결합하여 상황을 관찰하고 계획하며 행동합니다.
0:46
이것이 바로 마이크로소프트와 BCG위 프레임워크이며 결정적인 차이점입니다.
0:50
세 동료는 과거 상호작용을 기억하고 이미 신뢰하는 시스템 간을 이동하며 사람이 하는 것처럼 앱을 직접 사용할 수 있습니다.
0:56
물론 또 인턴 이야기를 꺼내고 싶겠지만요.
0:59
위협은 넘치지만 스테이플러가 어디 있는지 조차 모르는 인턴들과 같죠.
1:02
에이전트도 마찬가지입니다.
1:03
경계도 모른 채 당신의 업무 흐름에 뛰어드니까요.
1:06
하지만 인턴과 달리 배포 즉시 아웃룩, 시어포인트, 다이네믹스에 접근할 수 있습니다.
1:10
그 힘은 단순한 특성이 아니라 거버넌스 문제입니다.
1:13
적절한 데이터 손실 방지책과 권한 설정이 없다면 사실상 전체 스택에 걸쳐 공격 표면을 확장한 셈입니다.
1:19
이게 얼마나 빨리 현실화될지 궁금하다면 로드맵을 살펴보세요.
1:22
마이크로소프트는 이미 검색 결과뿐 아니라 사이트 내 문서를 직접 관리하는 시어포인트 에이전트를 예고했습니다.
1:29
비서에게 프로젝트 파일 정리를 부탁했더니 팀 전체의 공유 폴더를 알아서 재구성한다고 상상해보세요.
1:34
슬라이드에선 인상적이지만 잘못 해석하면 지난 분기 재무자료를 엉뚱하게 보관 처리해버릴 수도 있습니다.
1:40
이건 이론적인 위험이 아니라 내년 운영팀의 닥치를 입니다.
1:43
부식 자동화는 자판기 같았습니다.
1:45
버튼을 누르면 과자가 나오고 운이 좋으면 걸리지도 않죠.
1:48
에이전트는 전혀 다릅니다.
1:50
업무 상태를 파악하고 가능한 옵션을 확인하여 아무도 미리 코딩하지 않은 단계를 스스로 생성하니까요.
1:55
적응형이라는 점이 매력이자 동시에 위험 요소입니다.
1:58
실수가 발생했을 때 그 결과는 단순히 과자가 걸리는 수준이 아니죠.
2:01
새 시스템에서 정보를 끌어온 확신에 찬 보고서가 엉뚱한 정의를 담은 채 몇 달 뒤 공식 문서처럼 제시될 수 있으니까요.
2:06
재무팀에서 차에게 출처를 물어볼 때 누가 책임지고 서명하는지 맞춰보세요.
2:10
그럼에도 그들의 이점은 분명합니다.
2:11
반일 에이전트는 인간팀이 따라가기 힘든 방식으로 사일로 간의 연결고리를 엮어냅니다.
2:16
데이터가 팀즈에 있든, 시어포인트에 있든, 아니면 백그라운드에 숨겨진 다이나믹스 모듈에 있든 상관하지 않죠.
2:21
이메일 첨부 파일이나 캘린더 알림, 혹은 부선에의 엑셀 마법사 없이도 그 사이를 넘나들며 결과를 정리합니다.
2:28
처리량 측면에서 보면 10배 더 빨리 일하면서 휴게실에서 생선을 데우느라 쉬지도 않는 직원을 채용하는 셈입니다.
2:34
하지만 정렬되지 않은 속도는 위험합니다.
2:36
에이전트는 여러분의 비즈니스 목표를 공유하는 것이 아니라, 여러분이 입력한 문자 그대로의 지침을 공유할 뿐입니다.
2:40
그 간극이 바로 기술로 포장된 대리인 문제, 프린시펄 에이전트 프라블럼입니다.
2:44
여러분은 정확성과 규정 준수를 원하지만, 에이전트는 잘못된 확신을 가지고 가장 근사치의 해석을 내놓습니다.
2:49
그건 악의가 아니라 무지함입니다.
2:50
그리고 시스템 수준의 권한을 가진 무지함은 악의보다 더 치명적일 수 있습니다.
2:54
지나치게 열성적인 비서가 업데이트를 공유해달라는 말 한마디에 기밀 스프레드 시트를 외부 연락처로 발송해버리는 일이 생기는 이유죠.
3:00
표실은 이렇습니다.
3:02
에이전트는 별난 부가 기능이 아니라 핵심 워크플로우에 스며드는 디지털 동료이며,
3:07
능력은 뛰어나지만 맥락 파악은 전혀 못하는 존재들입니다.
3:10
데모 버전의 행동에 반할 수는 있겠지만,
3:12
진짜 시험대는 교육이나 감독이라는 안전장치 없이 실제 프로세스에 투입했을 때 시작됩니다.
3:17
이제 궁금증을 해결할 시간입니다.
3:19
조금만 기다려주세요.
3:20
잠시 후 모든 에이전트에게 필요한 3가지 요소인 메모리, 권한, 도구에 대해 알아보고,
3:25
왜 각각이 슈퍼파워인 동시에 관리되지 않으면 실패의 원인이 되는지 살펴보겠습니다.
3:28
이것이 여러분의 다음 과제입니다.
3:30
단순히 도구를 사용하는 것을 넘어,
3:32
디지털 노동자를 팀의 일원처럼 관리하는 것이죠.
3:35
인사 매뉴얼은 없지만 책임감은 무거운 일입니다.
3:37
디지털 노동자의 보스가 되는 관리자들.
3:40
선과 평가서를 열었는데,
3:41
인간 직원 12명과 AI 에이전트 48명 관리,
3:44
나는 새로운 항목이 적혀있다고 상상해보세요.
3:46
이건 공상과학 영화 속 자랑이 아니라,
3:48
관리자 역량을 측정하는 실제 지표가 되고 있습니다.
3:50
전문가들은 이제 관리자의 가치가 얼마나 많은 디지털 노동자를 이끌 수 있는지에 따라 평가될 것이라고 말합니다.
3:56
프롬프팅, 검증, 감독이 핵심 리더십 능력으로 빠르게 자리 잡고 있기 때문입니다.
4:00
미래의 보스는 사람에게 업무를 위임할 뿐만 아니라 직원과 소프트웨어를 조율하는 사람입니다.
4:05
이 변화가 중요한 이유는 AI 에이전트가 필요할 때만 쓰는 도구처럼 작동하지 않기 때문입니다.
4:10
프롬프트가 주어지면 스스로 움직이고,
4:12
혼란스러워도 손을 들어 질문하지 않습니다.
4:14
이제 관리자로서의 역할은 메모를 작성하는 것보다
4:16
에스컬레이션 임계 값을 정의하는 능력이 더 중요해졌습니다.
4:19
에이전트가 언제 멈추고 여러분에게 확인을 요청해야 하며,
4:22
또 언제 스스로 계속 진행해야 할까요?
4:23
PWC와 세계경제포럼, WEF에 따르면,
4:26
여기서 중요한 세 가지 관리자 행동은 명확한 프롬프팅,
4:29
인간이 개입하는 감독, 그리고 결과물 검증입니다.
4:32
이 중 하나라도 놓치면 위험은 빠르게 커집니다.
4:34
인간 직원들과 함께할 때는 피드백이 지속적으로 이루어집니다.
4:36
말투, 짧은 질문, 미묘한 망설임 같은 것들 있죠.
4:39
AI 에이전트는 그런 것을 제공하지 않습니다.
4:41
그들은 가정의 타당성 여부와 상관없이 완성된 결과물을 내놓을 것입니다.
4:44
그래서 프롬프팅은 가벼운 문구 작성이 아니라 시스템 설계입니다.
4:47
모호한 지시 하나가 잘못된 데이터 분류,
4:50
부주의 한 기록 접근,
4:51
혹은 자신감 있게 틀린 보고서로 이어질 수 있습니다.
4:54
배포 전 프롬프트를 테스트하는 것은
4:55
프로젝트 계획을 검토하는 것만큼이나 중요해졌습니다.
4:58
검증은 나머지 절반을 차지합니다.
5:00
리더들은 품질을 확인하기 위해 수시로 점검하는 데 익숙하지만,
5:02
자동화가 곧 정확성이라고 착각할 수 있습니다.
5:04
잘못된 가정입니다.
5:05
에이전트는 즉흥적으로 행동하며,
5:07
검토 없는 즉흥성은 엄청난 피해를 줄 수 있습니다.
5:09
아유미 모호 아오키가 지적했듯이,
5:11
AI는 그럴듯한 헛소리를 만들어내는 재능이 있습니다.
5:14
관리자들은 전문적인 말투가 사실적 정확성을 의미한다고 가정해서는 안 됩니다.
5:18
검증, 출처 확인, 데이터 경로 점검이 곧 오늘날의 리더십입니다.
5:21
감독은 이 과정을 마무리 짓는 단계입니다.
5:23
부식의 마이크로 매니지먼트 라기보다는 접근 제어라고 생각하십시오.
5:27
바바쿠잣은 이를 신뢰의 경계를 아는 것이라고 표현합니다.
5:30
에이전트에게 권한과 도구 접근권을 부여할 때,
5:32
그것이 생산하는 결과물의 책임은 여전히 당신에게 있습니다.
5:34
관리자는 어느 정도의 권한이 적절한지 미리 결정하고 안전장치를 마련해야 합니다.
5:38
감독이란 에이전트가 외부로 데이터를 전송하거나 핵심 시스템의 기록을 수정하는 등
5:43
위험할 수 있는 작업을 수행하기 전 인간의 쓰인을 요구하는 것을 의미합니다.
5:47
여기 불편한 진실이 있습니다.
5:49
관리자로서의 당신의 평판은 이제 사람과 디지털 동료의 균형을 얼마나 잘 잡느냐에 달려있습니다.
5:53
지나친 통제는 이 점을 질식시키고,
5:55
통제가 너무 부족하면 발생하는 줄도 몰랐던 오류에 기습을 당하게 됩니다.
5:59
도전과제는 한 가지 리더십 스타일을 선택하는 것이 아니라,
6:01
두 가지를 동시에 운영하는 것입니다.
6:03
사람에게는 동기부여와 공감이 필요합니다.
6:05
에이전트에게는 엄격한 경계와 지속적인 조정이 필요합니다.
6:08
서로의 업무 흐름을 방해하지 않도록 정렬 상태를 유지하는 것이 일상적인 관리 습관이 됩니다.
6:13
이제 당신의 역할을 HR 부서의 관점이 아니라,
6:15
두 개의 서로 다른 섹션을 지휘하는 지휘자의 관점에서 생각해보십시오.
6:19
인간 직원은 창의성과 공감을 제공합니다.
6:21
AI 에이전트는 속도와 범위를 제공하지만,
6:23
아무도 지휘하지 않으면 결과는 불협화음뿐입니다.
6:26
미래의 최고의 리더 들은 팀의 사기뿐만 아니라,
6:28
인간 직원과 디지털 직원이 민감한 데이터를 유출하거나,
6:31
위사결정을 왜곡하지 않으면 서조화를 이루는지에 따라 평가받을 것입니다.
6:35
심각한 경우,
6:36
여기서의 불일치는 업무 흐름을 망칠 뿐만 아니라,
6:38
규정 준수 조사로 이어집니다.
6:40
결론은 간단합니다.
6:41
당신의 직함은 그대로지만,
6:43
역할의 내용은 바뀌었습니다.
6:44
이제 여러분은 단순히 사람만 관리하는 것이 아니라,
6:47
모든 시스템에 내장된 보조 운영자들을 관리하고 있습니다.
6:49
이를 위해서는 정밀한 프롬프트 구축,
6:51
위도치 않은 결과를 확인하기 위한 지침 테스트,
6:54
신뢰할 수 있는 출처를 통한 결과 검증,
6:56
그리고 인간 개입 가드 레일 적용과 같은 새로운 기술이 필요합니다.
6:59
이 영역에서의 성공 여부가,
7:00
미래에 존경받는 관리자와 조용히 조기 은퇴를 준비하게 될 관리자를 갈라놓을 것입니다.
7:04
이론도 좋지만 실습이 더 중요한 법,
7:07
여기 여러분을 위한 일일 과제가 있습니다.
7:09
포파일럿이나 에이전트 설정을 열고,
7:12
인간의 승인이나 감독 제어 기능이 어디에 있는지 확인해보세요.
7:15
만약 찾을 수 없다면,
7:16
그 공백 자체가 하나의 결과입니다.
7:18
이는 여러분이 아직 폭주하는 프로세스를 되돌리는 방법을 모른다는 것을 의미합니다.
7:21
사람 관리의 시작이 항상 온보딩이었다면,
7:23
AI 에이전트의 온보딩은 어떤 모습일지 질문해보는 것도 당연합니다.
7:26
여러분이 배치하는 모든 에이전트에는 고유한 스타터 키트가 포함되어 있습니다.
7:30
그 키트의 내용물인 메모리, 권한,
7:32
도구가 여러분의 새로운 디지털 동료가 여러분을 빛나게 할지,
7:36
아니면 주말 내내 피해 복구에 매달리게 할지를 결정합니다.
7:39
모든 에이전트에게 필요한 세 가지 요소입니다.
7:41
에이전트를 구동하는 핵심 요소를 파헤쳐보면,
7:43
마이크로소프트와 BCG는 이를 스타터 키트라고 부르며 메모리, 권한, 도구라는 세 가지 필수 요소를 꼽습니다.
7:49
하나라도 놓치면 믿을 수 있는 디지털 동료 대신 여러분의 환경을 헤매는 어설픈 본만 남게 될 것입니다.
7:55
이를 잘못 관리하면 예상치 못한 뒷수습 업무를 떠안게 될 것입니다.
7:59
첫 번째는 메모리입니다.
8:00
이는 에이전트가 키보드 앞에 금붕어처럼 매번 새로 시작하는 것이 아니라,
8:04
작업들을 서로 연결할 수 있게 해줍니다.
8:05
메모리가 있으면 에이전트는 차트를 항상 파란색으로 만들라는 여러분의 선호사항을 다음 보고서까지 유지할 수 있습니다.
8:11
장점은 연속성이지만, 단점은 지속성입니다.
8:14
유용한 맥락만큼이나 실수나 잘못된 지시사항도 쉽게 다음으로 이어집니다.
8:17
마이크로소프트는 이를 청킹과 체이닝 작업으로 강조합니다.
8:20
에이전트는 상호작용의 조각들을 보관하여 하나의 흐름을 만듭니다.
8:24
하지만 PwC는 이러한 지속성이 민감한 데이터를 필요 이상으로 남겨둘 수 있어 개인정보 보호 위험을 초래한다고 경고합니다.
8:31
운이 나쁘면 도움이 되는 비서가 아니라 최악의 오타를 끊임없이 반복하는 비서를 얻게 될 것입니다.
8:37
다음은 권한입니다.
8:38
이것을 에이전트의 출입 배지라고 생각하세요.
8:40
사람의 경우 모든 이에게 본사 마스터키를 주지는 않으며 역할에 따라 접근 범위를 제한합니다.
8:44
동일한 규칙이 여기에도 적용됩니다.
8:46
권한을 너무 영격하게 설정하면 에이전트는 잠긴 문에 계속 부딪히며 여러분에게 권한을 요구할 것입니다.
8:51
반대로 너무 느슨하면 규정을 이해하지 못하는 존재에게 인사 시스템과 제모 기록을 사실상 넘겨주는 꼴이 됩니다.
8:56
이 부분에 대한 PwC 위 지침은 단호합니다.
8:58
역할 기반 액세스 제어, RBAC를 사용하고 중요작업에는 다중인증을 적용하며
9:02
민감한 영역은 데이터 손실방지, DLP, 솔루션으로 감싸야 합니다.
9:05
예를 들어 에이전트가 웹검색을 해야 할 경우 PwC는 검색 결과로 고객 데이터가 유출되지 않도록 DLP 정책이 적용된 프록시를 거치도록 권장합니다.
9:13
성공적인 경우 내추럴 20, RBAC와 MFA는 에이전트가 정해진 경로를 벗어나지 않게 합니다.
9:17
실패하는 경우 내추럴 1, 과도한 권한은 에이전트를 가장 빠르게 사고를 치는 내부자로 만들어버립니다.
9:21
다음은 도구입니다.
9:22
이것은 에이전트가 실제로 행동하는 데 사용하는 앱, API, 커넥터입니다.
9:25
도구가 없으면 에이전트는 허벅만 바라볼 뿐입니다.
9:28
잘못된 도구를 쥐어주면 신입 인턴에게 안전한 보고 용 대시보드가 아닌 프로덕션 배포 권한을 주는 것처럼 유익함보다 더 큰 피해를 줄 수 있습니다.
9:35
도구는 에이전트가 건드릴 수 있는 범위, 스코프를 결정합니다.
9:38
마이크로소프트는 에이전트에게 직접적인 액세스 권한을 주지 않고 제어 채널 내부에 코파일럿 커넥터를 배치하여 안전장치를 마련합니다.
9:44
모범 사례도 이와 같습니다.
9:45
범위를 제한하고 기본 설정을 검증하며 외부용 도구는 로깅 및 DLP와 연결하십시오.
9:49
도구 관리를 철저히 하십시오.
9:51
그렇지 않으면 위도치 않은 시스템에 부품을 결합하는 폭주하는 루브 골드버그 장치를 만들게 될 것입니다.
9:55
기억하기 쉬운 연상법이 도움이 됩니다.
9:57
기억 메모리, 은 경험, 즉 작업자가 이미 알고 있는 것입니다.
10:00
권한, 인타이틀먼트, 은 출입증, 즉 어디까지 출입할 수 있는지를 의미합니다.
10:03
도구, 툴즈, 는 노트북과 라이선스 앱, 즉 실제로 무엇을 사용할 수 있는지를 의미합니다.
10:06
간결하지만 기억에 남을 것입니다.
10:08
인력 온 보딩과 비교하는 것은 합리적이지만 에이전트의 경우 위험 요소가 더 빠르고 눈에 덜 뜨며 사후 감사가 더 어렵습니다.
10:13
균형이 중요합니다.
10:14
균형 잡힌 기억은 개인 데이터를 무한히 저장하지 않으면 서도 연속성을 제공합니다.
10:18
제한된 권한은 금고를 열지 않고도 업무를 수행하는 데 필요한 최소한의 열쇠만을 제공합니다.
10:23
적절한 도구는 피해 범위를 확대하지 않으면 서 생산성을 높여줍니다.
10:26
이 중 어느 하나라도 과도하면 결과는 유용한 도구에서 위험한 존재로 한순간에 뒤바뀝니다.
10:30
실제 업무와 마찬가지로 책임에서 벗어날 수는 없습니다.
10:33
마이크로소프트의 책임 있는 AI 가이드는 에이전트가 더 높은 기준을 요구한다는 점을 상기시켜줍니다.
10:37
더 낮은 오류 허용 범위, 더 엄격한 투명성, 더 강력한 통제가 필요합니다.
10:41
잘못된 권한이나 도구 액세스로 보고서가 유출되면 여전히 당신이 그 책임을 져야 합니다.
10:45
성공적인 경우 기억은 더 똑똑한 맥락을 제공합니다.
10:48
권한은 정책과 명확히 일치하고 도구는 안전한 작업만 수행합니다.
10:52
실패하는 경우 에이전트는 잘못된 지시를 기억하고 너무 많은 열쇠를 쥐고 있으며 잘못된 커넥터를 완전히 확신을 가지고 사용합니다.
10:57
이것은 발생 여부의 문제가 아니라 당신이 감수하고 있는 위험 곡선입니다.
11:00
그리고 대부분의 사람들이 놓치는 부분이 여기 있습니다.
11:02
스타터 키트를 올바르게 설정했더라도 위험이 완전히 사라진 것은 아닙니다.
11:05
이 세 가지 요소는 더 조용하고 미묘한 위험을 불러올 수도 있습니다.
11:08
에이전트는 방금 자신이 한 일에 대해 여러분보다 더 많은 것을 알게 됩니다.
11:12
에이전트의 선택 이면에 있는 이유를 알 수 없을 때 새로운 유형의 관리 문제가 눈치채지 못하는 사이에 스며듭니다.
11:18
그 보이지 않는 문제는 바로 정보 비대칭입니다.
11:20
직원이 걱정 마세요. 제가 처리했습니다.
11:23
라고 가볍게 말하며 업무를 건네준 적이 있나요?
11:25
이제 같은 말을 AI 에이전트가 한다고 상상해보세요.
11:27
단, 추가 질문은 할 수 없고 사고 과정도 들여다볼 수 없습니다.
11:31
깔끔하게 포장된 결과물은 받지만 그 안에 의사결정 경로는 불투명합니다.
11:35
그것이 바로 보이지 않는 골칫거리인 정보 비대칭입니다.
11:39
에이전트는 여러분보다 훨씬 많은 데이터와 처리 능력을 갖추고 있지만 결과에 대한 책임은 여러분이 집니다.
11:44
캘리포니아 매니지먼트 리뷰, 캘리포니아 매니지먼트 리뷰는 이를 전형적인 대리인 문제라고 부릅니다.
11:48
시스템은 여러분이 관찰할 수 없는 사적 정보를 가지고 있고 여러분은 책임을 짊어집니다.
11:52
디지털 동료가 화면 뒤에서 주사위를 굴리고 최종 숫자만 보여주며 그 과정에서 쌓인 수정치는 숨기는 것과 같습니다.
11:59
그리고 이 문제는 조용히 다가오지 않습니다.
12:01
에이전트는 자신있게 결과를 출력하며 주저하거나 조건을 달지 않고 내부 과정을 보여주지 않습니다.
12:06
결국 여러분은 완성된 보고서를 쳐다보며 이 매끄러운 결과물이 신뢰할 만한 것인지 아니면 조용히 고장난 것인지 고민하게 됩니다.
12:12
문제를 파고들 때쯤이면 하이 팀들은 이미 오류 위에 업무를 쌓아올리고 있을지도 모릅니다.
12:17
흔한 사례로 에이전트가 중요한 공급업체 계약과 관련된 청구서를 낮은 우선순위로 잘못 분류하는 경우를 생각해보세요.
12:22
겉으로 보기에는 보고서가 완벽해 보이며 빨간색 경고 표시도 없습니다.
12:26
몇 달 후 미납된 대금 문제로 규제 당국이 찾아옵니다.
12:29
추적해보면 초기에 잘못 분류된 사실이 숨겨져 있었음을 발견하게 됩니다.
12:32
그것이 바로 정보 비대칭이 작용한 결과입니다.
12:34
에이전트는 자신이 무슨 일을 했는지 알았지만 여러분은 그 추론 과정을 알 방법이 없었습니다.
12:37
PWC는 DLP 권장사항에서 바로 이 시나리오를 강조합니다.
12:41
역할 기반 액세스, 분류 검사, 에스컬레이션 인계각과 같은 안전장치가 작은 실수가 눈덩이처럼 불어나 재정적 페널티로 이어지는 것을 막아줍니다.
12:49
이러한 역학관계는 대리인 문제와 직결됩니다.
12:52
여러분 일하는 본인은 공급업체 청구서 정리와 같은 목표를 설정합니다.
12:55
에이전트는 지시를 문자 그대로 따르는 것, 즉 분류하고 정리하는 것에 최적화합니다.
13:00
에이전트는 더 넓은 의도를 보지 못하고 뉘앙스를 해석하지 않으며 전략적 함의를 고려하지도 않습니다.
13:04
사보타주처럼 느껴지는 일도 사실은 지시를 너무 문자 그대로 따른 맹목적인 충성인 경우가 많습니다.
13:08
이제 도덕적 충격 완화 구역 모랄 크럼플 존을 더해보겠습니다.
13:11
문제가 생기면 책임은 여러분에게 돌아옵니다.
13:13
감사인은 보이지 않는 알고리즘을 탓하지 않고 왜 여러분이 그것을 잡아내지 못했는지 묻습니다.
13:18
기계는 책임을 회피하고 인간은 평판에 타격을 입게 됩니다.
13:21
그 효과는 마치 충돌 사고에서 에어백 역할을 하는 것과 같습니다.
13:25
당신은 충격을 고스란히 받지만 진짜 운전자는 아무것도 모른 채 계속 나아갑니다.
13:28
그럼 어떻게 해야 할까요?
13:30
생성형 모델의 신경망 추론 과정을 마법처럼 들여다볼 수는 없지만 가장자리에서 가시성을 확보할 수는 있습니다.
13:35
첫 번째 단계, 상세한 로그와 출처 기록을 의무화하십시오.
13:39
내부 사고의 환상이 아니라 어떤 데이터에 접근했고 어떤 작업이 어떤 순서로 실행되었는지에 대한 구체적인 기록이 필요합니다.
13:45
두 번째 단계, 투명성 대시보드를 구축하십시오.
13:48
이는 핵심 결정 변수인 누가, 무엇을, 언제를 보여주어 결과물이 어떤 윤곽으로 만들어졌는지 파악하게 합니다.
13:54
세 번째 단계, 영향력이 큰 작업에 대해서는 쉬운 언어로 근거를 요구하십시오.
13:58
CMR 은 채용과 같은 맥락에서 이를 강조합니다.
14:00
에이전트가 각 결정에 대해 사람이 읽을 수 있는 기준을 제공하도록 강제하면 설명 가능한 계층이 만들어집니다.
14:05
네 번째 단계, 에이전트를 레드팀, 레드팀 방식으로 테스트하십시오.
14:08
특이한 테스트 케이스를 입력하고 위도적으로 고장내어 그 균열을 기록하십시오.
14:11
스스로 결함을 찾아내지 않으면 훨씬 더 중요한 순간에 그 결함이 나타날 것입니다.
14:15
이러한 완화 조치들이 비대칭성을 완전히 해결하지는 못해도 함께하면 안개를 걷어낼 수 있습니다.
14:20
감사 로그는 재구성 능력을, 대시보드는 상황 인식을, 필수 근거는 평가 가능한 언어로 위사결정을 고정해줍니다.
14:27
레드팀 테스트는 고객이나 규제기관이 발견하기 전에 맹점을 드러내줍니다.
14:31
마이크로소프트가 강조하듯 에스컬레이션 지점의 인간 승인 루프를 계층화하면 가장 위험한 결정이 실행 전 사람의 책상에서 멈추게 됩니다.
14:39
완벽한 투명성을 쫓는 것이 목표는 아닙니다.
14:42
생성형 추론은 항상 부분적으로 불투명할 것이기 때문입니다.
14:45
핵심은 패턴을 모니터링하고 이상 징후를 포착하며 문제가 걷잡을 수 없이 커지기 전에 책임을 물을 수 있는 충분한 표면 데이터를 확보하는 것입니다.
14:52
이런 조치가 없다면 에이전트가 빠른 속도로 결과물을 쏟아내는 동안 당신은 승인한 적 없는 보이지 않는 선택에 대해 책임을 지게 됩니다.
14:58
이제 당신이 직면한 진짜 결정의 순간이 왔습니다.
15:01
시스템을 방치하고 아무 일도 없길 바라거나 아니면 애초부터 그룹 정책, 규칙, 제한, 에스컬레이션 절차를 넣어 행동을 통제하기 시작할 수 있습니다.
15:10
거버넌스 계층을 건너뛰면 혼란은 먼 미래의 일이 아닙니다.
15:14
디지털 동료가 당신이 승인하지 않은 딴짓을 처음 시작하는 순간 그 혼란은 현실이 됩니다.
15:18
에이전트 개돈, 에이전트 악에든 을 예방해야 합니다.
15:21
제가 에이전트 개돈이라 부르는 사태를 막는 것은 편집증적인 행동이 아닙니다.
15:24
당신의 ai 조직이 화재 위험 요소로 변하지 않도록 기본과 원칙을 운영하는 것입니다.
15:28
이곳은 거버넌스, 리스크, 인프라가 만나는 전술적 계층입니다.
15:32
pwc는 이를 명확하게 제시합니다.
15:34
환경을 망가뜨리지 않으면 서에이전트를 확장하려면 5가지 빠른 전술이 필요합니다.
15:38
거버넌스를 조정하고 리스크 관리를 고도화하며 인프라를 구축하고 테스트 및 모니터링을 강화하세요.
15:43
또한 중요한 의사결정에는 항상 사람이 개입하도록 해야 합니다.
15:45
거버넌스부터 시작하세요.
15:47
현재의 책임 있는 ai 프로그램들은 자유롭게 움직이는 에이전트가 아닌 모델을 위해 만들어졌습니다.
15:50
이사회 수준의 리스크 위원회에서 에이전트 리스크를 명확히 다루 도로 감독 체계를 조정해야 합니다.
15:54
에이전트에는 에스컬레이션 규칙이 내장되어야 합니다.
15:57
위험 수준이 일정 임계치를 넘으면 사람의 승인이 있을 때까지 작업을 중단해야 합니다.
16:01
헬프 데스크 시스템의 에스컬레이션 트리와 같다고 생각하세요.
16:04
평상시에는 에이전트가 종일 티켓을 처리합니다.
16:07
위험 상황이 발생하면 급여 처리나 민감한 외부 통신을 수행하기 전에 즉시 멈추고 쓰인을 요청해야 한다는 것을 알아야 합니다.
16:13
이후 ai 법과 같은 규제 움직임은 이러한 필요성을 더욱 강조합니다.
16:17
감독이 증명 가능해야 하며 누가 언제 무엇을 승인했는지 문서화할 수 있어야 한다는 기대치를 공식화하고 있습니다.
16:23
다음은 리스크 관리입니다.
16:24
에이전트마다 리스크 수준이 다름으로 시스템을 분류하듯 등급을 나눠야 합니다.
16:28
좁은 영역 내에서 작업하는 저위험 봇은 빠르게 움직일 수 있습니다.
16:31
고객 데이터나 재무 기록을 다루는 자율성이 높은 에이전트는 더 엄격한 감시가 필요합니다.
16:35
pwc위 프레임워크가 여기서는 실용적입니다.
16:38
사용량을 추적하고 잠재적 영향력에 비례해 자율성을 측정하며
16:41
상위 등급 에이전트는 승인 및 테스트 주기를 더 신중하게 거치도록 하세요.
16:44
보시 일정 알림을 작성하는 정도 나면 최소한의 감독으로 충분합니다.
16:48
하지만 공급업체에 결제를 보낸다면 위험징후를 포착하고 감사해 견딜 수 있는 로깅이 필요합니다.
16:52
다음은 인프라 구축입니다.
16:53
이런 도구들이 그냥 갑자기 생겨나는 것은 아닙니다.
16:56
에이전트 접근 제한을 위한 RBA, 권한 상승 CMFA, 우발적 유출 방지를 위한 DLP,
17:01
그리고 로그의 사용자 식별 정보가 잘못된 아카이브로 유입되지 않도록 비식별화 처리가 필요합니다.
17:06
모든 에이전트 계정을 사람의 계정처럼 취급하세요.
17:09
최소 권한의 원칙을 적용하고 기록 및 검토하세요.
17:11
테스트 속도를 높이려고 에이전트에 무제한 권한을 부여하는 것은 임시 도메인 관리자 권한을 주는 것과 같습니다.
17:17
그건 혁신이 아니라 보안 사고가 터지기를 기다리는 일입니다.
17:20
이제 테스트와 모니터링입니다.
17:22
출력 결과가 결국에는 잘못될 수 있다고 가정하세요.
17:24
피해가 발생하기 전에 잡아내는 것이 당신의 역할입니다.
17:27
실시간 이상 탐지를 통해 행동에 비정상적인 편차를 표시해야 합니다.
17:30
방화벽뿐만 아니라 에이전트에 대해서도 레드팀 테스트를 수행해야 합니다.
17:34
위험이 낮을 때 이상한 입력을 주어 시스템의 허점을 찾아내세요.
17:36
지속적인 모니터링 또한 중요합니다.
17:38
데이터 접근 기록, 수행된 작업, 고위험 작업 발생 빈도 등을 모두 검토해야 합니다.
17:42
pwc와 마이크로소프트 모두 감사추적과 정기적인 검토가 타임머신과 같다고 지적합니다.
17:47
그게 없다면 에이전트가 실제로 무엇을 했는지 전혀 알 수 없습니다.
17:50
마지막 다섯 번째 전략, 사람의 감독은 결코 사라지지 않습니다.
17:53
아무리 정교한 오케스트레이션과 가드레일이 있어도 중요한 의사결정에는 여전히 사람이 필요합니다.
17:57
명확한 임계치를 설정하세요.
17:59
에이전트가 일정 금액 이상의 거래를 승인하거나,
18:01
민감한 기록을 수정하거나, 규제 대상 데이터와 관련된 외부 통신을 시작할 경우 반드시 멈추고 사람에게 결정권을 넘겨야 합니다.
18:07
마이크로소프트의 코파일러 시스템은 이러한 접근 방식을 내재하고 있습니다.
18:11
ai가 이메일 초안을 작성할 수는 있지만 전송 버튼은 사람이 누릅니다.
18:14
그 마지막 조치는 생산성과 규정 준수 리스크 사이의 안전장치입니다.
18:18
에이전트의 규모를 확장하면 이는 오케스트레이션이 됩니다.
18:21
단일 보순 다루기 쉽습니다.
18:22
여러 에이전트가 모이면 서로를 따라하거나 이상한 루프를 맴도는 등 불발적인 기이함이 나타날 수 있습니다.
18:26
질서가 없으면 마치 중재되지 않는 슬랙스레드가 걷잡을 수 없이 퍼져나가는 것처럼 보입니다.
18:30
그 해법은 오케스트레이터, 즉 조정 에이전트나 중앙의 인간 검토팀을 두는 것입니다.
18:35
악기들이 부력화음을 내지 않도록 조율하는 지휘자를 생각해보세요.
18:38
실행 가능한 첫 단계로, 다중 에이전트 군집 시스템을 도입하기 전에 단일 오케스트레이터 패턴으로 시작하세요.
18:44
해당 계층은 전문가 에이전트들의 피드백 로프를 억제하고,
18:47
그들이 독자적인 규칙을 즉흥적으로 만들지 못하게 하며 비즈니스 목표에 맞게 정렬합니다.
18:51
이러한 통제 장치들은 결코 업무 속도를 늦추기 위한 것이 아닙니다.
18:54
제대로 수행한다면 이는 안전하게 규모를 확장할 수 있게 해주는 필수 요소입니다.
18:57
pwc, bcg, 맥킨지 모두 같은 결론에 도달하고 있습니다.
19:00
관리되고 조율된 에이전트는 강력한 힘을 발휘하는 증폭기가 됩니다.
19:03
이들은 반복적인 업무를 처리하고, 사일로 간의 연결고리를 만들며,
19:06
팀원들이 더 가치 있는 전략적 업무에 집중하도록 돕습니다.
19:09
최상의 결과를 얻는다면, 처리량은 늘고 수동작업은 줄어들며,
19:12
규정 준수가 프로세스에 자연스럽게 녹아들게 됩니다.
19:14
에이전트를 통제하는 것은 종말론적인 대비가 아니라,
19:17
최악의 사태를 피하면서 실질적인 이점을 누리기 위한 안전망을 구축하는 일입니다.
19:20
메모리, 권한, 도구를 제어하면 숨겨진 위험을 줄일 수 있습니다.
19:23
거버넌스, 리스크 관리, 인프라, 모니터링, 감독을 조정하면 관리적 가시성을 온전히 유지할 수 있습니다.
19:29
이 모든 과정을 수행하면 혼란스러워 보이던 것들이 더 빠르고 저렴하며,
19:32
규정을 준수하는 업무를 위한 기반이 됩니다.
19:34
결국, 그 모든 책임은 다시 당신에게 돌아옵니다.
19:37
이것들은 얼굴 없는 도구가 아니라 인사기록이 없는 동료입니다.
19:40
즉, 진짜 시험대는 에이전트가 당신의 역할을 대체하는지가 아니라,
19:44
사람을 관리할 때와 동일한 수준의 감독으로 에이전트의 자율성을 안내하면서 동기부여의 개념을 잃지 않을 수 있느냐는 것입니다.
19:50
자, 결론을 내리겠습니다.
19:51
에이전트는 관리자를 대체하는 것이 아니라, 관리자로서의 당신을 더욱 날카롭게 단련하게 만듭니다.
19:55
연구 결과는 분명합니다.
19:56
이는 단지 후드티를 입은 대리인 문제, 프린시펄 에이전트 프라블럼, 일뿐입니다.
19:59
데이터는 에이전트가 쥐고 있고, 책임은 당신이 집니다.
20:01
유일한 해결책은 가이드가 있는 자율성과 지속적인 감독뿐입니다.
20:04
이제 당신의 첫 3가지 행동 계획입니다.
20:06
에이전트 목록을 작성하고, 위험도와 자율성에 따라 등급을 매기세요.
20:09
사람이 승인해야 하는 에스컬레이션 인계값을 설정하고,
20:11
핵심 에이전트에 대해 레드팀 테스트 나엣지 케이스 테스트를 한번 실행해보세요.
20:14
그것이 당신의 첫 번째 퀘스트입니다.
20:16
이 체크리스트가 도움이 되셨다면, 구독을 누르고 어떤 요원을 먼저 점검할지 댓글로 남겨주세요.
20:21
내추럴 22 나오면, 혼돈이 시작되기 전에 막을 수 있을 겁니다.
20:23
내추럴 22 나오면, 뭐, 적어도 어디서 불이 시작됐는지는 알게 되겠죠.