Latest / M365.FM – Microsoft 365, Copilot & AI 팟캐스트 (한국어) / 프롬프트 인젝션과 AI 거버넌스: Microsoft 365와 Power Platform 워크플로를 보호하는 방법 (AI 더빙)

Transcript

프롬프트 인젝션과 AI 거버넌스: Microsoft 365와 Power Platform 워크플로를 보호하는 방법 (AI 더빙) · M365.FM – Microsoft 365, Copilot & AI 팟캐스트 (한국어)

0:00
직원들의 일상 업무 관리를 돕기 위해 책봇을 배포했는데
0:02
몇 분 만에 고객에게 편향되거나 오해의 소지가 있거나
0:05
전혀 도움이 되지 않는 조치를 제한하기 시작한다고 상상해보세요.
0:08
이는 공상과학 소설 속의 공포가 아니라
0:10
책임 있는 AI를 위한 안전장치가 없을 때 실제로 발생하는 일입니다.
0:13
책임 있는 AI는 공정성, 투명성, 개인정보 보호 및 책임성에 중점을 둡니다.
0:18
이는 디지털 조종사를 위한 안전벨트와 같습니다.
0:21
실제로 이를 운영에 적용하면 위험을 줄일 수 있습니다.
0:23
그렇지 않으면 어떻게 될까요?
0:24
규정 위반, 고객 불신, 그리고 경영진의 공황 상태로 이어질 수 있습니다.
0:27
이 세션에서는 프롬프트 조입 실패 사례를 시연하고
0:32
파워 플랫폼 및 마이크로소프트 365 워크플로 내에서 적용할 수 있는 거버넌스 단계를 보여드리겠습니다.
0:35
이러한 위험은 멀리 있는 것이 아닙니다.
0:37
AI 도우미가 스크립트를 벗어나는 순간부터 위험이 시작됩니다.
0:41
예를 들어 일정 관리를 위해 일정 도우미를 배포했다고 가정해보겠습니다.
0:45
이 도우미는 회의 시간을 조정하고 긴급 메모를 표시하고 혼란을 방지해야 합니다.
0:49
하지만 대신 특정 동료를 편애하고 중요한 동료를 조용히 초대해서 제외하기 시작합니다.
0:54
더 나쁜 경우는 관리자의 중요한 메시지를 디지털 스팸 메일처럼 숨겨버리는 것입니다.
0:59
믿을 수 있는 시간 관리 기능을 원했는데
1:00
마치 아무도 승인하지 않은 규칙을 멋대로 만들어내는 괴짜 선언처럼 느껴집니다.
1:04
그 보조 기능을 바다 위의 배에 비유해보세요.
1:07
배는 반짝거리고 엔진은 힘차게 돌아가지만
1:09
항해 시스템이 없으면 안개 속에서 앞을 보지 못하고 표류할 뿐입니다.
1:13
안전장치가 없는 AI는 바로 그런 존재입니다.
1:16
방향 없는 움직임, 나침반 없는 추진력,
1:18
일반적인 오류는 눈의 가시 같지만
1:20
진짜 위험은 누군가 조종관을 잡을 때 발생합니다.
1:23
바로 여기서 프롬프트 인젝션이 등장합니다.
1:26
이는 마치 배에 몰래 올라 탄악당 선장이 공식적인 것처럼 들리는 명령을 슬쩍 끼워 넣어
1:29
배의 항로를 완전히 바꿔버리는 것과 같습니다.
1:31
요청 속에 숨겨진 작은 문구 하나가
1:33
정중한 스케줄 관리 담당자를 정보 유출,
1:35
편견 퍼뜨리기, 혹은 엉터리 소리만 하게 만들 수 있습니다.
1:37
이는 공상과학 소설이 아니라 전문가들이 프롬프트 인젝션이라고 부르는
1:40
실제로 존재하는 적대적 입력 위험입니다.
1:42
공격자들은 정교하게 조작된 텍스트를 사용하여 안전 규칙을 우회하고
1:45
시스템은 파괴 공작원과 신뢰할 수 있는 사용자를 구분하지 못하기 때문에 규칙을 따릅니다.
1:50
이러한 현상이 발생하는 이유는 다음과 같습니다.
1:52
대부분의 기본 모델은 형식이 제대로 갖춰진 모든 명령을 유효한 것으로 간주합니다.
1:56
안전장치가 없으면 동기나 의도를 감지하지 못합니다.
1:59
조직에서 안전장치, 안전필터, 그리고 사람의 개입을 통한 검증 절차를 추가하지 않는 한
2:03
AI는 복종하도록 설계된 기계처럼 명령에 충실히 따릅니다.
2:06
회의 요약을 요청하고 그 요청에 비공개 회의로 파일을 출력하라는 내용이 포함되어 있더라도
2:11
AI는 두 가지를 똑같이 처리합니다.
2:13
윤리적 인측면을 고려하지 않고 기만 행위를 의심하지도 않습니다.
2:16
세관 비유가 적절합니다.
2:18
마치 승인된 것으로 표시된 위조 서류로 검문소를 통과하는 것과 같습니다.
2:21
안전장치는 존재하지만 항상 충분하지는 않습니다.
2:24
교묘한 텍스트는 규칙을 속여 넘어갈 수 있습니다.
2:26
게다가 출력 결과는 비결정적이며
2:28
두 번 다시 같은 결과가 나오지 않기 때문에 위험성은 더욱 커집니다.
2:31
공격자는 마치 주사위를 굴려 원하는 결과가 나올 때까지
2:33
모델이 원하는 응답을 내놓을 때까지 계속해서 탐색할 수 있습니다.
2:36
따라서 사용자를 위해 만들어진 비서가 눈 깜짝할 사이에 광대로 변할 수 있습니다.
2:40
1분 전에는 일정을 잡아주다가 다음 순간에는 구직 지원 기준을 멋대로 만들거나
2:44
민감한 정보를 부적절한 맥락에 노출할 수 있습니다.
2:46
유용한 기능에서 혼란스러운 기능으로의 전환은 점진적으로 이루어지는 것이 아니라
2:50
순식간에 일어나기 때문에 관리 감독이 매우 중요합니다.
2:52
피해는 한 사람의 이메일 수신함에만 그치지 않습니다.
2:55
잘못된 출력은 인간의 실수보다 훨씬 빠른 속도로 워크플로 전체에 파급됩니다.
2:59
잘못된 제한 하나가 연쇄 반응을 일으키고
3:00
잘못된 조언이 의사결정에 영향을 미치며
3:02
잘못된 라벨이 잘못된 정보와 편향된 정보를 기계의 속도로 확산시킵니다.
3:06
감독이 없다면 하나의 장난스러운 메시지가 전체 시스템에 큰 파장을 일으킬 수 있습니다.
3:09
하지만 피해를 완화하는 것은 가능하며
3:11
단순히 희망사항에 의존할 필요가 없습니다.
3:13
서비스 제공업체와 기업들은 이미 다층적인 방어체계,
3:16
자동필터, 강화학습 규칙,
3:18
그리고 오류를 검토하는 인간 검토자를 활용하고 있습니다.
3:20
예를 들어, TL은 새로운 보조조종사를 실제 사용자나 데이터에 노출하기 전에
3:25
영향권 내에 격리된 감사가능한 환경인
3:28
벽으로 둘러싸인 정원에서 테스트할 것을 권장합니다.
3:31
여기에 사람이 지속적으로 시스템의 취약점을 탐색하는
3:34
레드팀 활동을 병행하면 완충장치를 만들 수 있습니다.
3:37
자동화된 안전장치가 핵심적인 역할을 하지만
3:39
사람이 직접 검토에 참여하면
3:41
간단한 규칙이 실패할 때에도 모델이 제대로 작동하는지 확인할 수 있습니다.
3:44
핵심은 관찰, 테스트, 검토, 격리입니다.
3:48
키를 잡지 않고 방치하면 AI는 자극에 따라 제멋대로 항해하게 됩니다.
3:52
하지만 감독을 강화하면 재앙이 발생할 가능성을 줄일 수 있습니다.
3:55
배의 비유가 이를 잘 보여줍니다.
3:57
누군가 나침반을 확인할 때만 방향을 제시할 수 있습니다.
4:00
그리고 이것이 다음 과제로 이어집니다.
4:02
침입자를 막고 온라인 필터를 적용하더라도
4:05
또 다른 문제가 발생합니다.
4:06
바로 시스템 자체에 내재된 예측 불가능성입니다.
4:10
이는 고의적인 방해 때문이 아니라
4:11
모델이 해답을 도출하는 방식 때문입니다.
4:14
결정론적 대 비결정론적
4:16
숨겨진 스위치
4:18
상상해보세요.
4:19
계산기에 E 플러스 E를 입력했는데
4:21
예상했던 4 대신 40이라는 결과가 나온다면 어떨까요?
4:25
이상하죠?
4:26
우리가 멍하니 바라보는 이유는
4:27
계산기가 철저한 결정론에 기반하여 만들어졌기 때문입니다.
4:29
똑같은 입력을 1000번 입력해도 매번 같은 결과가 나옵니다.
4:33
바로 그 예측 가능성이 계산기의 핵심입니다.
4:35
이제 최신 인공지능 도구들을 살펴보세요.
4:37
이들은 항상 같은 결과를 내놓지 않습니다.
4:39
출력값이 다양하게 나타납니다.
4:41
때로는 영리하거나 통찰력 있는 결과가 나오기도 하고
4:43
때로는 엉뚱한 결과가 나오기도 합니다.
4:45
바로 여기에 숨겨진 스위치가 있습니다.
4:46
결정론적 행동과 비결정론적 행동의 차이입니다.
4:49
스프레드 시트 나규칙 기반 수식처럼
4:51
결정론적 시스템에서는 결과가 절대 변하지 않습니다.
4:53
월요일에 7을 입력하든
4:54
토요일에 7을 입력하든 기계는
4:56
항상 같은 결과를 내놓습니다.
4:57
감정기복이나 창의성이 전혀 없습니다.
5:00
마치 기계적인 충성심처럼
5:01
똑같은 동작을 반복합니다.
5:03
비결정론적 모델은
5:04
이와는 다르게 작동합니다.
5:05
프롬프트를 제공하면
5:06
정해진 경로를 따라가는
5:08
대신 다양한 가능성을 탐색합니다.
5:10
이러한 샘플링과 확률 과정,
5:12
모델 업데이트,
5:13
심지어 데이터 드리프트까지 더해져
5:15
결과물이 다양하게 나타납니다.
5:17
마치 지금급 모델을 준비하는 것과 같습니다.
5:19
시나리오는 작성자가,
5:20
결말은 연기자가 즉석에서 만들어내는 것이죠.
5:23
때로는 멋지게 완성되지만
5:24
때로는 일관성이 떨어지기도 합니다.
5:26
파워 플랫폼에서 구축된 많은 자동화 도구처럼
5:29
기존 자동화 및 규칙 기반 워크플로는
5:31
결정론적 측면에 더 가깝습니다.
5:33
조건을 설정하고
5:33
트리거가 실행되면
5:34
정의된 규칙이 기계적인 정확도로 실행됩니다.
5:37
이러한 예측 가능성 덕분에
5:38
규정 준수,
5:39
데이터 흐름 및 감사 추적이 안정적으로 유지됩니다.
5:41
단계가 확정되어 있기 때문에
5:43
어떤 결과가 나올지 예측할 수 있습니다.
5:44
반면, 생성형 코파일럿은
5:46
모든 입력을 해석 가능한 열린 공간으로 바꿉니다.
5:48
마치 사람이 말하는 것처럼 느껴지 도록 요약,
5:51
재조합, 재구성하는 과정을 거칩니다.
5:52
이러한 유연성은 매력적이지만
5:54
동시에 위험 요소이기도 합니다.
5:56
일관성이 요구되는 상황에서
5:57
예측 불가능성이 발생할 수 있기 때문입니다.
5:59
무대 위의 즉흥 극단을 상상해보세요.
6:02
그들에게 주제와 예산 수인을 건네줍니다.
6:04
한 배우는 저축에 관한 재치있는 농담을 펼치고,
6:06
다른 배우는 연애에 관한 부수제우로 방향을 틀고,
6:08
갑자기 공연은 원래 요청과는
6:09
전혀 다른 방향으로 흘러갑니다.
6:10
이것이 바로 비결정론적 모델이
6:12
공연 도중에 보이는 현상입니다.
6:14
이러한 변화는 설계 결함이 아닙니다.
6:16
대규모 언어 모델이 언어를 생성하는 방식에
6:18
내재된 특성으로
6:19
단 하나의 경로만이 아닌 여러 경로를 탐색합니다.
6:21
핵심은 분명합니다.
6:23
창의성이 항상 정확성을 의미하는 것은 아니면,
6:25
비즈니스 워크플로우에서는
6:26
정확성이 중요한 경우가 많습니다.
6:28
이제 이를 금융 분야에 적용해보겠습니다.
6:30
AI 기반 신용 조회 도구가
6:31
신청자를 승인했다고 가정해봅시다.
6:33
다음날 같은 정보를 다시 입력했는데,
6:35
이번에는 거부되었다고 나옵니다.
6:37
신청자는 당황하고,
6:39
규제기관은 차별로 의심되는 불일치를 발견합니다.
6:42
여기서 발생하는 현상은 드리프트입니다.
6:44
비결정론적 시스템은
6:44
시간이 지남에 따라 변할 수 있기 때문에
6:46
명확한 이유 없이 출력값이 바뀝니다.
6:48
인간의 사고방식과는 달리
6:49
모델에게 무엇이 바뀌었는지
6:50
간단히 설명하도록 요구할 수 없습니다.
6:52
불투명한 결과물 뒤에 숨겨진 논리가 사라질 때
6:55
신뢰는 가장 빠르게 무너집니다.
6:56
실제 운영 환경에서는 변화가 빠르게 증폭됩니다.
6:59
한 달 동안 편향을 줄이기 위해 승인된 워크플로우가
7:02
다음 달에는 정반대 방향으로 흘러갈 수도 있습니다.
7:04
개별적으로는 사소해 보이는 변화도
7:06
수백 건에 걸쳐 누적되면 위반으로 이어집니다.
7:09
규제기관은 즉흥극을 즐기는 관객과는 달리
7:12
안정성, 감사 가능성,
7:14
그리고 명확한 설명을 요구합니다.
7:16
그들은 비결 정성을 매력의 일부로 받아들이지 않습니다.
7:19
이것이 바로 안전장치가 중요한 이유입니다.
7:21
규제기관과 표준은 감사 가능성,
7:22
모델 문서화, 그리고 모니터링을 요구합니다.
7:25
따라서 배포 과정에
7:26
로그 기록 및 설명 가능성 측정 기준을 포함시켜야 합니다.
7:28
이러한 기준이 없다면 작은 변화조차도 책임이 되고
7:31
재정적 손실이 누적되며
7:32
평판 손상이 확산되고
7:33
고객 신뢰가 무너집니다.
7:35
거버넌스는 이러한 예측 불가능한 연극에서
7:36
인간 심판과 같은 역할을 합니다.
7:38
사방으로 빙빙도는 즉흥극 배우들을 다시 떠올려보세요.
7:41
아무도 경계를 설정하지 않으면
7:42
연극은 그 자체의 혼돈 속에서 무너집니다.
7:44
하지만 심판은 그들을 통제합니다.
7:46
이 주제를 기억하고 이 흐름을 따라가세요.
7:48
인공지능, AI에서도 거버넌스는 같은 방식으로 작동합니다.
7:52
혁신을 억누르는 것이 아니라
7:53
무작위성을 정해진 시나리오를 따르는 성능으로 전환하는 것입니다.
7:56
비결정성은 여전히 존재하지만
7:58
정의된 범위 내에서 작동하게 됩니다.
8:00
바로 여기에 균형이 있습니다.
8:01
조종사를 계산기처럼 행동하도록 강요할 수는 없습니다.
8:04
그렇게 만들어진 것이 아니니까요.
8:05
하지만 안전망을 구축할 수는 있습니다.
8:07
인간의 감독, 모니터링 시스템, 그리고 거버넌스 프레임워크가
8:09
바로 그 안전망 역할을 합니다.
8:11
이러한 안전망이 있다면
8:11
모델은 여전히 즉흥적으로 행동하겠지만
8:12
전체적인 상황을 망치지는 않을 것입니다.
8:14
하지만 이러한 안전망이 없다면
8:15
예측 불가능한 상황이 통제되지 않고 확산되어
8:17
규제당국은 누구도 정당화할 수 없는 결정들을 수습해야 할 것입니다.
8:19
위험부담은 명백합니다.
8:20
예측 불가능성은 중립적입니다.
8:22
대출, 일자리, 의료 등 다양한 결과에 영향을 미칩니다.
8:25
그리고 그 결과가 현실 세계에 중대한 영향을 미칠 때
8:28
규제당국이 개입하게 됩니다.
8:29
이제 우리는 다음 관문, 즉 반순한 감독을 넘어
8:32
위무화하는 외부 규제의 등장에 직면하게 될 것입니다.
8:34
EU AI 법안, 마치 소행성이 날아오는 듯한 상황입니다.
8:37
상상해보세요.
8:38
당신은 멋진 새 AI 프로젝트를 완성했습니다.
8:41
깔끔한 거리와 활기 넘치는 디지털 도시 조, 데이터 구역, 통합의 다리,
8:45
똑똑한 기능들로 가득한 고층 건물들, 모든 것이 완벽해 보입니다.
8:49
그런데 하룻밤 사이에 EU AI 법이 마치 우주에서 떨어진 구역 설정 규칙처럼 나타납니다.
8:54
도시의 특정 구역들이 규제 대상으로 지정되고
8:56
어떤 곳은 영격하게 감시되며
8:57
또 어떤 곳은 조작적이거나 유해한 용도로 사용될 경우 아예 금지됩니다.
9:00
선택의 여지가 없습니다.
9:02
법률로 제정되었고, 계획했든 안 했든 도시는 완전히 재편되어야 합니다.
9:06
이 규칙의 핵심은 분류입니다.
9:07
시스템은 최소, 제한적, 높은 또는 아예 용납할 수 없는 위험의 4단계로 나뉩니다.
9:13
최소 위험에는 고객의 FAQ를 도와주는 책봇이 포함될 수 있습니다.
9:16
높은 위험에는 채용도구, 신용평가, 직장 환경 모니터링 등이 포함됩니다.
9:20
용납할 수 없는 위험은 조작적이거나 위험한 용도로 사용되는 것을 의미하며
9:23
사실상 전면 금지됩니다.
9:25
이러한 분류는 단순한 명칭이 아니라 직접적인 의무 사항으로 이어집니다.
9:28
고위험분으로 분류되면 투명성과 설명 가능성을 제공하고
9:31
감사를 위해 상세한 로그를 보관하며 인적감독을 시행해야 합니다.
9:34
갑자기 새롭게 구상한 도시는 단순히 기능하는 것을 넘어
9:37
어떻게 그리고 왜 기능하는지 상세하게 입증해야 하는 상황에 놓입니다.
9:40
개발자와 솔루션 구축 담당자에게는 급격한 변화입니다.
9:43
어제까지만 해도 스프린트 속도로 앱의 기능을 추가할 수 있었지만
9:46
이제는 단 한 번이 데모 시연 전에도 규정 준수 검토를 거쳐야 할 수도 있습니다.
9:50
한때 시간을 절약해주는 편리한 도구였던 파워 플랫폼 기반의 채용앱이
9:53
갑자기 고위험군으로 분류됩니다.
9:55
앱 자체에 문제가 생긴 것은 아닙니다.
9:57
다만 해당 검율에서 민감한 정보로 정의하는 방식으로
9:59
사람들에게 영향을 미치기 때문에 상황이 달라진 것입니다.
10:04
자료의 모호한 목록을 나열하는 것이 아니라
10:06
의사결정 과정에 대한 로그를 기록하는 것을 의미합니다.
10:08
감사 가능성은 모든 의사결정 경로를 저장하고 검색하여
10:11
규제기관의 검토를 받을 수 있도록 준비하는 것을 요구합니다.
10:14
민적감독은 실제 담당자가 시스템을 모니터링하고
10:16
모델이 잘못된 방향으로 나아갈 때 개입할 수 있도록 하는 것을 의미합니다.
10:20
이것들은 가벼운 지침이 아니라 강제적인 조건입니다.
10:23
빠른 프로토타입 제작은 모든 단계에서 규정 준수 승인이 필요한
10:26
감독된 배포로 전환됩니다.
10:27
속도는 구조에 자리를 내줘야 합니다.
10:29
이 법을 단순한 관료주의적 절차라기보다는 우주선의 산소 공급 규칙에 비유해보세요.
10:33
잔잔한 하늘에서는 마스크를 재빨리 열어 눈을 흘낄 수도 있겠지만
10:36
난기류 속에서는 승무원의 생명을 유지하는 유일한 수단입니다.
10:39
이 법도 마찬가지입니다.
10:41
규칙이 무겁게 느껴지더라도 왜 존재하는지
10:42
단 한 번이 위반으로 업계 전체의 신뢰가 무너질 수 있다는 사실을 떠올리면
10:45
그 심각성을 깨닫게 됩니다.
10:46
그리고 중요한 경고가 있습니다.
10:48
규정 준수를 미룰 수는 없습니다.
10:50
이 법은 지금 당장 의무를 부과하며
10:51
나중에 로그, 제어 및 감독 시스템을 추가하는 것은
10:54
설계 단계에서부터 이러한 요소들을 포함시키는 것보다 훨씬 더 많은 비용이 듭니다.
10:57
이러한 요구사항을 무시했을 때의 결과는
10:59
금전적인 손실만이 아닙니다.
11:01
벌금도 문제지만 평판은 회복하기가 훨씬 더 어렵습니다.
11:04
고객이 여러분의 도구가 규정을 위반했다는 사실을 알게 되면
11:06
회사 전체에 대한 신뢰가 무너집니다.
11:08
이는 업데이트로 해결할 수 있는 문제가 아닙니다.
11:10
대중의 신뢰는 매우 취약하며
11:12
무너지면 사용자는 다른 곳으로 옮겨갑니다.
11:14
가장 큰 처벌은 법에 명시되어 있는 것이 아니라
11:16
고객 행동에 달려 있습니다.
11:17
따라서 불편한 질문이지만
11:19
여러분은 어떤 AI 기능이 고위험에 해당하는지 알고 계십니까?
11:23
이력서 분류 도구, 나 생산성 예측 도구 같은 것들 이어
11:26
이러한 기능들이 고용이나 재정 전망과 같은 민감한 영역에 영향을 미친다면
11:29
법은 이를 문제 삼습니다.
11:30
여러분이 이러한 기능들을 무해한 도우미로만 생각하더라도 소용없습니다.
11:33
분류에는 여러분이 인정하든 안 하든 위무가 따릅니다.
11:36
똑똑한 기업들은 규제 당국이 책임을 묻기 전에
11:38
어떤 기능이 어디에 사용되는지 목록을 작성하여 정리합니다.
11:42
바로 여기에 핵심이 있습니다.
11:43
법은 책임감 있는 AI 사용을 권고하는 것이 아니라 위무화합니다.
11:46
거버넌스는 더 이상 선택사항이 아니라 법에 명시되어 있습니다.
11:50
처음부터 책임감 있게 설계하든지
11:52
아니면 법이 외부에서 처벌과 감사를 통해 책임을 강제하든지 둘 중 하나입니다.
11:57
그런 의미에서 소행성은 이미 지구에 떨어졌습니다.
12:00
밀어낼 수는 없습니다.
12:01
충돌을 막고 도시를 사람이 살 수 있는 상태로 유지하는 것만이 할 수 있을 뿐입니다.
12:04
그렇다면 현실적으로 어떤 방어수단을 가지고 있습니까?
12:07
이러한 환경에서 소행성 충돌에서 살아남는 것은 운이 아니라
12:10
이미 제어판에 내장된 방어수단을 활용하는 데 달려 있습니다.
12:13
마이크로소프트 에코 시스템의 보호막과 안전장치 말입니다.
12:17
마이크로소프트 에코 시스템에서는 보호막이 이미 시스템에 내장되어 있습니다.
12:21
단지 활성화하기만 하면 됩니다.
12:22
마이크로소프트 365와 파워 플랫폼에는 거버넌스 도구가 탑재되어 있지만
12:25
마치 선택사항처럼 눈에 띄지 않게 숨겨져 있는 경우가 많습니다.
12:29
이는 단순한 장식이 아니라
12:30
규제와 위험에 직면했을 때 시스템을 안전하게 지켜주는 구조적 보호막입니다.
12:34
팀원들이 이러한 대시보드를 훑어보고
12:35
어깨를 으쓱하며 넘어가는 순간 위험이 발생합니다.
12:37
이러한 도구는 추가 기능이 아니라 생존 장비이기 때문입니다.
12:40
다시성 확보부터 시작하십시오.
12:42
마이크로소프트 365와 파워 플랫폼 외는 모델의 동작 방식을 추적하고
12:46
위사결정을 기록하고
12:47
명확한 설명을 제공하는 감독 기능이 내장되어 있습니다.
12:50
알 수 없는 결론을 내리는 블랙박스에 의존할 필요가 없습니다.
12:53
알고리즘이 잘못될 때마다 콘솔의 신호가 표시되는
12:55
실제 피드백 루프를 경험할 수 있습니다.
12:57
그 차이는 마치 눈을 가리고 운전하는 것과
13:00
방향을 정확히 알려주는 계기판을 사용하는 것의 차이와 같습니다.
13:03
그리고 투명성도 중요합니다.
13:04
AWS와 같은 일부 벤더는 모델 사용 및 제한사항을 문서화하기 위해
13:08
AI 서비스 카드를 제공합니다.
13:09
마이크로소프트는 책임있는 AI 표준과 책임있는 AI 대시보드와
13:13
같은 도구를 통해 다른 접근 방식을 취합니다.
13:15
이러한 도구는 실무자에게 설명 가능성 보고서, 성능 노트,
13:18
그리고 책임있는 설계 선택에 대한 정보를 제공합니다.
13:20
마치 단순히 계획만 제공하는 것이 아니라
13:22
추론 과정을 주석으로 달아주는 부조종사와 같습니다.
13:25
최종 결과뿐만 아니라 모든 고려사항을 확인할 수 있습니다.
13:27
모델 수준 보호에 관해서는 모든 벤더가 어떤 형태로든
13:30
안전장치를 제공한다는 점을 기억해야 합니다.
13:32
마이크로소프트 환경에서는 정책 제어, 설명 가능성 대시보드,
13:36
감사로그가 동일한 역할을 수행하며 악의적인 입력 시도를 차단하고
13:40
결과가 혼란으로 번지기 전에 필터링합니다.
13:42
설명 가능성 자체를 위해서는 SHAP와 같은 기존 방법이나
13:45
세지 메이커 클레리파이와 같은 벤더별 도구가 있습니다.
13:48
마이크로소프트에서는 책임있는 AI 대시보드가
13:50
모델의 선택에 영향을 미친 변수를 명확하게 보여주는 보고서를 제공하여
13:53
이러한 역할을 수행합니다.
13:54
이러한 기능들을 통해 AI 위 위사결정이라는 마법 같은 행위는
13:57
더 이상 무서운 속임수가 아닙니다.
13:58
어떤 입력값이 중요했는지 확인하고
14:00
결과가 공정했는지 평가할 수 있습니다.
14:02
감사자는 추적 가능한 증거를 확보할 수 있고
14:04
사용자는 모델이 근거 없는 헛소리를 지어내는 것이 아니라는 신뢰를 얻게 됩니다.
14:07
그리고 간단하지만 필수적인 안전망인 데이터 보호가 있습니다.
14:11
민감한 정보가 잘못된 경로로 유출되는 것을 방지하기 위해
14:14
데이터 손실방지 기능을 활성화하고
14:16
로그 및 감사 추적 기록을 함께 사용하세요.
14:19
이 모든 것이 블랙박스처럼 작동합니다.
14:21
모든 작업과 편차가 기록되어 오류 발생 시 추적할 수 있습니다.
14:25
이 단계를 건너뛰면 오류가 확산되더라도
14:27
아무런 단서도 남지 않게 됩니다.
14:29
그 효과는 추상적인 것이 아닙니다.
14:31
AI 빌더로 만든 기본적인 파워 앱을 생각해보세요.
14:34
초기 버전에서는 어떤 조직도 정당화할 수 없을 만큼
14:36
많은 개인정보를 수집했습니다.
14:38
이름, 기록, 민감한 필드가 노출되었습니다.
14:41
규정 준수 설정이 활성화되자
14:42
정보 유출이 멈추고 데이터 경계가 강화되었으며
14:44
앱은 계속 작동했고
14:45
개인정보 보호 규칙도 준수되었습니다.
14:47
아키텍처를 완전히 파괴하고
14:48
다시 만들 필요도 없었습니다.
14:50
처음부터 그 자리에 있던 보호 장치를 작동시키는 것으로
14:52
문제가 해결되었습니다.
14:54
초기 배포 단계에서는 텔로스 스타일의 폐쇄형 환경
14:56
월리드 가든을 도입하는 것이 좋습니다.
14:58
격리되고 감사 가능한 샌드박스에서
15:00
코파일럿을 테스트하면 예상치 못한 동작이 발생할 경우
15:03
비즈니스 핵심 워크플로에 적용하기 전에
15:05
안전구역으로 제한할 수 있습니다.
15:07
오류가 프로덕션 시스템으로 유출되지 않도록
15:08
충분히 높은 벽으로 둘러싸인 테스트 환경입니다.
15:11
여기에 강력한 모니터링 시스템을 더하면
15:13
조직은 문제가 발생하기 전에 오류를 발견할 수 있습니다.
15:16
거버넌스 대시보드는 이러한 모든 기능을 통합합니다.
15:18
단순히 상태 화면을 제공하는 것이 아니라
15:20
팀에게 능동적인 감독 기능을 제공합니다.
15:21
관리자는 AI 출력에 대해 실시간으로 질문하고 승인하거나 거부할 수 있습니다.
15:25
이는 시스템에 내장된 인간의 개입을 통한 강제력입니다.
15:28
이러한 감독이 없다면 자동화 시스템은
15:29
정체 기반이 발생할 때까지 제멋대로 작동하게 됩니다.
15:32
대시보드가 구축되면 사람은 관제탑에서
15:34
마치 혼잡한 항공 공간에서 항공기를 조종하듯
15:37
각 AI 시스템을 조율합니다.
15:38
혼란스러운 상황 대신 동기화되고 관리되는 흐름을 얻을 수 있습니다.
15:42
바로 여기에 전환점이 있습니다.
15:44
조직이 이러한 시스템을 방어수단으로 인식하게 되면
15:46
규제 부담에서 생산성 향상 요소로 전환하게 됩니다.
15:49
재작업을 줄이고 규제 기관이 원하는 로그를 즉시 제공할 수 있습니다.
15:53
규정 준수가 설계 단계부터 포함되어 있기 때문에
15:54
나중에 추가되는 패치가 아니므로 업무 속도가 빨라집니다.
15:56
이전에는 업무 속도를 저해했던 요소가 이제는 오히려 가속화됩니다.
15:59
하지만 이러한 방어막은 저절로 작동하는 것이 아닙니다.
16:01
구성, 검토, 그리고 지속적인 모니터링이 필요합니다.
16:04
이러한 제어 장치는 도움이 되지만
16:06
사람이 제대로 관리해야 합니다.
16:08
거버넌스 위원회는 혼란에 맞서는 최후의 방어선입니다.
16:10
거버넌스 위원회를 우주선의 함교 승무원이라고 생각해보세요.
16:14
난기류로 조종장치가 흔들릴 때에도
16:16
집단적으로 항로를 유지하는 사람들입니다.
16:18
방어막, 규정 준수 설정, 감사로그가 백그라운드에서 작동하고 있더라도
16:22
누군가는 창밖을 내다보고 계기판을 주시하며
16:24
예상치 못한 상황이 발생할 때 대응해야 합니다.
16:26
이러한 감독이 없다면 아무리 훌륭한 안전장치라도
16:28
판단력이 없는 단순한 금속 구조물에 불과합니다.
16:31
거버넌스 위원회는 명령만 내리는 외로운 장교가 아닙니다.
16:34
이러한 팀은 기술 책임자, 데이터 거버넌스 담당자,
16:37
법률 또는 규정 준수 자문가, 사업 담당자,
16:39
그리고 최소 한 명이 독립적인 검토자를 포함하는 다기능팀으로 구성됩니다.
16:43
AI는 단일 부서에 국한되지 않기 때문에
16:45
각 구성원은 서로 다른 역할을 수행합니다.
16:47
이력서 심사도구는 인사부서에 영향을 미치고
16:49
예측 알고리즘은 재무에 영향을 주며
16:51
책보슨 고객과 직접 소통합니다.
16:53
단 하나의 기능만으로는 모든 결과를 예측할 수 없습니다.
16:56
부서 간 확산을 막기 위해 위험을 파악하고 수정하려면 원탁회의가 필요합니다.
16:59
이제 이러한 팀 없이 운영한다고 상상해보세요.
17:02
AI를 제대로 관리하지 않고 방치하는 것은
17:03
소행성 지대에서 자동 조종 장치를 사용하는 것과 같습니다.
17:06
처음에는 괜찮아 보이지만
17:07
한 번이 잘못된 조작으로 인해 배가 함로를 이탈하게 됩니다.
17:10
안전장치는 있지만 상황을 해석하거나 질문하거나 예측하지는 못합니다.
17:14
거버넌스 의원회는 사고하는 계층으로
17:15
깜빡이는 불빛 너머를 바라보며 맥랑, 윤리, 그리고 파급효과를 파악하여
17:18
문제가 재앙으로 번지기 전에 예방하는 역할을 합니다.
17:20
그들의 임무는 추상적인 것이 아닙니다.
17:23
이들은 정기적으로 편향 및 공정성 감사를 실시하고
17:25
데이터 출처를 확인하고
17:26
규정 준수 보고서를 검토하고
17:28
비결정적 시스템의 작동 방식을 추적합니다.
17:30
또한 정기적 인점검 일정을 설정하여
17:32
문제가 출시 후가 아닌 초기에 발견될 수 있도록 하고
17:34
핵심성과 지표, 공정성, 정확성, 편차 측정 기준 등을 정의하여
17:39
지속적인 모니터링이 추측이 아닌
17:40
측정 가능한 책임성을 확보하도록 합니다.
17:42
특히 비결정적 출력의 경우
17:43
이러한 관리위원회는 시스템의 한계를 감시하는 역할을 합니다.
17:46
AI는 항상 동일한 답변을 내놓지 않습니다.
17:48
샘플링하고 즉흥적으로 대응하고 끊임없이 고민합니다.
17:51
이러한 과정은 창의적인 답변을 생성할 수도 있지만
17:53
신뢰를 저해하는 잘못된 결과를 초래할 수도 있습니다.
17:56
관리위원회는 디지털 안전 감시 장치 역할을 하여
17:58
예상치 못한 결과를 기록하고
18:00
위험 요소를 분석하고
18:01
위험한 패턴을 표시하고
18:03
자동화된 필터가 오류를 놓쳤을 때
18:05
인간을 다시 개입시킵니다.
18:07
이들은 혁신을 저해하지 않고
18:08
안전한 범위 내에서 작동하도록 유지합니다.
18:10
그리고 여기에 실질적인 차이가 있습니다.
18:13
효과적인 관리위원회를 갖춘 조직은
18:14
시험 운영 단계에서 문제를 발견하는 경향이 있습니다.
18:17
공정성 감사에서 채용 모델의 편향성이 드러나면
18:19
문제는 조용히 수정되고
18:21
출시 과정은 스캔들 없이 진행됩니다.
18:23
하지만 이러한 감독이 없는 조직에서는
18:25
문제가 언론에 먼저 보도됩니다.
18:27
고객은 피해를 발견하고
18:28
규제기관은 실패를 알아차리지만
18:30
시정 조치는 너무 늦게 이루어집니다.
18:32
예방에는 시간이 걸리고
18:34
시정에는 평판 손실이 따릅니다.
18:36
이러한 패턴은 충분히 반복되어
18:38
교훈을 명확히 보여줍니다.
18:39
이러한 의원회의 기반은
18:40
공정성, 투명성, 책임성, 안전
18:43
그리고 개인정보 보호입니다.
18:44
공정성은 인구 통계학적 차이에 따라
18:46
사용자에게 불리익을 주지 않도록
18:48
결과를 보장합니다.
18:49
투명성은 사용자와 규정 준수 담당자 모두에게
18:51
위사결정을 명확하게 설명할 수 있도록 요구합니다.
18:54
책임성은 AI가 잘못한 것이 아니라
18:57
지정된 담당자가 결과에 대한 책임을 지도록 합니다.
19:01
안전은 결과물이 피해를 주거나
19:02
오용되지 않도록 합니다.
19:04
개인정보 보호는 민감한 데이터를 보호하여
19:06
개인이 위험한 여정에서
19:07
위도치 않은 희생양이 되지 않도록 합니다.
19:09
각 원칙은 그 자체로 강력하지만
19:11
함께 작용하여 책임감 있는 AI가
19:12
철저한 감시하에서도 작동할 수 있도록 하는
19:14
견고한 기반을 구축합니다.
19:15
이사회는 원칙을 지키는데 그치지 않고
19:17
실제로 행동으로 옮깁니다.
19:19
모델 문서를 검토하여 명확성을 확인하고
19:21
위험평가 프로세스를 통해 사용사례를 분류하며
19:24
감독이 필요한 부분에는
19:25
사람이 직접 참여하는 점검 절차를 시행합니다.
19:28
가장 간단하면서도
19:28
가치 있는 초기 결과물 중 하나는
19:30
AI 사용사례 목록을 작성하고
19:32
위험을 세분화하는 것입니다.
19:33
이 간단한 지도를 통해
19:34
어떤 프로젝트가 고위험군에 속하는지
19:35
어떤 프로젝트에 엄격한 관리감독이 필요한지
19:37
어떤 프로젝트가 위험도가 낮은지 파악할 수 있습니다.
19:39
이는 경영증과 규제기관 모두에게
19:40
감독이 체계적으로 이루어지고 있으며
19:41
즉흥적인 것이 아님을 보여주는 구체적인 증거가 됩니다.
19:44
아무리 빠른 속도로 진행되더라도
19:45
이사회 회의는 여정 전반에 걸쳐
19:46
정기적인 점검 역할을 합니다.
19:48
이사회는 전략을 수립할 뿐만 아니라
19:49
지표를 추적하고
19:50
규정 준수 보고를 시행합니다.
19:52
이러한 주기적인 관리는 회복력을 구축합니다.
19:54
테스트 주기, 공정성 KPI,
19:57
그리고 변화 검토는 배포 후에도
19:58
지속적인 안전장치가 흐려지지 않고
20:00
활성화되도록 리듬을 만들어줍니다.
20:02
이러한 과정을 통해
20:03
감독은 일회성 체크리스트 작성이 아닌
20:05
살아있는 프로세스가 됩니다.
20:06
채용 AI는 이러한 점을 분명히 보여주는 사례입니다.
20:10
결함 있는 데이터로 학습된 모델은
20:11
개발자의 의도와는 상관없이
20:13
특정 집단의 지원자를 낮게 평가하는 편향을
20:16
조용히 흡수했습니다.
20:17
이러한 차별은 눈에 띄지 않게 확산되어
20:19
결국 소송으로 이어졌습니다.
20:21
공정성 감사와 데이터 출처 검증 기능을 갖춘
20:23
거버넌스 위원회가 있었다면
20:24
제품 출시 훨씬 이전에
20:25
이러한 편향을 발견할 수 있었을 것입니다.
20:27
예방과 발견의 차이,
20:28
바로 이 점이 거버넌스 위원회가 존재하는 이유입니다.
20:31
따라서 거버넌스 위원회는
20:32
단순한 부수적인 프로젝트나
20:33
장식용 위원회가 아닙니다.
20:35
위원회는 안정적인 방향 제시와
20:36
피할 수 있는 혼란 사이의 최후의 방어선이며
20:38
책임 있는 AI라는 슬로건을
20:39
실질적인 실천으로 옮기는 임무를 맡은 사람들입니다.
20:41
위원회는 구조, 지표, 그리고 책임성을 유지함으로써
20:44
신뢰를 바탕으로 조직이 순항할 수 있도록 합니다.
20:46
그리고 이것이 바로 우리가 이야기할 핵심입니다.
20:48
위원회가 존재함으로써
20:49
감독은 임시방편적인 조치가 아닌 문화로 자리잡게 되며
20:51
이는 우리가 마지막으로 살펴볼 더욱 중요한 진실로 이어집니다.
20:53
책임 있는 AI는
20:54
단순히 보여주기식으로 켜고 끄는 부가기능이 아닙니다.
20:56
앞으로 닥칠 혼란 속에서
20:58
조직의 생존 여부를 결정짓는 안전장치입니다.
21:00
책임 있는 AI는 선택사항이 아닙니다.
21:03
조직을 통제하는 것과
21:04
혼돈 속으로 표류하는 것을 가르는 요소입니다.
21:06
이를 통해 신뢰를 구축하고
21:07
위험을 크게 줄이며
21:08
AI 프로젝트를 단기적인 성공이 아닌
21:11
장기적인 성공으로 이끌 수 있습니다.
21:12
자, 이제 다음 단계로 넘어가세요.
21:15
AI 사용 사례를 파악하고
21:16
플랫폼에 이미 내장된 보호기능을 활성화하고
21:19
이를 모니터링할 관리위원회를 구성하세요.
21:21
이러한 단계를 부가적인 작업이 아닌 핵심 임무로 생각하세요.
21:24
방송 노트에는 체크리스트와 다른 도구 링크가 포함되어 있으니
21:27
지금 바로 시작하세요.
21:28
이 에피소드가 여러분의 에너지를 충전해주었다
21:30
면파 퀘스트를 자동 재생으로 설정하고
21:32
팔로우 버튼을 눌러주세요.
21:34
골뱅이 우유 rshow로 질문을 보내주시면
21:36
다음 방송에서 가장 좋은 질문들을 읽어드리겠습니다.