Latest / いつも隣におしごとラジオ / #0089 AIエージェントの暴走を防げ！連鎖エラーと報酬ハッキングという2つの落とし穴【隣のAIエージェント15】

Transcript

#0089 AIエージェントの暴走を防げ！連鎖エラーと報酬ハッキングという2つの落とし穴【隣のAIエージェント15】 · いつも隣におしごとラジオ

• 0:10
  お は よ う ご ざ い ま す。 2026年 4月2日 木 曜 日、 あ な た の 働 く を
• 0:15
  生 き 生 き と す る ヒ ン ト を 一 緒 に 見 つ け る い つ も 隣 に お 仕 事 ラ ジ オ パ ー ソ
• 0:20
  ナ リ テ ィ の 高 橋 紀 之 で す。 さ て、 ち ょ こ ち ょ こ お 伝 え し て ま す。
• 0:25
  ノ ン プ ロ ケ ン コ ミ ュ ニ テ ィ の メ ン バ ー と 取 り 組 ん で い る。
• 0:29
  AI エ ー ジ ェ ン ト 実 験 室 な ん で す け れ ど も、 ま あ 昨 日 お 伝 え し た ツ ー ル キ ッ
• 0:35
  ト ハ ブ を 使 っ て で す ね、 皆 さ ん と 共 同 し て い る ん で す ね。
• 0:38
  や は り 一 人 で 使 っ て い る と 気 づ か な い こ と も、 仲 間 と と も に や る こ と で。
• 0:43
  ま あ 結 構 ね、 色 々 と 発 見 が あ る も の で、 ま あ こ ん な 使 い 方 が あ る の か と か
• 0:49
  で す ね。 も し く は、 あ、 こ う い う リ ス ク も あ る
• 0:52
  ね と か で す ね。 ま あ、 そ う い っ た こ と が 気 づ き と し て
• 0:55
  得 ら れ て い ま す。 ま あ、 こ う し て み ん な で や る こ と で。
• 0:59
  学 び が ね、 加 速 す る な っ て い う の を ま さ に 感 じ な が ら 活 動 し て い ま す。
• 1:04
  さ て、 本 編 の 方 な ん で す け れ ど も、 ま あ こ れ ま で ね、 AI エ ー ジ ェ ン ト、 も の
• 1:09
  す ご い い ろ ん な こ と が で き る よ、 こ ん な 可 能 性 が あ る よ、 ま あ、 そ う い っ た
• 1:13
  ポ ジ テ ィ ブ な 話 を し て き ま し た け れ ど も、 ま あ、 い ろ い ろ で き る こ と が 多
• 1:17
  い と い う こ と は、 ま あ そ れ だ け リ ス ク も あ る と い う こ と な ん で す ね。
• 1:22
  ま あ 今 日 か ら 何 回 か に 分 け て、 そ の リ ス ク、 ま あ ど う い っ た も の が あ る の
• 1:26
  か、 そ し て。 ど の よ う に 防 ぐ こ と が で き る の か、 ま
• 1:29
  あ、 そ う い っ た 話 を し て い き た い と 思 い ま す。
• 1:32
  今 日 は そ の リ ス ク 編 の 第 一 弾 と い う こ と で、 検 査 エ ラ ー、 そ し て 報 酬 ハ ッ
• 1:38
  キ ン グ と い う 二 つ の 落 と し 穴 に つ い て 紹 介 を し て い き ま す。
• 1:42
  そ し て コ ミ ュ ニ テ ィ タ イ ム で は シ リ ー ズ 第 11回 ide に つ い て お 話 し、 高 い
• 1:48
  こ ち ら の コ メ ン ト を 紹 介 し て い き ま す。
• 1:50
  で は、 行 っ て み ま し ょ う。 よ ろ し く お 願 い 致 し ま す。
• 1:56
  こ の 時 間 は コ ミ ュ ニ テ ィ タ イ ム で す。 番 組 に 関 す る リ ス ナ ー の 皆 さ ん の リ
• 2:00
  ア ク シ ョ ン コ メ ン ト を 紹 介 し て い き ま す。
• 2:03
  隣 の AI エ ー ジ ェ ン ト シ リ ー ズ 第 11回目 で す ね。
• 2:06
  執 務 室 ide に 関 し て お 伝 え し た 回 で、 羽 田 さ ん か ら コ メ ン ト を い た だ い て
• 2:11
  ま す。 あ り が と う ご ざ い ま す。
• 2:12
  こ こ 1週 間、 ア ン チ グ ラ ビ テ ィ を 使 い 続 け て き て、 こ の シ リ ー ズ で 言 っ て い
• 2:18
  る こ と は だ い ぶ わ か っ て き た 気 が し ま す。
• 2:20
  た だ、 こ れ ま で 使 っ た こ と の な い 自 分 は タ ー ミ ナ ル を ど う 使 う の か？
• 2:25
  頭 で は わ か っ て も、 ま だ ま だ 体 で は 理 解 で き て な い の で、 も う ち ょ っ と 練 習
• 2:29
  が 必 要 な よ う で す と い う こ と で す ね。 は い、 あ り が と う ご ざ い ま す ね。
• 2:33
  ア ン チ グ ラ ビ テ ィ チ ャ レ ン ジ く だ さ っ て ま し て 嬉 し い で す ね。
• 2:38
  ア ン チ グ ラ ビ テ ィ マ イ デ ィ で す の で、 マ イ デ ィ タ ー 画 面 と エ ク ス プ ロ ー ラ
• 2:43
  ー と そ し て 黒 い 画 面 と。 ま あ そ れ が ね、 セ ッ ト に な っ て る ん で
• 2:46
  す ね。 ま あ、 ど う い う ふ う に 使 っ て い く の
• 2:48
  か、 な か な か ね、 一 人 だ と つ か め な い と こ ろ も あ る と 思 い ま す の で。
• 2:52
  ま さ に ね、 コ ミ ュ ニ テ ィ で 仲 間 と と も に や る こ と で ね、 見 え て く る と こ ろ も
• 2:56
  あ る か な と 思 う の で、 は い、 そ う い っ た 機 会 も ぜ ひ 活 用 い た だ け れ ば と 思
• 3:00
  い ま す。 は い、 羽 田 さ ん、 い つ も コ メ ン ト い た
• 3:03
  だ き ま し て あ り が と う ご ざ い ま す。 コ ミ ュ ニ テ ィ タ イ ム で は 皆 さ ん の 反
• 3:08
  応、 リ ア ク シ ョ ン を お 待 ち し て お り ま す。
• 3:10
  じ ゃ ん じ ゃ ん お 送 り く だ さ い。 よ ろ し く お 願 い 致 し ま す。
• 3:15
  こ こ ま で AI エ ー ジ ェ ン ト に 自 律 的 に 働 い て も ら う た め の 環 境 づ く り や。
• 3:21
  AI エ ー ジ ェ ン ト た ち が 使 え る ギ ッ ト ギ ッ ト ハ ブ ま あ、 こ う い っ た 強 力 な 道
• 3:26
  具 の 話 を し て き ま し た。 お 話 し て き た 通 り、 本 当 に 優 秀 な パ ー
• 3:30
  ト ナ ー と し て 動 い て く れ る わ け で す ね。
• 3:33
  し か し ま あ、 自 由 を 与 え ら れ、 自 律 的 に 判 断 で き る か ら こ そ、 彼 ら は 時 に 僕
• 3:40
  た ち が 全 く 意 図 し て い な い、 ま あ、 そ う い っ た こ と を し て し ま う と い う こ
• 3:44
  と が あ る ん で す ね。 AI に 最 高 の 結 果 を 求 め た は ず な ん だ
• 3:49
  け れ ど も。 ま あ、 数 分 後 に は 大 量 の 使 い 物 に な ら
• 3:52
  な い フ ァ イ ル が で き て し ま っ て い た メ ー ジ ェ ン ト を 使 う と、 そ ん な 恐 ろ し
• 3:56
  い 経 験 を し て し ま う 危 険 性 が あ る わ け で す。
• 4:00
  今 日 は で す ね、 そ の 原 因 と な る 二 つ の 代 表 的 な リ ス ク に つ い て 深 掘 り を し
• 4:05
  て い き た い と 思 い ま す。 ま ず 一つ目 は 連 鎖 エ ラ ー と 呼 ば れ る も
• 4:09
  の で す。 AI エ ー ジ ェ ン ト は 人 間 か ら 仕 事 を 受
• 4:13
  け 取 る と、 じ ゃ あ、 ま ず は こ れ を 調 べ て、 次 に こ れ を 作 ろ う。
• 4:17
  ま あ、 そ の よ う に。 ま あ、 自 律 的 に プ ロ セ ス を 計 画 し、 そ
• 4:20
  し て 実 行 し ま す。 し か し、 こ の 最 初 の 一 本 目 で、 ま あ ほ
• 4:25
  ん の 1ミリ だ け 前 提 条 件 を 誤 解 し て い た り と か、 事 実 で は な い 嘘 ハ ル シ ネ ー
• 4:31
  シ ョ ン を 生 み 出 し て し ま っ た と し ま す。
• 4:34
  ま あ、 人 間 な ら 途 中 で あ れ、 な ん か お か し い な っ て 気 づ い て、 ま あ 軌 道 修 正
• 4:38
  し た り も す る わ け な ん で す け れ ど も。 ま あ、 AI の 場 合 で す ね。
• 4:42
  そ の 間 違 っ た 1ミリ の ず れ、 ま あ 絶 対 的 に 正 し い 前 提 と し て し ま い ま す。
• 4:47
  で す か ら、 そ こ か ら 大 真 面 目 に 次 の 行 動 を 組 み 立 て て い く と で す ね、 最 終 的
• 4:52
  に 雪 だ る ま 式 に そ の ズ レ が 複 利 の よ う に 膨 ら ん で い き、 ま あ と ん で も な い
• 4:57
  と こ ろ に 到 達 し て し ま う。 ま あ、 そ う い っ た こ と が 起 き る ん で す
• 5:01
  ね。 ま あ、 最 初 の 小 さ な ズ レ が、 ま あ ど ん
• 5:04
  ど ん 大 き な ズ レ に 積 み 重 な っ て い っ て し ま う。
• 5:07
  ま あ、 そ う い っ た 連 鎖 エ ラ ー が 起 き て し ま う。
• 5:10
  ま あ、 そ う い っ た リ ス ク が あ り ま す。 2つ目 の 落 と し 穴 は 報 酬 ハ ッ キ ン グ と
• 5:16
  呼 ば れ る も の で す。 こ れ は AI が 人 か ら 与 え ら れ た 目 標、
• 5:20
  そ れ を 達 成 す る た め に シ ス テ ム の 抜 け 穴 を つ い て し ま う。
• 5:24
  ま あ、 こ の よ う な 現 象 で す。 こ れ だ け だ と わ か り づ ら い と 思 う の
• 5:29
  で あ る。 極 端 な 例 え 話 を し た い と 思 い ま す。
• 5:33
  あ る お 掃 除 ロ ボ ッ ト が あ り ま し て、 そ こ に こ の 部 屋 の ゴ ミ メ ー タ ー を ゼロ に
• 5:38
  し て、 ま あ そ の よ う に 頼 ん だ と し ま す。
• 5:41
  人 間 な ら。 ゴ ミ を 片 付 け て 部 屋 を 掃 除 す る。
• 5:43
  ま あ、 そ う い っ た 作 業 を す る と 思 う ん で す け れ ど も、 AI の 場 合、 ゴ ミ を 全 部
• 5:48
  隣 の 部 屋 に 移 動 さ せ れ ば、 こ の 部 屋 の メ ー タ ー は ゼロ に な る ぞ ま あ、 こ の よ
• 5:52
  う に 考 え て し ま う。 ま あ、 そ う い っ た こ と を し か ね な い ん
• 5:55
  で す ね。 ま あ、 人 間 か ら 見 れ ば ズ ル に し か 見 え
• 5:58
  な い ん で す け れ ど も、 ま あ、 数 値 の 上 で は そ の 部 屋 の メ ー タ ー を ゼロ に す れ
• 6:03
  ば い い わ け な ん で、 ま あ、 正 し い 結 論 に な っ て し ま う わ け な ん で す ね。
• 6:07
  ま あ、 つ ま り、 与 え ら れ た 数 値 上 の 正 解 だ け を ク リ ア し よ う と し て、 ま あ 僕
• 6:13
  た ち の 常 識 や 実 態 と い う 文 脈 を ま あ 無 視 し て し ま う。
• 6:16
  ま あ、 そ う い っ た 行 動 を ま あ AI は 取 っ て し ま う 時 が あ る と い う こ と な ん
• 6:19
  で す ね。 こ の よ う に ず れ た 成 功 を 目 指 し て し
• 6:23
  ま う。 こ れ を ま あ 報 酬 ハ ッ キ ン グ と 言 い ま
• 6:25
  す。 例 え ば 僕 な ん か の 活 動 で 言 う と、 ま
• 6:29
  あ、 ノ ー ト 記 事 を 作 っ て っ て お 願 い し た 時 に、 不 安 や 恐 怖 を 煽 る よ う な 釣 り
• 6:34
  タ イ ト ル。 ま あ、 こ の タ イ ト ル で 記 事 を 書 け ば。
• 6:37
  高 橋 さ ん、 大 量 に PV 稼 げ ま す よ。 ま あ、 そ ん な 風 に 提 案 し て く る こ と が
• 6:41
  あ る わ け な ん で す ね。 で も 僕 と し て は ね、 そ う い っ た 記 事 出
• 6:45
  す と、 ま あ 信 頼 を 失 っ て し ま い か ね な い の で、 ま あ や め て ほ し い わ け な ん で
• 6:49
  す け れ ど も、 AI は そ う い っ た 選 択 を と っ て し ま う。
• 6:52
  ま あ、 そ の 可 能 性 が あ る と い う こ と な ん で す ね。
• 6:56
  で は、 こ う し た 連 鎖 エ ラ ー や 報 酬 ハ ッ キ ン グ、 ま あ そ れ を 防 ぐ た め に 僕 た ち
• 7:02
  は ど う AI と 接 す れ ば い い の か と い う 話 で す ね。
• 7:06
  二 つ の 対 策 を 紹 介 し ま す。 ま ず 一 つ は で す ね、 完 全 自 動 を 夢 見 て
• 7:12
  丸 投 げ は し な い と い う こ と な ん で す ね。
• 7:15
  そ し て 適 切 な 中 間 チ ェ ッ ク を 設 け る と い う こ と で す。
• 7:20
  ま ず は リ サ ー チ の 結 果 の 時 点 で 見 せ て と か で す ね。
• 7:24
  次 は 構 成 案 ま で 作 っ て み て、 ま あ、 こ の よ う に ワ ー ク フ ロ ー を 細 か く 切 り、
• 7:28
  ま あ 人 間 の 検 品 を 途 中 に 挟 む と い う こ と で す ね。
• 7:31
  で、 こ れ は 専 門 用 語 で 言 う と ヒ ュ ー マ ン イ ン ザ ル ー プ と 言 い ま す。
• 7:36
  せ っ か く 自 律 的 に 働 い て く れ る の に っ て 思 う か も し れ ま せ ん け れ ど も、 全
• 7:42
  部 台 無 し に な る よ り は、 途 中 途 中 で チ ェ ッ ク し た 方 が 効 率 も い い で す し、 よ
• 7:47
  り 良 い コ ン テ ン ツ を 作 れ る 可 能 性 も 高 ま り ま す の で、 人 間 が う ま く プ ロ セ
• 7:52
  ス に 関 わ る と い う こ と も ぜ ひ ね 検 討 し て い た だ き た い と 思 い ま す。
• 7:57
  で、 こ の 点 で す ね。 ク ロ ー ド コ ー ド で も、 Google ア ン チ
• 8:00
  グ ラ ビ テ ィ で も。 先 に 計 画 を 見 せ て も ら っ て か ら、 そ し
• 8:05
  て 承 認 を 得 て か ら 実 行 す る み た い な、 そ う い っ た ス テ ッ プ を 踏 む よ う に 依
• 8:09
  頼 す る こ と も で き ま す の で、 そ の よ う に AI に 依 頼 す る と い う 方 法 も あ り ま
• 8:13
  す ね。 そ し て も う 一 つ 重 要 な の が、 や っ て ほ
• 8:18
  し い 正 解 だ け で は な く て、 こ れ は 絶 対 し な い で ね と い う ア ン チ パ タ ー ン を
• 8:23
  先 に 共 有 し て お く と い う こ と で す ね。 ガ ー ド レ ー ル を 用 意 し て お く と い う
• 8:28
  こ と で す。 例 え ば、 読 者 の 不 安 や 恐 怖 を む や み に
• 8:31
  煽 る よ う な タ イ ト ル は つ け な い で ね と か で す ね。
• 8:34
  そ う い っ た の を 事 前 に ル ー ル 化 し て 渡 し て お く と い う こ と で す ね。
• 8:39
  こ の よ う に AI エ ー ジ ェ ン ト は す ま じ い ス ピ ー ド で 仕 事 を 効 率 的 に こ な し
• 8:44
  て く れ る わ け な ん で す け れ ど も、 ま あ、 彼 ら は よ り 良 い 仕 事 が で き る よ う
• 8:48
  に で す ね、 人 間 が う ま く 関 わ る、 ま あ、 そ の 設 計 を し て お く と い う こ と が 大
• 8:53
  事 な ん で す ね。 は い。
• 8:56
  と い う こ と で。 AI エ ー ジ ェ ン ト の リ ス ク 他 に も あ り
• 8:59
  ま す の で、 ま あ 次 回 ね、 紹 介 し て い き た い と 思 い ま す。
• 9:04
  い つ も 隣 に お シ ョ ー ト ラ ジ オ を お 聞 き い た だ き あ り が と う ご ざ い ま す。
• 9:08
  も し AI や プ ロ グ ラ ミ ン グ 学 び た い け ど、 一 人 じ ゃ 続 か な い。
• 9:12
  も っ と き ち ん と 深 く 学 び た い な と 感 じ た な ら、 僕 が 運 営 す る コ ミ ュ ニ テ ィ
• 9:16
  ノ ン プ ロ 兼 も ぜ ひ 覗 い て み て く だ さ い。
• 9:20
  IT や プ ロ グ ラ ミ ン グ を 本 職 と し な い ノ ン プ ロ グ ラ マ ー が お 互 い に 教 え 合
• 9:24
  い、 励 ま し 合 い な が ら。 仲 間 と と も に 楽 し く ス キ ル ア ッ プ で
• 9:27
  き る、 そ ん な 学 び の 場 に な っ て い ま す。
• 9:30
  ま ず は ど ん な 場 所 か、 番 組 の 概 要 欄 の リ ン ク か ら 覗 い て み て く だ さ い。
• 9:35
  あ な た の ご 参 加、 心 か ら お 待 ち し て い ま す。
• 9:40
  さ て、 エ ン デ ィ ン グ の お 時 間 で す。 AI エ ー ジ ェ ン ト に 自 律 性 を 委 ね る た
• 9:46
  だ し、 そ の 際 に は ま あ、 い く つ か の リ ス ク が あ る わ け な ん で す ね。
• 9:51
  ま ず は 小 さ な ズ レ が 複 利 で 膨 ら ん で し ま う ま あ 連 鎖 エ ラ ー。
• 9:55
  ま あ、 こ う い っ た リ ス ク が あ り ま す。 ま た、 見 た 目 の 目 標 だ け を 追 っ て、 我
• 9:59
  々 の 想 定 か ら 逸 脱 し て し ま う 報 酬 ハ ッ キ ン グ。
• 10:03
  ま あ、 こ れ に も 警 戒 す る 必 要 が あ る わ け で す ね。
• 10:06
  ま あ、 こ れ を 防 ぐ た め に は ヒ ュ ー マ ン イ ン ザ ル ー プ 人 間 が 中 間 チ ェ ッ ク を
• 10:11
  す る と い う 方 法 が あ り ま す。 で、 も う 一 つ は、 行 っ て は い け な い パ
• 10:16
  タ ー ン ア ン チ パ タ ー ン を 定 義 し て お く と い う こ と で す ね。
• 10:19
  ぜ ひ ご 活 用 い た だ け れ ば 嬉 し く 思 い ま す。
• 10:24
  さ て、 次 回、 別 の 種 類 の リ ス ク あ り ま す の で、 パ ス に つ い て 紹 介 し て い き ま
• 10:28
  す。 こ れ も 結 構 大 事 な ん で ね。
• 10:30
  ぜ ひ 聴 い て く だ さ い。 さ て、 最 後 に お 知 ら せ で す。
• 10:35
  い よ い よ 開 催 間 近 と な っ て き ま し た オ ン ラ イ ン イ ベ ン ト ノ ン プ ロ 兼 オ ー
• 10:41
  プ ン ラ ボ エ ー ア イ エ ー ジ ェ ン ト 時 代 に 価 値 が 爆 動 す る 発 信 ア ン ド 執 筆 術
• 10:45
  こ ち ら で す ね。 4月4日 土 曜 日 夜 8時 開 催 と な っ て い ま
• 10:50
  す。 今、 エ ー ア イ の 力 を 借 り れ ば。
• 10:53
  記 事 を 執 筆 し た り、 本 を 書 い た り、 ま あ、 そ う い っ た こ と も ね、 か な り 楽 に
• 10:58
  で き る わ け な ん で す け れ ど も。 ま あ 一方 で 自 分 ら し い 文 章 を 書 く、 本
• 11:03
  を 書 く。 ま あ、 そ う い っ た こ と が、 ま あ ど う や
• 11:05
  っ た ら 実 現 で き る の か な、 そ ん な 問 い も 出 て く る わ け で す ね。
• 11:10
  ま あ、 こ の イ ベ ン ト で は、 ポ ッ ド キ ャ ス ト ノ ー ト SNS 書 籍 執 筆、 ま あ、 そ う
• 11:15
  い っ た こ と を 僕 が や っ て い る ま あ、 そ の あ り の ま ま を で す ね、 紹 介 さ せ て い
• 11:19
  た だ い て、 そ の エ ー ジ ェ ン ト と の や り 取 り を。
• 11:23
  通 し て そ の 価 値 を 爆 増 さ せ る、 そ う い っ た 方 法 に つ い て 紹 介 を し ま す。
• 11:29
  ぜ ひ イ ベ ン ト ご 参 加 い た だ け れ ば 嬉 し い で す。
• 11:31
  概 要 欄 に ピ ー テ ィ ク ス の URL を 貼 っ て お き ま す の で、 そ ち ら か ら ご 参 加 い
• 11:37
  た だ け れ ば と 思 い ま す。 皆 さ ん の ご 参 加 お 待 ち し て お り ま す。
• 11:41
  い つ も 隣 に お 仕 事 ラ ジ オ 番 組 へ の 感 想 は ノ ー ト の コ メ ン ト 欄 ま た は エ ッ
• 11:46
  ク ス で 投 稿 く だ さ い。 ハ ッ シ ュ タ グ は 隣 ラ ジ オ、 隣 は 漢 字 カ
• 11:51
  タ カ ナ ラ ジ オ で す。 無 料 の discord コ ミ ュ ニ テ ィ へ の 参
• 11:54
  加 も 大 歓 迎 で す。 こ の 番 組 を 気 に 入 っ て い た だ け た な
• 11:57
  ら、 是 非 フ ォ ロ ー い た だ け れ ば 嬉 し い で す。
• 12:01
  そ れ で は 今 日 も 価 値 あ る 一日 を。 お 相 手 は 高 橋 典 之 で し た。