Latest / いつも隣におしごとラジオ / #0040 AIが「文脈」を理解できるのはなぜ?革命的技術Transformerの正体 【隣のAI戦略06】
Transcript
- 0:10お は よ う ご ざ い ま す。 2026年 1月20日 火 曜 日、 あ な た の 働 く を
- 0:15生 き 生 き と す る ヒ ン ト を 秘 書 に 見 つ け る い つ も 隣 に お 仕 事 ラ ジ オ パ ー ソ
- 0:20ナ リ テ ィ の 高 橋 紀 之 で す。 と こ ろ で、 iPhone や ア ッ プ ル ウ ォ ッ
- 0:25チ を 持 っ て い る リ ス ナ ー の 皆 さ ん。 こ の と こ ろ シ リ を 使 っ て い ら っ し ゃ
- 0:29い ま す で し ょ う か? ま あ シ リ も ね、 AI な ん で す け れ ど も、
- 0:33そ う い え ば あ ま り 使 っ て な い な と。 で、 僕 の 場 合、 唯 一 使 っ て い る の が タ
- 0:38イ マ ー な ん で す ね。 ラ ー メ ン 作 る 時 と か ね、 3分 計 っ て み
- 0:43た い な 感 じ で AI を し た り す る ん で す け れ ど も。
- 0:47し か し、 そ ん な シ リ と、 日 々 使 っ て い る チ ャ ッ ト GPT や ジ ェ ミ ニ ー な ど の
- 0:53生 成 AI。 ま あ、 同 じ AI と は 思 え な い 感 じ あ り
- 0:56ま す よ ね。 今 日 は で す ね、 そ ん な AI、 ま あ ど う し
- 0:59て こ ん な に も 違 う の か と い う、 ま あ そ の 理 由 に 切 り 込 ん で い き た い と 思 い
- 1:03ま す。 ま あ、 本 編 の 方 は 隣 の AI 戦 略 第 6回目
- 1:07で す ね。 キ ー ワ ー ド は ト ラ ン ス フ ォ ー マ ー に
- 1:10な り ま す。 そ し て コ ミ ュ ニ テ ィ タ イ ム は 1月13日
- 1:15放 送 隣 の AI 戦 略 第 2回目 で す ね。 こ ち ら の コ メ ン ト を 紹 介 し て い き ま
- 1:20す。 で は 行 っ て み ま し ょ う。
- 1:21よ ろ し く お 願 い 致 し ま す。 こ の 時 間 は コ ミ ュ ニ テ ィ タ イ ム で す。
- 1:29番 組 に 関 す る リ ス ナ ー の 皆 さ ん の リ ア ク シ ョ ン コ メ ン ト を 紹 介 し て い き
- 1:32ま す。 今 日 は、 1月13日 に 放 送 し ま し た 隣 の
- 1:37AI 戦 略 第 2回目 で す ね こ ち ら の コ メ ン ト を 紹 介 し て い き ま す。
- 1:41畑 さ ん か ら ま り お 父 さ ん か ら コ メ ン ト い た だ い て ま す あ り が と う ご ざ い
- 1:44ま す。 で は、 畑 さ ん の コ メ ン ト を 紹 介 し ま
- 1:47す。 AI で あ れ、 プ ロ グ ラ ミ ン グ で あ れ、 高
- 1:51橋 さ ん の 考 え 方 の 根 本 は 常 に 小 手 先 の テ ク ニ ッ ク で は な く て。
- 1:55根 本 的 な 理 解 と い う 考 え 方 が 一 貫 し て い て、 す ご い な と い つ も 思 っ て い ま
- 2:00す。 は い、 あ り が と う ご ざ い ま す。
- 2:03い や、 そ ん な ん で す よ ね、 こ の AI 時 代 に 入 っ て、 ま あ よ り 一 層 ね、 そ の 小 手
- 2:08先 の テ ク ニ ッ ク が わ あ わ あ 出 て き て る 感 じ は あ る ん で す け れ ど も。
- 2:11こ れ、 昔 か ら そ う だ っ た ん で す よ ね。 プ ロ グ ラ ミ ン グ に 関 し て も コ ピ ペ で
- 2:16オ ッ ケ ー み た い な。 ま あ、 そ う い っ た も の に ど う し て も 人
- 2:18は 食 い つ き が ち な ん で す け れ ど も。 ま あ、 そ の 時 は い い ん で す け ど ね、 そ
- 2:23の 方 の 未 来 の 資 産 と し て 蓄 積 さ れ な い わ け で す よ ね。
- 2:27な の で、 皆 さ ん に は で き る だ け ね、 本 質 的 な 学 び、 ま あ こ れ を ね、 し っ か り
- 2:31取 り 入 れ て い た だ い て、 未 来 が ち ょ っ と ず つ 良 く な る よ う な、 ま あ、 そ ん な
- 2:35知 識 を お 渡 し し て い き た い な と 思 っ て い ま す。
- 2:38は い、 引 き 続 き よ ろ し く お 願 い い た し ま す。
- 2:41コ ミ ュ ニ テ ィ タ イ ム で は 皆 さ ん の フ ァ ン の リ ア ク シ ョ ン お 待 ち し て お り
- 2:44ま す。 じ ゃ ん じ ゃ ん お 送 り く だ さ い ね。
- 2:46ど う ぞ よ ろ し く お 願 い い た し ま す。 冒 頭 で も 触 れ ま し た。
- 2:53シ リ と か ね。 あ と、 ア レ ク サ な ん か も あ り ま す よ
- 2:56ね。 ち ょ っ と 思 い 出 し て い た だ き た い ん
- 2:58で す け れ ど も、 皆 さ ん ど ん な 問 い か け を さ れ て い る か、 今 日 の 天 気 は?
- 3:03と か こ れ こ れ の 音 楽 か け て と か、 そ う い っ た お 願 い を す る と 一 応 答 え て く
- 3:07れ ま す よ ね。 た だ、 そ の 答 え は 晴 れ で す と か 雨 で す
- 3:12と か、 こ の シ リ ー ズ の 音 楽 か け ま す と か。
- 3:14ま あ、 そ ん な 感 じ で 一 問 一 答 で 終 わ る よ う な や り と り で す よ ね。
- 3:19で も、 チ ャ ッ ト GPT や ジ ェ イ ミ ー に 皆 さ ん ね、 日 々 使 っ て い る 方 も い る と 思
- 3:23う ん で す が、 ま あ 全 然 違 う わ け で す ね。
- 3:26メ ー ル の 作 成 を 手 伝 っ て ほ し い ん だ け ど。
- 3:28こ の よ う に 声 を か け る と、 ま あ ど ん な メ ー ル を 作 り ま す か?
- 3:31ま あ 聞 い て く れ ま す よ ね。 そ し て こ れ こ れ、 こ う い っ た 内 容 の メ
- 3:35ー ル を 作 り た い ん で す っ て 言 う と、 ま あ そ れ で は メ ー ル の た た き 案 を 作 り
- 3:39ま す ね っ て こ と で、 ま あ そ れ を 作 っ て く れ る わ け で す。
- 3:43ま あ、 そ ん な 感 じ で 何 度 も 会 話 を や り 取 り で き ま す し、 前 に ど ん な 話 を し た
- 3:48か、 ま あ、 そ う い っ た も の を 踏 ま え て 回 答 し て く れ ま す よ ね。
- 3:51ま あ、 昨 日 の 放 送 で、 ま あ、 AI は 確 率 的 に そ れ ら し い も っ と も ら し い 言 葉
- 3:57を つ な げ て い る だ け。 ま あ、 こ の よ う に 伝 え た わ け な ん で す
- 4:00け れ ど も、 ま あ、 そ れ に し て も す ご い で す よ ね。
- 4:03まる で 人 と 会 話 し て い る よ う な。 ま あ、 そ ん な や り 取 り が で き る わ け で
- 4:07す。 ま あ、 こ の Siri と の 違 い。
- 4:10ま あ、 劇 的 な 変 化、 ま あ い つ ど う や っ て 起 き た の か、 ま あ そ れ に つ い て ね、
- 4:13今 日 は 考 え て い き た い と 思 い ま す。 そ の ス タ ー ト と な っ て い る の が
- 4:182017年、 あ る 論 文 か ら 始 ま っ た と 言 わ れ て い ま す。
- 4:23Google の 研 究 者 た ち が 発 表 し た も の で、 ま あ そ の タ イ ト ル は attention
- 4:28is all you need。 ま あ、 日 本 語 で 言 う と 必 要 な の は ア テ
- 4:32ン シ ョ ン だ け。 ま あ こ う い っ た 論 文 な ん で す ね。
- 4:36で、 こ れ AI 業 界 の 中 で は。 ま あ 知 ら な い 人 は い な い ぐ ら い。
- 4:40ま あ、 歴 史 を 変 え た 論 文 と 言 わ れ て い ま す。
- 4:43ま あ、 そ れ ま で 一 問 一 答 的 だ っ た AI が ま あ ど う し て 劇 的 に 変 わ っ た の か。
- 4:48ま あ、 そ の キ ー ワ ー ド と な る 仕 組 み、 モ デ ル 構 造 が こ の 論 文 で 紹 介 さ れ た
- 4:53ん で す ね。 そ の 名 前 は ト ラ ン ス フ ォ ー マ ー と 言
- 4:56い ま す。 と こ ろ で 皆 さ ん、 チ ャ ッ ト GPT の
- 5:00GPT、 こ れ、 ど ん な 意 味 か ご 存 知 で し ょ う か?
- 5:04ジ ェ ネ レ ー テ ィ ブ プ リ ト レイ ン ド ト ラ ン ス フ ォ ー マ ー、 ま あ、 こ の 略 な ん で
- 5:08す ね。 ジ ェ ネ レ ー テ ィ ブ は 生 成 と い う 意 味
- 5:10で す ね。 プ リ ー ト レイ ン ド っ て い う の は 事 前 学
- 5:13習 さ れ た と い う 意 味 で す。 そ し て ト ラ ン ス フ ォ ー マ ー。
- 5:16こ の ト ラ ン ス フ ォ ー マ ー は 先 ほ ど の 論 文 で 紹 介 さ れ た ト ラ ン ス フ ォ ー マ
- 5:21ー そ の も の な ん で す ね。 ま あ グ ー グ ル の 研 究 者 た ち が 考 え た
- 5:26ト ラ ン ス フ ォ ー マ ー と い う モ デ ル 構 造、 ま あ 実 は チ ャ ッ ト GPT に も 使 わ れ
- 5:30て ま す し、 ま あ ジ ェ ミ に も ク ロ ー ド も ま あ そ れ を 使 っ て い る わ け な ん で す
- 5:34ね。 ま あ、 つ ま り 今 の AI は。
- 5:36ま あ、 み ん な 同 じ 方 か ら 生 ま れ て い る。
- 5:38ま あ、 こ の よ う に 言 っ て も い い と 思 い ま す。
- 5:40ま あ、 し た が っ て、 こ の ト ラ ン ス フ ォ ー マ ー の 仕 組 み や 特 徴 を 知 る っ て い
- 5:44う の は、 今 の 生 成 AI を 知 る 上 で と て も お 得 な ん で す ね。
- 5:49で は ト ラ ン ス フ ォ ー マ ー、 ま あ、 ど ん な 仕 組 み な の か、 何 が す ご い の か。
- 5:54そ こ で 紹 介 し た い の が ア テ ン シ ョ ン 機 構 と 呼 ば れ る 仕 組 み で す。
- 5:59ま あ、 さ っ き の ロ ン グ で 必 要 な の は ア テ ン シ ョ ン だ け っ て あ り ま し た よ ね。
- 6:02ア テ ン シ ョ ン と い う の は 注 意 と い う 意 味 で す。
- 6:05ま あ、 以 前 の AI は 文 章 を 頭 か ら 一 文 字 ず つ 順 番 に 読 ん で い き ま し た。
- 6:12私 は 朝 ご は ん を み た い な 感 じ で、 ま あ 単 語 ご と に 切 り 分 け て、 ま あ 順 番 に 処
- 6:18理 し て い く わ け で す ね。 し か し、 長 い 文 章 が 送 ら れ て き た 場
- 6:23合、 ま あ 最 後 の 文 章 ま で た ど り 着 い た 頃 に は、 ま あ 最 初 の 方 に 何 が 書 い て あ
- 6:27っ た か っ て い う の を、 ま あ 忘 れ て し ま う わ け だ っ た ん で す ね。
- 6:31し か し、 ト ラ ン ス フ ォ ー マ ー は こ れ と は 違 う 仕 組 み で す。
- 6:35ど う い っ た こ と を し て い る か と い う と、 文 章 全 体 を パ ッ と 一 気 に 見 る、 こ
- 6:40う い っ た 処 理 を し て い る ん で す ね。 具 体 的 に は、 単 語 と 単 語 の 関 係 性 に 注
- 6:44目 し ま す。 そ し て、 す べ て の 単 語 同 士 に 線 を 引 い
- 6:48て 重 み を つ け る よ う な 処 理 を 一 瞬 で 行 っ て い る わ け な ん で す ね。
- 6:53例 え ば、 日 本 語 で 言 う と か け る と い う 動 詞 が あ り ま す。
- 6:56メ ガ ネ を か け る、 電 話 を か け る、 椅 子 に か け る、 迷 惑 を か け る。
- 7:01い ろ ん な 意 味 で 使 わ れ る 言 葉 で す よ ね。
- 7:04こ の か け る と い う 言 葉 が 含 ま れ る 文 書 ア テ ン シ ョ ン 機 構 と い う 仕 組 み だ
- 7:09と、 ど の よ う に 処 理 さ れ て い る か、 ち ょ っ と 考 え て み た い と 思 い ま す。
- 7:14例 え ば、 彼 は メ ガ ネ を か け た と い う 文 章 が 入 力 さ れ た と し ま す。
- 7:19今 ま で は 彼 は メ ガ ネ を か け た こ の 言 葉 が バ ラ バ ラ に 処 理 さ れ て い た わ け
- 7:25な ん で す け れ ど も、 ト ラ ン ス フ ォ ー マ ー は こ の メ ガ ネ と い う 言 葉 と。
- 7:30か け る と い う 言 葉、 こ の 二 つ の 言 葉 に 強 い 線 を 引 く わ け な ん で す ね。
- 7:34つ ま り 重 み 付 け を し ま す。 そ う す る と、 か け る と い う 言 葉 が 出 て
- 7:40き た ら、 メ ガ ネ と い う 言 葉 が 関 連 付 け ら れ て い る 状 態 に な る わ け な ん で す
- 7:44ね。 そ れ で あ れ ば、 僕 ら が そ の 後 に 彼 は 何
- 7:48を し ま し た か? こ う い う ふ う に 質 問 を し た ら、 メ ガ ネ
- 7:51を か け ま し た。 こ の よ う に 答 え ら れ る わ け で す ね。
- 7:55か け る と い う 言 葉 だ と、 電 話 を か け る と か 椅 子 に か け る と か、 い ろ ん な 可 能
- 7:59性 が あ る わ け な ん で す け れ ど も、 そ れ 確 率 論 で 出 す と わ け が わ か ん な い 回
- 8:04答 に な っ ち ゃ い ま す。 し か し、 入 力 で メ ガ ネ と か け る、 こ こ
- 8:08に 強 い 線 が 引 か れ て い る 状 態 な の で、 メ ガ ネ を か け た と い う 回 答 を 無 事 に
- 8:13出 せ る よ う に な る わ け な ん で す ね。 つ ま り、 こ の ト ラ ン ス フ ォ ー マ ー は 文
- 8:17脈 に 沿 っ て 回 答 す る と い う こ と が で き る よ う に な っ た と い う こ と な ん で
- 8:20す ね。 こ の 仕 組 み が わ か る と AI が こ ん な に
- 8:23賢 く な っ た 理 由、 も う 少 し 説 明 が で き ま す。
- 8:27キ ー ワ ー ド は パ ラ メ ー タ ー 数 と ス ケ ー リ ン グ 速 ま あ、 こ の 二 つ で す。
- 8:32パ ラ メ ー タ ー と い う の は、 AI の 脳 内 に あ る シ ナ プ ス の よ う な も の で す。
- 8:37こ れ が 多 い ほ ど、 記 憶 量 が 多 く な っ た り は 複 雑 な 処 理 が で き る よ う に な り
- 8:42ま す。 jpt や ジ ェ ミ ニ な ど の 最 新 モ デ ル で
- 8:45言 う と、 こ の パ ラ メ ー タ ー 数 が 数 1000億 や 数兆個 あ る と 言 わ れ て い ま す。
- 8:51こ の ト ラ ン ス フ ォ ー マ ー を 使 う 場 合、 研 究 者 た ち は あ る こ と に 気 づ き ま し
- 8:55た。 こ の パ ラ メ ー タ ー 数 そ し て 学 習 に 用
- 8:59い る デ ー タ 量、 そ し て 計 算 量。 こ の 三 つ を 増 や せ ば 増 や す ほ ど、 AI
- 9:04は 賢 く な り 続 け る と い う 法 則 が あ る ん で す ね。
- 9:08こ れ を ス ケ ー リ ン グ 職 と 言 い ま す。 ひ た す ら 量 を 増 や す こ と で、 質 が ガ ン
- 9:14ガ ン 上 が っ て い く わ け で す ね。 だ か ら 今、 世 界 中 の 企 業 は、 ま あ 何 兆
- 9:18円 も か け て 膨 大 な 量 の 半 導 体 を 購 入 し、 原 子 力 発 電 所 が 必 要 な レ ベ ル の 巨
- 9:24大 な デ ー タ セ ン タ ー に 投 資 し て い る わ け な ん で す ね。
- 9:28こ れ が 今 の AI 開 発 競 争 の 原 動 力 と な っ て い ま す。
- 9:33と い う こ と で、 今 日 は で す ね、 今、 皆 さ ん が 使 っ て い る 生 成 AI の モ デ ル、 ま
- 9:39あ、 そ こ に 搭 載 さ れ て い る ト ラ ン ス フ ォ ー マ ー と い う 仕 組 み、 ま あ、 こ れ に
- 9:42つ い て お 話 し し ま し た。 前 か ら 順 番 に 読 む の で は な く て、 全 体
- 9:47の 関 係 性 を つ か ん で く れ る 文 脈 を つ か む と い う、 ま あ、 そ う い っ た 能 力 を
- 9:52AI が 手 に 入 れ た わ け で す ね。 そ し て そ れ を 圧 倒 的 な 計 算 量 で 支 え
- 9:56る こ と で、 ま あ 人 間 の よ う な 流 暢 さ、 ま あ、 そ れ を 実 現 し て い る と い う わ け
- 10:00で す。 で は 次 回 で す ね、 彼 を 知 る の 続 き、 AI
- 10:05の 性 能 を ど う や っ て 引 き 出 す の か、 ま あ、 そ の 方 程 式 に つ い て 考 え て い き た
- 10:09い と 思 い ま す。 い つ も 隣 の シ ョ ー ト ラ ジ オ を お 聞 き
- 10:16い た だ き、 あ り が と う ご ざ い ま す。 も し AI や プ ロ グ ラ ミ ン グ 学 び た い け
- 10:20ど、 一 人 じ ゃ 続 か な い、 も っ と き ち ん と 深 く 学 び た い な と 感 じ た な ら、 僕 が
- 10:25運 営 す る コ ミ ュ ニ テ ィ ノ ン プ ロ 研 も ぜ ひ 覗 い て み て く だ さ い。
- 10:29ア イ テ ィ ー や プ ロ グ ラ ミ ン グ を 本 職 と し な い ノ ン プ ロ グ ラ マ ー が お 互 い
- 10:33に 落 ち 合 い、 励 ま し 合 い な が ら、 仲 間 と と も に 楽 し く ス キ ル ア ッ プ で き る、
- 10:37そ ん な 学 び の 場 に な っ て い ま す。 ま ず は ど ん な 場 所 か、 番 組 の 概 要 欄 の
- 10:42リ ン ク か。 ら。
- 10:43覗 い て み て く だ さ。 い あ な た の ご 参 加、 心 か ら お 待 ち し て
- 10:47い ま す。 さ て、 エ ン デ ィ ン グ の お 時 間 で す。
- 10:52今 日 ね、 一 番 重 要 な キ ー ワ ー ド は ト ラ ン ス フ ォ ー マ ー。
- 10:55こ ち ら に な り ま す。 今 流 行 り の AI の ブ ラ ッ ク 側、 こ の ト
- 11:00ラ ン ス フ ォ ー マ ー と い う 仕 組 み を 使 っ て い ま す の で、 ま あ こ れ を 知 る こ と
- 11:03で ね、 だ い た い の AI モ デ ル、 同 じ よ う な 特 性 を 持 っ て い る と い う こ と が わ
- 11:08か る わ け で す ね。 そ し て ア テ ン シ ョ ン 機 構 で す よ ね。
- 11:12す べ て の 文 章 の 単 語 の 関 係 を、 ま あ 一 気 に 計 算 し て い る。
- 11:15ま あ、 そ う い っ た 仕 組 み に な り ま す。 そ し て AI が 文 脈 を 掴 ん で い る よ う に
- 11:20見 え る わ け な ん で す け れ ど も、 こ れ は 膨 大 な 計 算 に よ っ て 関 係 性 の ネ ッ ト
- 11:24ワ ー ク こ れ を 導 き 出 し て い る こ と。 ま あ、 こ れ に よ っ て 実 現 さ れ て い る わ
- 11:29け な ん で す ね。 次 回 は で す ね、 引 き 続 き 彼 を 知 る。
- 11:33ま あ、 AI の 基 礎 に つ い て 考 え て い き た い と 思 い ま す。
- 11:37AI の 性 能 を 引 き 出 す た め の 方 程 式 ま あ、 こ れ に つ い て 考 え て い き ま し ょ
- 11:41う。 さ て、 最 近 取 り 組 ん で い る こ と の 一 つ
- 11:45に、 Google の ア ン チ グ ラ ビ テ ィ と い う ツ ー ル が あ る ん で す け れ ど も、 ま あ
- 11:49そ の 中 で 知 的 生 産 環 境 を 作 ろ う と い う の を や っ て い ま す。
- 11:55例 え ば、 こ の 中 に、 AI に よ る CSO 最 高 戦 略 責 任 者 と か で す ね。
- 12:00cedo、 最 高 編 集 責 任 者 と か、 ま あ そ う い っ た も の を ま あ 作 る わ け で す ね。
- 12:06で、 そ の そ れ ぞ れ の 役 割 を 持 っ た AI と や り と り を す る こ と で、 ま あ 知 的 生
- 12:11産 活 動 を す る と。 ま あ、 そ う い っ た こ と を こ う 狙 っ て 環
- 12:14境 を 作 っ て い る わ け な ん で す け れ ど も、 ま あ、 か な り い い 感 じ に な っ て き
- 12:18ま し た。 い ず れ ど こ か の 機 会 で、 ま あ 皆 さ ん に
- 12:21も ね、 お 伝 え で き れ ば と 思 っ て い ま す。
- 12:23ま あ、 そ の 際 に は ね こ の 隣 ラ ジ オ で も お 知 ら せ し た い と 思 い ま す の で、 楽 し
- 12:27み に お 待 ち い た だ け れ ば と 思 い ま す。 い つ も 隣 に お 仕 事 ラ ジ オ 番 組 へ の 感
- 12:33想 は ノ ー ト の コ メ ン ト 欄、 ま た は エ ッ ク ス で 投 稿 く だ さ い。
- 12:37ハ ッ シ ュ タ グ は 隣 ラ ジ オ、 隣 は 漢 字 カ タ カ ナ ラ ジ オ で す。
- 12:41無 料 の デ ィ ス コ ー ド コ ミ ュ ニ テ ィ の 参 加 も 大 歓 迎 で す。
- 12:44こ の 番 組 を 気 に 入 っ て い た だ け た な ら、 ぜ ひ フ ォ ロ ー い た だ け れ ば 嬉 し い
- 12:48で す。 そ れ で は 今 日 も 価 値 あ る 一日 を。
- 12:51お 相 手 は 高 橋 紀 明 で し た。