Latest / マヂカル.fm / 195: 「現場で活用するためのAIエージェント実践入門」を読もう 後編
Transcript
- 0:07michiru_da: マヂカル.fmは関西人のプロダクトマネージャーみちるだと関西人(?)のソフトAI事業のオパミューンが週2で配信する雑談ポッドキャストです。
- 0:17michiru_da: お願いします。
- 0:18うぱ / upamune: お願いします。
- 0:19michiru_da: 今日のテーマは、現場で活用するためのAIエージェント実践入門を読んでいるよ後半。
- 0:30michiru_da: 前回も、かの有名なAIエージェント本、緑と青の表紙のやつをみちるだが3章半ぐらい読んだよって話をしてまして、
- 0:42michiru_da: 1章と2章が非エンジニアでも結構わかりやすいAIエージェントの概要説明というところになっておりましたので、
- 0:52michiru_da: ちょっと内容をサマライズしつつ、気になったところをおっぱさんに聞く回をやっていました。
- 0:59michiru_da: 45分ぐらい喋ったんですけど、1章ぐらいしか終わらなかったので、残りの2章は今から喋ろう。
- 1:09michiru_da: なんでちょっとAIエージェントとは何ぞ、みたいな人とかはちょっと前回から言ってください。
- 1:17michiru_da: 1章はかなり騒論な感じだったんですけど、1章のところでも話したツールを呼ぶみたいな、
- 1:28michiru_da: かなり具体でAIエージェントを使っていくためにしておいた方がいいこと、みたいなのが2章にはいっぱい書いてあります。
- 1:37michiru_da: 2章にもAIエージェントの内部構成みたいな図があって、真ん中にLLMがいて、
- 1:43michiru_da: メモリー、自己修正、計画、プロフィール、行動地格、みたいなものとLLMがつながっていて、
- 1:52michiru_da: その周りの外部の環境、APIとかいろんなデータとかブラウザとかとやり取りしながらタスクを進めるよ、
- 1:59michiru_da: みたいなことが図で書いてあります。
- 2:06michiru_da: この章は順番にプロフィールとは何ですか、みたいなこととかを説明してくれていて、
- 2:15michiru_da: プロフィールはLLMにセッティングする役割みたいなやつですね。
- 2:21michiru_da: あなたはベテランのケリー担当者です、みたいなこととかを言うと、
- 2:25michiru_da: ケリーの人が気になる、気にするようなコートとかを注意しながら動いてくれるみたいな、
- 2:32michiru_da: 明るい計画で振る舞ってください、みたいなことで明るい応答をしてくれるみたいな感じです。
- 2:40michiru_da: 自分もそういうのがあるとか、あなたはこういう役割ですっていうのを設定することでアウトプットの精度が上がるみたいなのは聞いたことがあったんですけど、
- 2:50michiru_da: このプロフィールの部分もエージェント的に、メモリを参照してどんどんプロフィールのところも更新するような、
- 3:03michiru_da: 思考や知識を参照するエージェントワークフロー型のプロフィールを使ったエージェントも増えているよ、みたいな話があって、
- 3:13michiru_da: それはへーってなりました。
- 3:16michiru_da: たぶん別に経理担当者ぐらいとかだったらそんなに困らないんですけど、
- 3:21うぱ / upamune: なんかその実在の歴史の人物になりきってくださいとかだと、どんどん汚染されちゃったりするのかな。
- 3:29michiru_da: なので、たぶん同じ役割を維持し続けるためには、
- 3:33michiru_da: たぶんそのメモリとかを使って、ちゃんとキャラクターとか設定したパルソナの背景を新しく更新し続ける方がいいですよ、みたいな話が書いてあって、なるほどと思いました。
- 3:47michiru_da: ここはそっかって感じですかね。
- 3:49うぱ / upamune: まあ確かに、めっちゃ長い会話してたら忘れて、忘れて全然違う人として振る舞ってる。
- 3:58michiru_da: 自分が何者か忘れちゃう。
- 4:00うぱ / upamune: 悲しい。
- 4:01michiru_da: 悲しい。
- 4:02うぱ / upamune: メモリーいきなり出てきた気がするんだけど。
- 4:05michiru_da: 確かに。そうね、メモリーも未知数だわからないことの1個であるんだよな。
- 4:11うぱ / upamune: メモリーめっちゃ大事ですよね、たぶん。メモリーの章あります。
- 4:18michiru_da: メモリーとは何だ。
- 4:21michiru_da: メモリーはLLMにインプットする情報を別で保持しとくやつみたいなイメージですね。
- 4:32michiru_da: LLM、コンテキスト帳みたいな、何トークンまでしか入れれないよ、みたいなことがあると思うんですけど、
- 4:42michiru_da: LLMに一度にインプットできる情報量って限られているので、
- 4:47michiru_da: 限られているし、たぶん長いコンテキストを渡しても全部読み取ってくれたら限らないみたいなことがあるので、
- 4:55michiru_da: 例えばエージェントが過去にやったアクションとか、
- 5:00michiru_da: 行ってきた応答とかをメモリーっていうものに別に置いておいて、
- 5:06michiru_da: それを適宜参照させることでタスクの成功率とかが上がるみたいな感じのやつ。
- 5:15うぱ / upamune: 今ってChatGPTとかも話し続けるともう無理みたいになるんですかね。
- 5:22michiru_da: 確かにもういっぱいだよみたいな。
- 5:26うぱ / upamune: なるんですかね。
- 5:27うぱ / upamune: そもそも普通の人からしたら話せる長さに制限あるんだみたいな、コンテキスト帳。
- 5:34うぱ / upamune: そうなんですよね。結構短いんですよ。
- 5:38michiru_da: そうなんだ。GPTが話せなくなるのはコンテキスト帳がいっぱいになるからなんですね。
- 5:47うぱ / upamune: ChatGPTがどうハンドリングしてるのか知らないですけど、いろんな手法がありますね。
- 5:57michiru_da: なんかそのChatGPT最初に出たときって、
- 6:00michiru_da: 同じ話は同じチャット上でしておくと過去に話してないのに引き継いでくれるよみたいなのがあったけど、
- 6:07michiru_da: 最近ってもうそのどのスレか関係なく自分の会話ってめっちゃ引き継がれてるじゃないですか。
- 6:13michiru_da: あるいはそのメモリがめっちゃデカなったみたいな。横断してメモリを持ってるみたいな。
- 6:18うぱ / upamune: そうですね。ChatGPTでメモリを持ってるっていう感じですね。
- 6:22michiru_da: なるほど。
- 6:24michiru_da: なんかこれ理論上わかるんですけど、メモリとコンテキストの使い分けって何みたいな。
- 6:32michiru_da: メモリも結局コンテキストな気がするんですけど、
- 6:37michiru_da: LLMに明示的にインプットするやつとメモリに置いとくやつがあると思うんですけど、どういう違い?
- 6:45うぱ / upamune: それはなんかあるじゃないですか。プロンプトっていつも乗るじゃないですか。
- 6:53うぱ / upamune: そうなんでコンテキストを圧迫するんですよね。
- 6:56うぱ / upamune: 例えばメモリにみちるださんが前に私の好きな朝食はリンゴヨーグルト覚えといてって言ったときに、
- 7:05うぱ / upamune: 毎回別の会話するときにみちるだの好きな朝食はリンゴヨーグルトって載ってたら無駄すぎません?
- 7:12うぱ / upamune: なんでみちるださんが朝食の話とか私の好きな朝食をAmazonで頼んどいてとか言ったときに、
- 7:21うぱ / upamune: みちるだの好きな朝食、メモリから検索して朝食リンゴヨーグルトじゃんってなったほうがいいですよね。
- 7:28michiru_da: なるほど。じゃあいつも参照するものじゃないんだメモリは。
- 7:31うぱ / upamune: メモリはツールとかと同じで、欲しくなったらとか。
- 7:36michiru_da: へー、なるほど。それもLLMが自律的に判断もするし、こっちから指定もできる感じ?
- 7:45michiru_da: そうなんだ。メモリに何を保存するかって指定が必要なんですか?
- 7:50うぱ / upamune: これメモリのレイヤーをどう設計するか次第だから。
- 7:56michiru_da: レイヤーって難しい言葉ですよね。
- 7:59うぱ / upamune: ただの層、層です。
- 8:01michiru_da: でもなんかシステム用語でレイヤーってあるじゃないですか。
- 8:05うぱ / upamune: そう。ミルフィーユみたいになってるってことですね。
- 8:09michiru_da: 今のはもう汎用的な層の意味のレイヤー。
- 8:13うぱ / upamune: そうです。それをどう設計するかなんですよね。
- 8:17うぱ / upamune: 例えば、ユーザー単位で分けるのか。
- 8:21うぱ / upamune: ユーザー単位で分けないと、別に分けなくてもいいときもあると思うんですよ。
- 8:27うぱ / upamune: ある会社の知識として活用したいみたいな場合と、ある人の単位でやりたいみたいな。
- 8:35うぱ / upamune: それで時間の概念もありますよね。
- 8:39うぱ / upamune: 毎年出てるような映画で、明日には記憶なくなっちゃうみたいな。
- 8:45うぱ / upamune: ああいうのも一日単位のメモリだったら、そういうのも実現できるっていうことですね。
- 8:50michiru_da: なるほど。今日の記憶だけ使えるみたいな。
- 8:53うぱ / upamune: そうです。前に話した、うちの会社のラグのボットは、メモリのキーにSlackのスレッドの親のタイムスタンプ入れてるんで、Slackの同じスレの中だけのメモリを持っています。
- 9:16うぱ / upamune: なので、Slackのスレで話したことは覚えてるみたいな。
- 9:21michiru_da: それ以外は知らない。
- 9:23michiru_da: そのAIボットを呼び出すときに参照してるメモリは、Slackのスレッドの中身だけっていう。
- 9:31うぱ / upamune: それを逆にSlackのユーザーIDとかをキーにしたら、別にそのスレッド単位じゃなくても、いろんなところで君はそこであれを聞いてきたね、みたいなのもできる。
- 9:47michiru_da: 確かにそれもどこで区切るかが工夫のしがいがありますね。
- 9:54うぱ / upamune: そうです。
- 9:55michiru_da: 一旦ちっちゃめの方が安心なのかな。
- 9:57うぱ / upamune: そうですね。メモリなんか最初からいるのかなっていう気がする。
- 10:06うぱ / upamune: そうなんだ。
- 10:07michiru_da: 要件次第。
- 10:08michiru_da: より精度を上げるためにって感じなのか。
- 10:11michiru_da: メモリもそのコンテキスト帳みたいなMAXがありますか?
- 10:15うぱ / upamune: ないと思います。
- 10:16michiru_da: そうなの?
- 10:17うぱ / upamune: ないと思いますっていうか、これメモリレイヤーは多分どうやって実現するかみたいなのって書かれてました?
- 10:29michiru_da: 先の方に行ったらあるかもしれない。
- 10:32michiru_da: ここはね結構意味合いしか。何を入れるかとかは書いてあるんですけど。
- 10:40うぱ / upamune: メモリの保存形式。
- 10:42michiru_da: これね分かんなかったな。
- 10:44michiru_da: メモリに保存する形式がテキスト形式とパラメトリック形式があります。
- 10:50うぱ / upamune: ここではラグの話とかFAQ回答だったらラグをメモリとして使うっていう話。
- 11:00うぱ / upamune: 一番上の01はメモリDBに保存するみたいな話なんで、
- 11:08うぱ / upamune: そのデータベースって無限に入るんで。
- 11:13michiru_da: じゃあこれがメモリの保存場所だよっていうのは指定するんだ。
- 11:20うぱ / upamune: はい、それがないと動かないです。
- 11:23michiru_da: 場所だけ指定すれば勝手に何かをメモリに保存してくれるんですか?
- 11:29うぱ / upamune: いや、そんな魔法のツールじゃなくてただのツールコールの一種だと思ってるんだけど。
- 11:34michiru_da: そうなんだ。じゃあメモリにこういうの保存してねっていうのはやっぱり指示しないといけないのか。
- 11:39michiru_da: それもプログラムなのか。
- 11:42michiru_da: この本読んでて意外とAIが吉野にやってくれる箇所って少ながちなんだなっていうのも直感と違うところでした。
- 11:50michiru_da: その前半の決定論的な箇所が多い方がいいよっていうのもそうなんですけど。
- 11:58うぱ / upamune: そうです。というか業務で使うものはいかにAIを自由にさせないかっていう。
- 12:04うぱ / upamune: 自由にさせすぎるとなんか実感に1回しかちゃんと動かないAIになるんで。
- 12:10michiru_da: もうレールを敷きまくる。
- 12:13michiru_da: こっち行かないよって。
- 12:14michiru_da: そうそうそう。
- 12:16michiru_da: それでもAI使った方がいいんですか?
- 12:18うぱ / upamune: もちろん。
- 12:19michiru_da: そうなんだ。
- 12:20うぱ / upamune: いわゆる入力がガチっと決まってないと扱えないものが多かったんで。
- 12:31うぱ / upamune: それは例えばPDFファイルとか投げ込まれたり、これをこの中から金額と取引先とか画像を投げられるとか、
- 12:40うぱ / upamune: 人の入力とか様々な入力に耐えられてその形式も別にどうでもいいみたいな。
- 12:47michiru_da: 入力をフォーマットにしなくて良くなるみたいなのはめっちゃ楽ですからね。
- 12:52うぱ / upamune: そうですね。なのでメモリもめっちゃ特別なものというよりは、
- 13:00うぱ / upamune: そのAIが何かを覚えておくために利用するもの。
- 13:05うぱ / upamune: そのいつ利用してほしいとか何を保存してほしいかは言っといたりする必要があるっていう感じですね。
- 13:12michiru_da: なるほど。
- 13:13michiru_da: このメモリをAIが操作するみたいな箇所もあるんですけど、
- 13:19michiru_da: メモリは書き込み読み取り管理の3つがあって、
- 13:26michiru_da: 書き込むときには要約をして書き込むのが重要だよとか、
- 13:32michiru_da: 逆にメモリから何かを読み取っていくときには、
- 13:38michiru_da: いい感じに検索をして正しい情報をゲットして、
- 13:43michiru_da: それを読み込むのが大事だよみたいなことがあるんですけど、
- 13:47michiru_da: これメモリの読み取りって実質ラグってなったんですけど、
- 13:51michiru_da: 全然違う概念ですか?
- 13:54うぱ / upamune: メモリの読み取りはラグなときもあります。
- 13:59うぱ / upamune: さっきの例の話ですね。
- 14:02うぱ / upamune: 普通に、ラグじゃない普通にMySQLとかのデータベースの可能性もあるし、
- 14:07うぱ / upamune: 後ろがラグな場合もあるし、
- 14:10michiru_da: はたまたただの普通のファイルのテキストファイルの場合もある。
- 14:15うぱ / upamune: 例えば、みちるだの好きなものをとにかく書き溜めたテキストファイルとかあったとしたら、
- 14:27うぱ / upamune: それがメモリになってる。
- 14:29michiru_da: メモリって何だろう?毎回参照しなければメモリ?
- 14:36michiru_da: 拾おうと思って?
- 14:37うぱ / upamune: そうですよ。
- 14:39うぱ / upamune: とにかく永久保存できるもの。
- 14:41うぱ / upamune: そのAIジェントの活動が終わっても保存されているもの。
- 14:45michiru_da: それを後から使うとかもできるんだ。
- 14:48うぱ / upamune: だからAIジェントを呼び出されたら、永久保存されているものを読みに行って、
- 14:53うぱ / upamune: 逆に何か新しいものを覚えたらそこに書き込みに行く。
- 14:57うぱ / upamune: なのでそのAIジェントが活動を終了しても次にそれを参照できる。
- 15:03うぱ / upamune: AIジェントが違ったらプロンプトっていうかコンテキストが独立してるんで、
- 15:08うぱ / upamune: そいつらの中でも共通認識としてメモリを使えるってことですね。
- 15:14michiru_da: 同じメモリを別のAIジェントで使い回すこともできるよっていう。
- 15:21michiru_da: このメモリっていう独立した概念で存在するのが何の違いなんだって最初なりましたね。
- 15:28うぱ / upamune: でもNAとNとかもそうですね。
- 15:30michiru_da: メモリってありますよね。
- 15:32michiru_da: デイビーアイコンみたいな。
- 15:34うぱ / upamune: そうですね。
- 15:35michiru_da: あれ最初私メモリなしで使ってて、毎回全て忘れてて、あれってなりました最初。
- 15:41うぱ / upamune: でもうちのラグボットも最近までメモリなかったですね。
- 15:46うぱ / upamune: 別に今でも別に外してもみんな違いもよくわかんないと思います。
- 15:49michiru_da: そうなんだ。
- 15:51michiru_da: 一応本だとメモリ使う方が22%精度が出るので、とりあえず使った方がいいよみたいな感じだったんですけど。
- 16:00michiru_da: 時と場合によるという感じなのか。
- 16:02うぱ / upamune: よるし、また戻ってくるけどその人は設計力士ですよね。
- 16:09うぱ / upamune: ゴミをめっちゃ保存しちゃって引っ張ってくるときもゴミだらけだったら、ただコンテキスト圧迫して結果に何も寄与しないゴミデータだけが押し寄せてくるみたいな感じだったら意味ないんで。
- 16:23うぱ / upamune: なるほど。
- 16:27うぱ / upamune: なんでまずなんだろうな。メモリなしで始めてみて。
- 16:33うぱ / upamune: なんかメモリが必要じゃねって別のAI人の実行でも覚えてほしい何かとかあるんだったら使えばって感じかな。
- 16:46うぱ / upamune: なるほど。
- 16:48うぱ / upamune: もうメモリだけのスタートアップとかありますからね。
- 16:51michiru_da: すごいね。成り立ってるんだ。
- 16:54うぱ / upamune: ん?
- 16:55michiru_da: 成り立ってるんだ。
- 16:56うぱ / upamune: 何立ってる?
- 16:57michiru_da: いや、成り立ってるんだ。
- 16:58michiru_da: 成り立ってる。
- 16:59うぱ / upamune: メムゼロとかゼップとか。
- 17:03michiru_da: メモリって何を入れることが多いんですか?
- 17:06うぱ / upamune: 本だと行動履歴とか対話履歴みたいな。
- 17:10うぱ / upamune: うん。とかじゃないですかね。ヒストリーとか。
- 17:13うぱ / upamune: その人の何だろう。チャットGP的なやつだったら覚えてとか言ったら多分覚えてくれるんですよね。
- 17:20michiru_da: チャットGPって。分かんないけど。
- 17:23michiru_da: 対話記録は残しておいた方がいいよっていう。
- 17:28michiru_da: ただ、さっきのゴミをいっぱい保存すると意味ないよっていうのと一緒で、
- 17:34michiru_da: 過去の経験をそのまま記録し、情報を圧迫せずにプロンプトに組み込むと、ロングコンテキスト問題に繋がります。
- 17:44michiru_da: これはめっちゃでかいプロンプトとかを書かれると、
- 17:49michiru_da: LLMは最初と最後しか読めないみたいな。中の内容が抜け落ちちゃうよっていう問題があるので、
- 17:55michiru_da: いかに過去の経験をメモリに入れるとしても、要約して短いプロンプトにするかみたいな。
- 18:02michiru_da: それがポイントですよっていうのが書いてありました。
- 18:05michiru_da: これはめっちゃ私やりそうだなと思って、やりそうってコメントをしてます。
- 18:10うぱ / upamune: そうっすね。でもメモリのことはもう一旦忘れてんじゃん。
- 18:15michiru_da: そうなんだ。時間を使っちゃった。メモリで。
- 18:19michiru_da: なんかそういうものもあんのね。
- 18:22michiru_da: あとなんかこの本で意外とそのページを使って解説されていたのが、計画のところなんですよね。
- 18:30michiru_da: そのLLMを構成する要素で、さっき説明したプロフィールとかメモリとか、実際に行動するところみたいなのに加えて、計画っていうものがありますと。
- 18:45michiru_da: 私の感想として、こんな章を削くほど大事なんだ。
- 18:51michiru_da: LLMに計画してって言うだけではないのかっていう感想が書いてありますね。
- 18:57michiru_da: でもこの本だとそのタスクの計画と実行計画みたいな、2種類ありますよっていうのが書いてあるんですけど、
- 19:06michiru_da: エアーエージェントに合理的に最速で問題を解決してほしいという期待があるときには、できるだけ少ないステップで目標を達成するための計画立てというものが非常に重要ですというところが書いてあります。
- 19:24michiru_da: で、タスク計画はそうだ。とにかく小さいステップに作業を分けろみたいなのが書いてありましたね。
- 19:35michiru_da: あと、実際の達成したいゴールの手前にサブゴールみたいな、中間ポイントを置いて、
- 19:46michiru_da: たぶんLLMが実際タスクとかをやっていった後に、ちゃんとその中間ポイントに達してるかみたいなのとかを設定すると早めに間違いに気づいて修正できるから、それもいいよみたいなのが書いてありましたね。
- 20:01michiru_da: めっちゃ人間だなと思いました。
- 20:04うぱ / upamune: そうですね。これも計画指定だとLLMの能力にだいぶ左右されちゃう。
- 20:11michiru_da: そうなんだ。
- 20:12うぱ / upamune: バカLLMだったら変な計画になったりとか。
- 20:15うぱ / upamune: あと、ジェミニのディープリサーチとかもまず聞いてきますよね。
- 20:20michiru_da: そうですね。
- 20:21michiru_da: 計画これいいですか?
- 20:22michiru_da: 3つぐらいで質問してくる。
- 20:24うぱ / upamune: 質問をして解答したら、じゃあこの計画で進めます。いいですか?みたいな感じで選べますけど。
- 20:34うぱ / upamune: 結構それないとあれですよね。長い時間走った後で、いやこれ全然違うやつやんけみたいな。
- 20:41michiru_da: 悲しい。
- 20:42うぱ / upamune: そう。めちゃめちゃじゃなくてマチルダやないかいみたいなのが計画時点でわかってれば。
- 20:48うぱ / upamune: で、タスクの切り出しとかも、なんだろうな。ここではどういう単位で計画してほしいみたいなのが書いてればいいんじゃないかなっていう。
- 21:01うぱ / upamune: この小さいステップに作業を分けるっていうのも多分人によっても認識が違うし、LLMによっても違いますよね、例えば。
- 21:12michiru_da: そうなんだ。
- 21:14うぱ / upamune: ここだとマインクラフトの例がありますけど、材料準備、アイテム作りとか、その流度これも小さいのかみたいな話もあるし。
- 21:24michiru_da: 結構デカそうだ。
- 21:25うぱ / upamune: そう。なんでそれで計画作ってみて、A案と5回に1回ぐらい失敗するから、もっと材料準備のやつは細かく何が必要なのかっていう材料を計画に書くように指示した方がいいのではとか、そういうのでいい感じになってくる。
- 21:49michiru_da: 親父さんも何か気を付けてることとかもありますか。
- 21:56うぱ / upamune: むずいな。でも私は何か1回シュッてやらしてみて、なんだろう、違うこういう順番でやってほしいんじゃないんだよなっていうのは、その場でフィールドワークして、そいつにプロンプトに書き直してもらう。
- 22:15うぱ / upamune: それでもう1回最初からやるみたいな。
- 22:17michiru_da: なんかその最近あんま見ないけど、そのクロードコード7時間ずっと走らせてましたみたいな人いるじゃないですか。
- 22:25michiru_da: それってもうタスク計画がめっちゃ精度高いみたいな。
- 22:30うぱ / upamune: いや、あれはもう何なんすかね。分かんないっす。
- 22:34michiru_da: とりあえず実行してるだけみたいな感じなのかな。
- 22:37うぱ / upamune: でもSDD、スペックドリブンデベロップメント、スペック駆動開発。
- 22:43michiru_da: 仕様駆動開発。
- 22:44うぱ / upamune: そうそう、あれは結構もう恒例の極地っていう感じではあります。
- 22:48うぱ / upamune: 私も開発するとき最近はもうSDDなんですけど、もう1300行ぐらいのまずデザインドキュメントを書いて。
- 22:58michiru_da: へー、そんな細かいんだ。
- 23:00うぱ / upamune: で、それにフィードバックして。
- 23:02うぱ / upamune: で、フィードバックしたら最後にその計画、実装する前にその計画と実際のコード群の計画との差分を擦り合わせるっていうクロードコードが勝手に。
- 23:18うぱ / upamune: で、こういう違いがあったけどどうしようかねみたいな聞いてきて。
- 23:23うぱ / upamune: これはこっちでこれはこっちみたいな。
- 23:25うぱ / upamune: そんな感じでしたらもう誰が何回クロードコードを実行しても大体同じ実装が出てくるみたいな感じだから、
- 23:32うぱ / upamune: それとかまで詳細にかけたらその7時間走らせるみたいなのもいけるという感じですね。
- 23:39michiru_da: なるほど。
- 23:40michiru_da: その選択、そうか小さいステップに分けるみたいなのも結局ゴールをめっちゃ詳しくインプットしてあげるみたいなことなのか。
- 23:50うぱ / upamune: 計画もね一番ざっくりな計画ってこの機能を実装しろっていうやつだけど、
- 23:55うぱ / upamune: これとこれとこれの関数を実装して繋いだらいけるよっていう一個ブレイクダウンしたものと、
- 24:04うぱ / upamune: この関数をさらにこういう実装にした方がいいよみたいな話もあるから、
- 24:09うぱ / upamune: タスク分解をどこにするかっていうのは小さい方がいいんだけど小さすぎたら本当にさっき最初に話したような、
- 24:17うぱ / upamune: まずこのファイルを読み込みますみたいな、これを探しますみたいな小さすぎるやつになっちゃうから、
- 24:24うぱ / upamune: その時のモデルの能力という感じですね。
- 24:29michiru_da: なるほど。モデルの能力めちゃ結果を左右するんです。
- 24:34うぱ / upamune: そうですよ。
- 24:35うぱ / upamune: だから、例えばGPT-5ってコーデックスってコードを書くCLIツールがあるんですけど、
- 24:43うぱ / upamune: コードを書くときはGPT-5コーデックスっていうコード書く専用のモデルになるんですよ。
- 24:49michiru_da: そうなんだ。
- 24:51うぱ / upamune: コードに関してより精度というか上がってるモデルなんですよね。
- 24:59michiru_da: いい感じなんですか?
- 25:01うぱ / upamune: いい感じです。クローズコードとかより全然。
- 25:04michiru_da: うぱさんもそちら側に。
- 25:06うぱ / upamune: 遅いんですよね。
- 25:07michiru_da: そうなんだ。何が?コーデックスが?
- 25:10michiru_da: コーデックスが。
- 25:11michiru_da: そうなんだ。コーデックスまだ触ったことないよ。
- 25:14うぱ / upamune: 遅いです。けど本当にねコーデックスはお得ですよ。
- 25:19michiru_da: どういうこと?
- 25:20うぱ / upamune: だってコーデックスって普通の人っていうか、そのGPTの旧チームプラン、ビジネスプランだったら月30ドルなんですよね。
- 25:34うぱ / upamune: 30ドルでコーデックスのCLI使えます。
- 25:39michiru_da: コード書くやつ。
- 25:41うぱ / upamune: でももちろんVSコードとかカーソルにインストールできる拡張機能も使えますと。
- 25:47うぱ / upamune: デビューみたいなコーデックスクラウドっていうSlackとかウェブ画面で指示したらコード書いてくれるやつも使えます。
- 25:57うぱ / upamune: あとはプロリクエストのレビュー機能もコーデックスによる使えます。
- 26:03うぱ / upamune: さらにGPTっていうチャット機能も付いてくる。
- 26:07うぱ / upamune: それで30ドル。
- 26:09michiru_da: 高機能ですね。
- 26:11michiru_da: そうそう。
- 26:12michiru_da: 全部使ってますか?
- 26:13michiru_da: もちろん。
- 26:14michiru_da: そうなんだ。
- 26:15うぱ / upamune: コーデックスクラウドはめっちゃ調査させてる。
- 26:18michiru_da: 気になった時にやって?
- 26:22うぱ / upamune: そうそう。問題とか起きた時にSlackでアットメンションして、これってこういうことなのか、こういうことなのかね、そしたら調査しますみたいな。
- 26:29michiru_da: そうなんだ。
- 26:30うぱ / upamune: で、iPhoneのライブアクティビティでこの問題を調査中みたいなのが出てくるんで、グッドです。
- 26:38うぱ / upamune: SlackのSlackじゃない、ChatGPTのiOSアプリからもコーデックス使えるんで、そっからもブチブチってできたりするんで。
- 26:46michiru_da: 確かに万博行ってる時にうぱさんにコーデックスデコーディングできるよってお勧めされたな、そういえば。
- 26:51うぱ / upamune: でしょ?やってないな。
- 26:54うぱ / upamune: そうじゃんって言ってたね。
- 26:57michiru_da: 私たちとやる前に、仕様を考えてから作らせようと思ったんで、仕様を書いてたら万博終わりました。
- 27:06うぱ / upamune: ちょっと脱線しちゃったけど。
- 27:08michiru_da: なるほどね。
- 27:09うぱ / upamune: 計画第一っていう話ですね。
- 27:11michiru_da: 計画第一なのに、LLMに行動計画が立てられるのかっていうショーがあって、そこで衝撃の。
- 27:21michiru_da: 実は行動計画のような実行可能な手順を組み立てるのは、LLMにとっては難しいという研究結果が報告されていますっていう。
- 27:30michiru_da: 苦手なんだみたいな。
- 27:32うぱ / upamune: ワンショットでいいの出てきたことなんかないですね。
- 27:34michiru_da: そうなんだ。
- 27:36michiru_da: なんかその、ちょっとさっき、今回か前回か忘れたけど、カーソルのプランモード、計画モードできましたよとか、
- 27:44michiru_da: クラウドコードをまず計画してくれるのがいいってみんな言ってたけど、
- 27:48michiru_da: これは別にその精度というかは、とりあえずそういうアクションやってくれる体験がいいみたいなことだったのか。
- 27:55うぱ / upamune: いや、作ってきた計画へのフィードバック前提ですね。
- 27:58うぱ / upamune: 計画立ててフィードバックなしでコーディングするんだったら、計画別にこっちに見せてくれなくてもいいんで、
- 28:08うぱ / upamune: プランモードって、実際に何かのファイルをいじりに行ったりしないっていう計画専用モードで対話しながら計画することで、
- 28:21うぱ / upamune: さっきのジェメギのディープリサーチみたいな、マチルダのこと調べたいんじゃないねんっていうみたいな悲劇を、
- 28:29うぱ / upamune: 例えば1時間走らせてから気づくことがなくなるっていうことですね。
- 28:35michiru_da: なるほど。
- 28:36michiru_da: LLMは苦手だけど頑張ってるんだ。
- 28:39うぱ / upamune: 一応頑張ってくれます。
- 28:41うぱ / upamune: やっぱなんか、ゼロから書くのめっちゃだるいし、
- 28:46うぱ / upamune: あと、口で言えばそれを直してくれるのがめっちゃ楽ですね。
- 28:51michiru_da: まあないよりはいいし、っていう感じなのか。
- 28:54うぱ / upamune: こうしてみたいな感じだったら、ちゃんとした計画になるんで。
- 28:59うぱ / upamune: まあけどね、普通のこういうプランドットMDみたいなのを書こうみたいなのがちょっと前はあったんですけど、
- 29:06うぱ / upamune: やっぱそれでもね、ちょっと詳細すぎないから、やっぱ実行するときに解釈の幅が出るんですよね。
- 29:14michiru_da: はいはいはい。
- 29:15うぱ / upamune: なんで実行したらツンみたいな感じに。
- 29:19michiru_da: わかりますね。
- 29:20うぱ / upamune: それがSDDで本当にだいぶマシになりました。
- 29:23うぱ / upamune: そうなんだ。
- 29:28うぱ / upamune: 本当になんかVIVEコーダーみたいな人にはSDDめっちゃ向いてないけど、
- 29:32michiru_da: 前からそのプランMDみたいなの書いて、精密に計画して実行したいよっていう人にはSDDマジでおすすめですね。
- 29:43michiru_da: なんか自分もそのLLMにPRDっていうか、使用書みたいなの書かせるみたいなのあるんですけど、
- 29:51michiru_da: なんかいい感じに指示しないと、本当にお前それでわかってんのかみたいな、
- 29:56michiru_da: バリ抽象的な使用書みたいなやつが出てくるんで、
- 30:01michiru_da: フェードバック前提みたいなのは間違いないなって感じですね。
- 30:06うぱ / upamune: そうですね。
- 30:07michiru_da: で、なんでこの本でもそのLLMで行動計画、
- 30:12michiru_da: 特になんか1個実行した後のその次の状況をあらかじめ予測して、次の手を考えるやつ。
- 30:20michiru_da: なんか本の中だとなんかABCのブロックが積まれてて、
- 30:24michiru_da: このBとCの順番を入れ替えるにはどういう風にブロックを動かしたらいいかみたいな、
- 30:28michiru_da: そういう問題が書いてあったんですけど、そういうのはやっぱり苦手なので、
- 30:32michiru_da: そいつを精度良く出すには、
- 30:35michiru_da: ChadGBDのO1プレビューみたいな、
- 30:38michiru_da: その推論モデルっていうのがここで必要になってきますよっていうので、
- 30:42michiru_da: これもへーっていう感じでした。
- 30:44michiru_da: 時間かかるけど、普通のモデルよりはできるやつが推論モデルですよっていう感じでしたね。
- 30:53michiru_da: これがブック、ブロックワールド問題。
- 30:56うぱ / upamune: うーん、なるほど。
- 30:59うぱ / upamune: O1プレビューって今どこら辺の立ち位置、てかもういないか。
- 31:06michiru_da: なんかO1プロも過去のモデルだよみたいな。
- 31:11michiru_da: なんだっけ、O3プロみたいなやつが今は最強のやつみたいな。
- 31:15うぱ / upamune: 主に?
- 31:17michiru_da: さすがにプロプラン開薬しちゃったからな。
- 31:20うぱ / upamune: あ、のみちるだもん。
- 31:22うぱ / upamune: O1が3月に出て、6月にO3プロが出て、
- 31:27うぱ / upamune: で、10月にGPT-5か。
- 31:30うぱ / upamune: いやー、時間の流れは早いですね。
- 31:36michiru_da: 早いですねー。
- 31:38うぱ / upamune: え、すごいな。O1、O3、GPT-5プロ、リリースされたの全部25年なんだ。
- 31:44michiru_da: 3月、6月、10月。
- 31:46michiru_da: すごいね。
- 31:47うぱ / upamune: O1プロ高すぎー。
- 31:50michiru_da: あったなー。
- 31:52michiru_da: ブログ書いてもらうのとかめっちゃいい感じだった気がするな。
- 31:56うぱ / upamune: O1マジでやばいな。
- 31:59うぱ / upamune: なんかGPT-5は入力価格が、インプットが1.25ドルなんですけど、
- 32:06うぱ / upamune: O1プロは150ドルですね。
- 32:08michiru_da: 高っ。使えないな。さすがに。
- 32:12うぱ / upamune: 普通に破産するレベル、これは。
- 32:14michiru_da: やばいね。
- 32:16michiru_da: あとは、もうちょい高度な話みたいな感じで、
- 32:22michiru_da: シングルエージェントとマルチエージェント、
- 32:26michiru_da: シングルエージェントワークフローっていう謎のやつも紹介されていました。
- 32:34michiru_da: そうですね。シングルエージェントの方は、
- 32:38michiru_da: その主体になるLLMのシステムの数が1個に限定されますと。
- 32:46michiru_da: なので、1人で作業をする場合を想定して、
- 32:51michiru_da: タスクを解くことを、さっきの行動とか計画とか自己修正みたいな、
- 32:57michiru_da: 機能単位に分けたやつがシングルエージェントらしいです。
- 33:03michiru_da: 一応、マルチエージェントみたいなやつも教えてくれたんですけど、
- 33:09michiru_da: これは壮大だったな。
- 33:11michiru_da: 2体以上のエージェントが連携するワークフローですっていう感じで。
- 33:16michiru_da: これは、人間社会をシミュレーションしたりとか、
- 33:21michiru_da: 本当に業務プロセスの流れに沿って協調をしていくエージェントを作りたい時には、
- 33:26michiru_da: これを使いましょうみたいな。
- 33:29michiru_da: これも結構理論上相関みたいな感じでした。
- 33:32michiru_da: でもさっきのうぱさんの決定論的な実装が多い方が、
- 33:36michiru_da: 2Bだと安心だよねっていうので言うと、
- 33:38うぱ / upamune: マルチエージェントワークフローとか、なかなか使う機会も限られるのかなという。
- 33:45うぱ / upamune: 逆にマルチエージェントかなって思いました。
- 33:47michiru_da: そうなんだ。
- 33:48うぱ / upamune: めっちゃある業務に特化させたエージェントをめっちゃ作る。
- 33:54うぱ / upamune: それで、ジェネラルなチャットエージェントみたいなやつが、
- 34:00michiru_da: これは経費生産エージェントにお任せ。
- 34:05うぱ / upamune: そうしないと、紙エージェントが生まれないと、
- 34:10michiru_da: 全てのツールを。
- 34:11michiru_da: 全部を網羅すること?
- 34:12うぱ / upamune: そうそう。
- 34:15うぱ / upamune: これはたびたび話に出てる、ラグのBotでもやろうとしてて、
- 34:23うぱ / upamune: あいつってできることは質問にラグを使って答えるなんですけど、
- 34:31うぱ / upamune: その足として、めっちゃ質問が載ってるExcelとか渡したら全部回答してくれるみたいなのがあるんですけど、
- 34:41うぱ / upamune: そいつもAIエージェントとして実装されてるんですよね。
- 34:44うぱ / upamune: なので、ラグのBotが聞かれたら、シートにこれ書いといてって言われたら、
- 34:51うぱ / upamune: 自分で頑張るんじゃなくて、そいつに投げちゃう。
- 34:54うぱ / upamune: そのAIエージェントを別のAIエージェント呼び出して、そいつにやろピコって言って、そいつが書いてくれるみたいな。
- 35:00うぱ / upamune: そのエージェント同士の協調みたいな。
- 35:04michiru_da: 確かに言い口は一個で、裏側は別の人がやってくれたらいいから。
- 35:10うぱ / upamune: ではいいですね。
- 35:13うぱ / upamune: 会社とかもそうですよね。
- 35:15michiru_da: そうですね。窓口の人と、実務やる人別みたいな。
- 35:19うぱ / upamune: そうそう。で、実務の人は詳しい人とかがいるとか。
- 35:24michiru_da: あとそういう意味で言うと、AIワークフローとエージェントの区別が絶妙に難しい。
- 35:35うぱ / upamune: これは分けてるんですか?
- 35:37michiru_da: 一応分けて書いてましたね。
- 35:39michiru_da: エージェントワークフローと混同しやすい用語としてAIワークフローというものがあります。
- 35:44michiru_da: AIワークフローとは、LADMとツールが事前に定義されたコードバスを通じて調整されるシステム。
- 35:50michiru_da: なので自律的にツールを選ぶとかあんまりないってことなのか。
- 35:54michiru_da: それが違いなのかな。
- 35:56michiru_da: なのでエージェントにおける計画やメモリー、自己修正などにとらわれない点が特徴とのことです。
- 36:06うぱ / upamune: AIワークフローの中の一つのコンポーネントとしてAIエージェントが使われることもあるんじゃないかと思うんですけど。
- 36:16うぱ / upamune: それをまさにやってるのがNAとNだし、決定的な動作の中にエージェントノードがいるみたいな。
- 36:23うぱ / upamune: それはAIワークフロー、全体で見るとAIワークフローだけど、その中にエージェントいるよみたいな感じなのかな。
- 36:31うぱ / upamune: 確かにそれもありそうですね。
- 36:36michiru_da: そうですね。
- 36:41michiru_da: AI機能を作りたいってなった時に、
- 36:45michiru_da: いやそうか。
- 36:47michiru_da: でも今のエージェントが間にいるワークフローみたいなのが結局多くなるみたいな感じなのかな。
- 36:54michiru_da: AIワークフローで実装する中、エージェントにしなければいけないのかが結構それも難しいなって思いました。
- 37:02michiru_da: 自分は結構限定されたユースケースからまず検討を始めちゃうから、
- 37:07michiru_da: それだったらワークフローでもいいなみたいに思う場合が多いかもしれないなという想像をします。
- 37:14うぱ / upamune: それでいいんじゃないですか。
- 37:16うぱ / upamune: 別のAIエージェントがそのAIワークフローを呼び出すみたいなこともできるから。
- 37:23michiru_da: すごい相互作用的ですね。
- 37:27うぱ / upamune: そのワークフローが決定論的であればあるほど嬉しい。
- 37:33うぱ / upamune: AIエージェントから見たら一つのただのツールコールでしかないから、あるワークフローを起動するっていう。
- 37:41うぱ / upamune: それはいいんじゃない。
- 37:43michiru_da: いいそうです。
- 37:46michiru_da: どんな感じかな。
- 37:49うぱ / upamune: ワークフローからAIエージェントへどうやってやっていくかみたいなやつは、またアンソロピックエンジニアリングブログだけど、
- 37:59うぱ / upamune: 効果的なエージェントの構築っていうやつでもうパターンがあるんですよね。
- 38:06michiru_da: とりあえずそれを読むのがいいのか。
- 38:09うぱ / upamune: プロンプトチェインギングパターンとかルーティングパターンとかパラレルパターンとかオーケストレーターワーカー型とかがあって、
- 38:18michiru_da: それ聞いたことある。
- 38:20うぱ / upamune: これは他のAIのSDK、AISDKって呼ばれるエージェントを実装するためのライブラリとかでも同じ概念がドキュメントで説明されてて、
- 38:34michiru_da: このワークフローを構築するんだったらこういう感じでコード書けばいいよみたいな感じで書かれてるんで、それを理解しておくといいかなっていう感じですね。
- 38:44うぱ / upamune: なるほど。
- 38:46michiru_da: この本を読む前は、とりあえずその総論を読んで、1個か2個自分で実装も本の通りにやってみて、
- 39:00michiru_da: その上で自分が今業務で使いたい一定複雑なAIワークフローなのか、あるいはエージェントなのかみたいなやつがあるんで、
- 39:10michiru_da: それを作ればいいかってなったんですけど。
- 39:13michiru_da: そうですね。ちょっと前半でも述べた通り、本を読んだからといって、じゃあどうすればいいかはちょっとやっぱ分からなそうであるっていうのがNowっていう感じですね。
- 39:25うぱ / upamune: 難しいよ。
- 39:27うぱ / upamune: 難しい。
- 39:29うぱ / upamune: そうですね。すぐ使える知識って難しいですよね。
- 39:34michiru_da: 結局誰かのコピーするとかが短期的にはわかりやすかったりするんですけど。
- 39:45michiru_da: これも前半で言いましたけど、結局多分自分で手を動かして、これは使えないなとか、これでも意外と使えるなっていうのが、
- 39:53michiru_da: 手触り感がないとどうにもという感じなので、やっていくということだけなんでしょうね。
- 40:03うぱ / upamune: だいぶ手触り感のあるコードをみちるださんは社休してて、オープンAIのAPIをSDKを使って読んでAIエージェントを作り上げていくっていうのを書いてて、
- 40:21うぱ / upamune: さっきから簡単に言ってるツールコールとかも、自分でツールコールを検知したら関数を読んでその結果を返してあげるみたいなのをやらなきゃいけなくて。
- 40:31うぱ / upamune: みちるださんが発狂してましたね。これマジでみんなこれやってんの?みたいな。やってないよって。
- 40:36うぱ / upamune: やってないんかい。
- 40:38うぱ / upamune: だからその手触り感をね。
- 40:40michiru_da: そうですね、本当にプリミティブなコードを書いてます。
- 40:45うぱ / upamune: そういうことをやった後にAISDKとか触ったら目玉が飛び出てありがたさで前が見えなくなるっていうことですね。
- 40:56うぱ / upamune: 最初からリッチすぎるやつを触ってると何が何なのかよくわかんない。
- 41:01michiru_da: そうですね、ちっちぇいやつでいいんだよな。
- 41:05うぱ / upamune: 書籍にもすごいLLMを使わずにエージェントループをわかりやすく説明するっていうコードがあったんですけど、みちるださんはなんだこれ。
- 41:17michiru_da: 本当にコードを実行しても特に何の便利でもないアウトプットが出てくるやつで、
- 41:24michiru_da: これって何のためのやつなんだっていうのをまたキレながらうぱさんに聞いてました。
- 41:30うぱ / upamune: 確かに。
- 41:32michiru_da: だから別にLLMを使わずにその構造だけ書いてるんだよって言って、そっかって。
- 41:38michiru_da: やっぱね、その第3章以降はエンジニア向けになってるんで、その辺の意図の解説とかさすがにないっていう感じなので、
- 41:46michiru_da: ちょっとこの辺は一人で進めるのはやっぱ結構辛いなという感じですね。
- 41:51うぱ / upamune: あとエンジニアじゃない人にとっては環境構築がむずいかも。
- 41:58うぱ / upamune: 前までね、なんかGoogleコラボみたいなやつでできたんですけど、
- 42:04うぱ / upamune: 4章からDockerを使いますみたいな感じになってきたから、さすがに無理かみたいな感じになって、
- 42:09うぱ / upamune: 道主もローカルに移行。
- 42:11michiru_da: 移行しましたね。
- 42:12michiru_da: でも昨日なんかエラスティックサーチの、なんか昨日に一応失敗して1時間ぐらい。
- 42:17うぱ / upamune: プンスカしてた。
- 42:21michiru_da: 1時間半ぐらいちょっとそれで解けましたね。
- 42:24michiru_da: 大変な仕事ですよ、エンジニアの人は。
- 42:27michiru_da: これを毎日。
- 42:29うぱ / upamune: そうだよ。
- 42:30うぱ / upamune: 道主さんもなんか焦げたら聞いてくれればいいのに、なんかずっとチャットアンジェリビティと対話してるの。
- 42:36michiru_da: なんかあれもどんぐらいで切り上げたいかわかんないですね。
- 42:41うぱ / upamune: 聞いて出てきた答えを実行してみてダメだったらもう。
- 42:46michiru_da: 切れた方がいいかも。
- 42:48うぱ / upamune: じゃあちょっと今後はそうさせていただきます。
- 42:53うぱ / upamune: じゃあこの本はまだ読み進めていけそう。
- 42:56michiru_da: そうですね、なんか使うとこの今やりかけのヘルプデスク支援エージェントの作るやつはやろうかなと思ってます。
- 43:03うぱ / upamune: しかもなんかあれですね、なんか自分が自分というかやってるところと近いというか。
- 43:10michiru_da: 結構ユースケースもわかりそうだし、自分が作りたいものにも転用しやすそうなので良さそう。
- 43:17michiru_da: あとあれですね、多分発祥以降とかが本当に現場業務で使う上でのそのエージェントの評価問題とか、
- 43:28michiru_da: あと多分実プロダクトに入れる時の UX みたいな話とかも一番最後の第8章以降で書いてありそうなので、
- 43:38うぱ / upamune: ちょっとそこはそこでまた読もうかなと思います。
- 43:42michiru_da: はい、ちょっとそれも面白かったらまたやるかも。
- 43:48michiru_da: はい、すごい前編後編合わせて90分の対策になりました。
- 43:55michiru_da: でもそれぐらい読みごたえのある良い本ということだったので、はい、機会でした。
- 44:02michiru_da: そんな感じで。
- 44:04michiru_da: あとちょっとここまで聞いてくれた方が何人いるかわからないんですが、
- 44:09michiru_da: 12月6日にマヂカル.fm公開収録イベントをやらせていただきます。
- 44:18michiru_da: お前らのAIエージェントの理解間違ってるから教えてやるぜの人も来てください。
- 44:23michiru_da: 確かにエンジニアの人は来てるガチな気がするから、
- 44:31michiru_da: まあ確かにうぱさんとAIエンジニアと話したいよって人も来てください。
- 44:35michiru_da: AIエンジニアとAAPだからな。
- 44:38michiru_da: 12月6日東中野夕方です。
- 44:43michiru_da: 何人かでもお申し込みいただいた方いて、
- 44:46michiru_da: 全部で20名ぐらいの割とこじんまりとしたところなので、
- 44:50michiru_da: ぜひちょっと迷っている方はお早めに。
- 44:52うぱ / upamune: 本当にもう全然来てください。
- 44:56うぱ / upamune: そこなんかもう余裕で埋まりますみたいな感じじゃないんで。
- 44:59michiru_da: そう、なんか私行っていいのかなみたいな。
- 45:03うぱ / upamune: 本当にもう何その正月の集まりより少ないぐらいの。
- 45:06michiru_da: そうです本当に。
- 45:08michiru_da: それでみんな遠慮して結局全然人来ないとか本当にあり得るんで。
- 45:13うぱ / upamune: 確かに。
- 45:14michiru_da: ちょっとでも行きたい気持ちがある方はぜひ今すぐお申し込みください。
- 45:18うぱ / upamune: 確かに。
- 45:19うぱ / upamune: 確かにそのこういう知らない人いるの嫌だなっていう。
- 45:25うぱ / upamune: 大丈夫かな。
- 45:26うぱ / upamune: みちるださんがいるんで。
- 45:27michiru_da: はい。
- 45:28うぱ / upamune: もう気配り、気配りチルダね。
- 45:31michiru_da: 任せてください。
- 45:32うぱ / upamune: はい。
- 45:33michiru_da: はい。
- 45:34michiru_da: 12月6日皆さんお申し込みお待ちしてます。
- 45:38michiru_da: はい。
- 45:39michiru_da: 感想、質問、フィードバックはxのハッシュタグマヂカル.fm全部小文字または概要欄のお便りフォームまでお寄せください。
- 45:45michiru_da: Spotifyのベルマークを押すと更新通知が届きますのでそちらもお願いします。
- 45:49michiru_da: ありがとうございます。
- 45:50うぱ / upamune: ありがとうございました。