Latest / マヂカル.fm / 194: 「現場で活用するためのAIエージェント実践入門」を読もう 前編
Transcript
- 0:07michiru_da: マヂカル.fmは関西人のプロダクトマネージャーみちるだと関西人のソフトウェアエンジニアのポミンが週に配信する雑談ポッドキャストです。お願いします。
- 0:18うぱ / upamune: お願いします。
- 0:19michiru_da: 今日のテーマは、現場で活躍するためのAIエージェント実践入門を読んでいるよう。
- 0:29うぱ / upamune: 活躍するための?
- 0:31michiru_da: 活躍するために。
- 0:34michiru_da: あれ?活躍するためと言わなかった。
- 0:36うぱ / upamune: 活躍する。どっちでもいい。
- 0:39うぱ / upamune: 私、活躍して欲しいもん。
- 0:43うぱ / upamune: 確かに、プロになるための一冊って書いてるから、どっちでもいいが通ります。
- 0:47michiru_da: 確かに、表紙にね、プロになるための一冊って書いてあります。
- 0:51michiru_da: はい、これはですね、なんか今、AIエージェント、猫も牛もAIエージェント、本当ですか?
- 1:02michiru_da: まあ、うちの会社だとね、特に。
- 1:04michiru_da: 私の周りは、私たちの周りはそうなりがちって感じなんですけど、
- 1:10michiru_da: そのAIの中でも、何ですかね、エージェントっていう概念がちょっと最近できていまして、
- 1:19michiru_da: それを実際サービスとかプロダクトに活用していくための入門書の本ですと。
- 1:27michiru_da: で、なんか青と緑の表紙のやつで、今年の夏ぐらいに出たのかな。
- 1:33春夏ぐらいに出たんですけど、もうね、なんかその出た時からそれを買えないみたいな。
- 1:38うぱ / upamune: ね。
- 1:39michiru_da: 最初紙だけだったんですよね。
- 1:41うぱ / upamune: 結構紙の期間が長かったですね。
- 1:43michiru_da: そう。で、本当に入手困難みたいな。
- 1:48michiru_da: でもなんか買えた人はこれ読んだほうがいいよみたいな感じになってたのが、
- 1:53michiru_da: 多分2ヶ月か3ヶ月前かな、Kindleでも買えるようになりましたので、
- 1:59michiru_da: 買ったんですけれども、全く読んでいなかったので、
- 2:03michiru_da: この機会に読むぞということで、昨日から読んでいます。
- 2:08うぱ / upamune: すごい。
- 2:10michiru_da: なんかね、そのAI、MLopsの人にも、
- 2:16michiru_da: なんかそのエンジニアじゃなくても1章と2章までは読んだほうがいいよって言われてて、
- 2:22michiru_da: そうなのかって思ったんですけど、確かにみんな1章と2章読んだほうがいいわってなりました。
- 2:28うぱ / upamune: ちなみにこの会社の人は怒られるかもしれないですけど、私は全く読んでないです。
- 2:34うぱ / upamune: 読んでない人の方もいいと思いますけどね。どうなんでしょうね。
- 2:40michiru_da: この本がですね、目次出したいな。
- 2:47michiru_da: その1章と2章は本当に概念の説明なんですよね。
- 2:51michiru_da: そのAIエージェントとは何かみたいなものとか、
- 2:55michiru_da: これまでのAIとか生成AI、LLMって言ってたやつと何が違うのかとか、
- 3:00michiru_da: そのAIエージェントがうまく動くために何か必要な概念、
- 3:06michiru_da: いろいろ計画をするとか、ツールを呼び出すとか、メモリーを使うみたいな、
- 3:12michiru_da: 汎用的にこれはしておいたほうがいい知識みたいなものがあるので、
- 3:17michiru_da: 1章と2章はそれを解説してくれていますと。
- 3:22michiru_da: その後がすごくて、3、4、5、6章は実技なんですよね。
- 3:32michiru_da: 実際にAIエージェントをコードベースで作っていこうっていうもので、
- 3:37michiru_da: ヘルプデスクでお客さんからのサービスへのお問い合わせを対応するような、
- 3:44michiru_da: サポーターの担当者を支援するようなAIエージェントを作ってみようとか、
- 3:49michiru_da: データ分析ができるエージェントを作ろうとか、
- 3:54michiru_da: リサーチを支援するエージェントを作ろうとかっていうのが具体の、
- 3:58michiru_da: コードも自分の環境に落とせるようになっていて、
- 4:03michiru_da: 実際に動くものを一緒に作っていける。
- 4:06michiru_da: 最初はザークで、後半は実技になっているみたいな、いい感じの本です。
- 4:11うぱ / upamune: みちるださん、技術書を読んでいるときって、
- 4:16うぱ / upamune: これ言ってる意味わかんないんだけどみたいな、
- 4:19うぱ / upamune: いつもアングリーになってるのに、今回は1,2章も絶賛してましたね。
- 4:25michiru_da: そうですね。
- 4:27michiru_da: でも私、技術書を読んだことをこれまでに数える3冊ぐらいしかないですけど、
- 4:32michiru_da: 前読んだのは、
- 4:35うぱ / upamune: アングリーになった対象が、
- 4:37うぱ / upamune: さらされる。
- 4:40michiru_da: でもそれはそういう本だからいいんですけど、
- 4:44michiru_da: これですね、ラングチェーンとランググラフによるラグAIエージェント実践入門。
- 4:53うぱ / upamune: そもそもエンジニア向けだから、いきなりちょっときつそうだなという感じはありましたけど。
- 4:59michiru_da: そうなんですよ。この本も、私半分ぐらいは読んだし、
- 5:02michiru_da: コードも実際、社境して全部動かしてみたりとかして、
- 5:07michiru_da: ラグ編はちゃんと全部読みました。
- 5:11michiru_da: ですけど、この本は本当に最初から割と実技的なものが始まるので、
- 5:18michiru_da: Pythonとか、自分ほんとライトなデータ分析しか使ったことなかったんで、
- 5:24michiru_da: 知らない。知らないね、みたいな。
- 5:27michiru_da: インデントの位置がおかしいことでエラになるみたいなのとかを踏んで、
- 5:32michiru_da: なんでやねん、みたいなのを、
- 5:34michiru_da: うぱさんに切れながらやってました。
- 5:37うぱ / upamune: 不憫すぎるだろ、私。
- 5:39michiru_da: 関係ない。何も関係ないのに。
- 5:42michiru_da: でも初心者に優しくない言語ということを切れていました。
- 5:48michiru_da: そしてその1冊目にやってたやつも、
- 5:52michiru_da: あれだな、本当にエンジニア向けの本だったんですけど、
- 5:56michiru_da: 今回の青と緑のAIエージェント実践入門の図は、
- 6:02michiru_da: 対象読者はDX部門、AIエンジニア、AIコンサルタントです。
- 6:08michiru_da: なので、必ずしもエンジニアだけじゃないよということです。
- 6:14michiru_da: ただ一定、専門知識とか開発の話とかも後半多くなってくるので、
- 6:21michiru_da: LLM、SSAIのAPIを使ったことがある人とか、
- 6:25michiru_da: プロンプトエンジニアリングしたことある人とか、
- 6:28michiru_da: あとラグ、AIを使った検索の仕組みみたいなやつなんですけど、
- 6:33michiru_da: それを開発したことがある方が一応対象というふうにはなっています。
- 6:39michiru_da: 確かに、自分も今全部で何章あるんだろう。
- 6:43michiru_da: 全部で10章あるのかな。
- 6:45michiru_da: そのうちで多分4章の途中ぐらい、
- 6:49michiru_da: 実践編の1個目の準備が終わって、
- 6:56michiru_da: ヘルプデスク支援エージェントを作って途中ぐらいの感じなんですけど、
- 7:03michiru_da: 後半はやっぱり専門的な開発の知識がいるので大変ですが、
- 7:07michiru_da: 前半のその1,2章は本当にエンジニアじゃなくても、
- 7:10michiru_da: かなり分かりやすく説明してくれてるので、
- 7:13michiru_da: 本当にその1,2章はみんな読んだ方がいいっていうのは、
- 7:16michiru_da: トゥルーという、トゥルーです。
- 7:18うぱ / upamune: ウィチルダ太鼓版が。
- 7:19michiru_da: 太鼓版です。
- 7:20michiru_da: これ書いた人、4人か5人の方の強調なんですけど、
- 7:27michiru_da: この前半書いた人結構すごいなって思うのが、
- 7:31michiru_da: こういう概念があって、それぞれこうですみたいな説明したときに、
- 7:36michiru_da: これあるのは分かるけど、なんであるんだろうみたいなの絶対思うんですけど、
- 7:41michiru_da: 必ず後ろになぜこれが必要なのかっていうのをちゃんと説明してくれたりだとか、
- 7:46michiru_da: あとその読んでて疑問に思ったところが、
- 7:49michiru_da: 8割か9割ぐらい後から回収されるんですよね。
- 7:53michiru_da: これ何だろうなって思ってメモを取ってたやつが、
- 7:56michiru_da: ちゃんと後から説明をしてくださってる。
- 7:59michiru_da: すごい。
- 8:00michiru_da: かなり初心者でも分かりやすいように書いてあります。
- 8:05うぱ / upamune: レビュアーでそういう人を入れたのかな?
- 8:08michiru_da: 確かに。DX部門で、エンジニアじゃないなみたいな。
- 8:13michiru_da: LLMとかAIについて、言葉とかは聞いたことあるけど、
- 8:19michiru_da: 実際中身はあんま分かってないなみたいな人が学習をするのに、
- 8:24michiru_da: かなりいい感じのレベルでした。
- 8:27うぱ / upamune: 私も商業史のレビュアーとして、
- 8:32うぱ / upamune: 雰囲気でしか分かってない人としてレビュアー参加したこととかあるんで、
- 8:38michiru_da: 多分そういう人がいたんじゃないですかね。
- 8:41michiru_da: そうですね。やっぱり私の技術に対してはずっと初心者という感じなので、
- 8:46michiru_da: いかに初心者に優しくなっているかっていうのは、
- 8:50michiru_da: 結構厳しく見させていただいている。
- 8:53うぱ / upamune: なるほどね。
- 8:55michiru_da: 見てみざるを得ないという感じなんですけど、
- 8:58michiru_da: これは本当にいろんな人が勝手言いながら、
- 9:03michiru_da: 割と初心者でも分かる、結構稀有な本だなという感じです。
- 9:07michiru_da: そうね。
- 9:08michiru_da: ありがたい。
- 9:10michiru_da: なので、ちょっと今日は私も全部全く読めてはないんですけど、
- 9:15michiru_da: その1,2章の概念的なところで、
- 9:19michiru_da: 面白かった部分とかをなんとなくサマライズしつつ、
- 9:24michiru_da: とはいえちょっとこれは具体的にどういうことなんだい?
- 9:29michiru_da: 後ろでもしかしたら解説されるかもしれないが、みたいなところをちょっとうぱさんに聞いてみよう。
- 9:35michiru_da: え、怖っ。
- 9:37michiru_da: いや、分かんないですね。
- 9:39michiru_da: 分かんないかもね。
- 9:41michiru_da: でもなんかね、やっぱ結局、
- 9:45michiru_da: 自分で納得してた。
- 9:47michiru_da: 結局ね、なんか実装しないと分かんないなという結論にちょっと達しつつありますね。
- 9:52michiru_da: 理論上そうなのは分かるが、
- 9:55michiru_da: いろんなね、そのAIの中にもなんかエージェントとかワークフローとか、
- 10:01michiru_da: いろいろあるよみたいな。
- 10:03michiru_da: で、AIエージェントもいろんな実装方法とかいろんな工夫のポイントがあるよっていうのを教えてくれて、
- 10:08michiru_da: 頭では分かるんですけど、じゃあいざ自分が担当しているサービスとか、
- 10:12michiru_da: プロダクトでエージェントを作りたいなとか、AI機能を作りたいなってなったときに、
- 10:16michiru_da: じゃあ何を使うのがいいのかみたいなのとかはやっぱり全く分かんないっていう感じなので、
- 10:21michiru_da: なんかなんだろう、やっぱり具体でこれはこういうことなんだなっていうのをちょっと手を動かさないと、
- 10:27michiru_da: ちょっと次の解像度には進めないかもしれないですね。
- 10:31michiru_da: なのでちょっとね、このポッドキャスターはエンジニアの方も聞いてるんですけど、
- 10:37michiru_da: パンピーのAI初心者の人も聞いているので、
- 10:41michiru_da: その人もなんとなく分かるように補足をしつつ進めたいところですね。
- 10:47michiru_da: なので、AIエージェントは、
- 10:51michiru_da: 一般的なエンジニアの方が、
- 10:55michiru_da: 補足をしつつ進めたいところですね。
- 10:59michiru_da: なので、AIエージェントって今日初めて聞いた人もいるかもしれないので、
- 11:04michiru_da: なんやねんっていうところなんですけど、
- 11:08michiru_da: AIエージェントとは、定義も書いてますね。
- 11:12うぱ / upamune: 目的に向けて環境と相互作用しながらタスクをこなす知能システムらしいです。
- 11:22うぱ / upamune: なるほど。結構大きいですね。
- 11:26michiru_da: どういうことなんだ。
- 11:28michiru_da: ちなみに環境っていうのは、AIエージェントが動く場所なので、
- 11:32michiru_da: 例えばウェブのブラウザーとかアプリケーションの中っていう感じですね。
- 11:38michiru_da: なので、自分一人で何かするというよりかは、
- 11:42michiru_da: 環境、他の情報とかデータがどういう風になっているかを見ながら、
- 11:48michiru_da: 環境達成に向けてステップを進んでいくようなAIみたいなことを指しているようです。
- 11:56michiru_da: 本当に最初はかなり壮大な話というか、ちょっと不運って感じだったんですけど、
- 12:03michiru_da: AIエージェントを代表する特性は、自立性と知性です。
- 12:09michiru_da: 自立性は人間を介さず独立して自ら判断しタスクを遂行する。
- 12:14michiru_da: 知性は思考や理解判断、知識の適応など総称、その適応力の総称ですみたいな。
- 12:22michiru_da: なんかすごそうだなっていう感じが分かって、
- 12:26michiru_da: この人結構壮大な、AIエージェントでどうしていきたいかみたいなのは結構壮大なんですけど、
- 12:33michiru_da: もうAIエージェントを人間のように捉える場合には、知性を重視して、
- 12:39michiru_da: 人の振る舞いを表現しながら、人の動きとアクションを再現しながら問題解決を目指すようなものだよっていう書き方をしていますね。
- 12:52michiru_da: 結構壮大なんだなっていうのが最初はあります。
- 12:59michiru_da: 今ちょっとロボットくんの画像を映してるけど、
- 13:04michiru_da: この感じの絵が結構よく出てきてて、とはいえもう少し具体的に言うと、
- 13:09michiru_da: AIエージェントが何かっていうと、LLMっていう生成AIがコアなところにあるんですけど、
- 13:15michiru_da: そいつがメモリとか知覚とか計画をしながら実際行動して目標達成に近づいていくよ、
- 13:26michiru_da: その行動した結果とかも自分で振り返りながらアクションをしていくものだよっていうところが、
- 13:33michiru_da: 結構この図とかよく出てきますね。
- 13:38michiru_da: AIエージェントって結局例えば何って言われたときに結構ムズイなってなるんですけど、
- 13:43うぱ / upamune: うぱさんだったら、例えばこれエージェントだよみたいな。
- 13:48うぱ / upamune: でも最近のChatGPTとかもAIエージェントですよね。
- 13:52うぱ / upamune: 何かを入力した時にウェブ検索っていうツールを使って、
- 13:56うぱ / upamune: ウェブ検索が必要だと思ったらそれを使う。
- 14:00うぱ / upamune: ChatGPTってチャット単位じゃなくて、今までの履歴とかで学習してメモリを更新して、
- 14:09うぱ / upamune: 新しいチャットでも活かしてくれるんで。
- 14:12うぱ / upamune: 計画とかは分かりやすいのはChatGPTのディープリサーチとかは、
- 14:18うぱ / upamune: こういうの調べたいって言ったら向こうから質問してきて、
- 14:23うぱ / upamune: こういう部分はどうしますかみたいな。
- 14:26うぱ / upamune: どうやって調べようかなというのを考えてめちゃくちゃ調べまくるみたいなのもAIエージェント。
- 14:32うぱ / upamune: 一番身近だったらChatGPTとかじゃないですかね。
- 14:36michiru_da: そうですね。
- 14:38michiru_da: LLMの数とも思いきや、
- 14:41michiru_da: もう実際ユーザーが触っている面は、
- 14:44michiru_da: なんかこれやっといてって言ったら、
- 14:46michiru_da: そのステップというか道のりは勝手にChatGPTがいい感じに
- 14:52michiru_da: いろんな試行錯誤しながら進めてくれているっていうのが、
- 14:56michiru_da: 最近だとそうなってますっていう感じですかね。
- 14:59うぱ / upamune: 逆に一般の人がAIエージェント以外のLLM、
- 15:03うぱ / upamune: 素のやつを触るのって結構難しくなってるかもしれないですね。
- 15:07michiru_da: そうか。確かにそのいろんなツール使うよとか、
- 15:11michiru_da: ジェミニーとかもGoogleドライブから取ってくるよみたいなのとか、
- 15:15michiru_da: ほんと吉田にやってくれますよね。
- 15:17うぱ / upamune: なんでChatGPT3.5ターボみたいな時代を知ってる人はあれっていう感じですね。
- 15:23michiru_da: 吉谷が結構ポイントかもしれませんね。
- 15:27michiru_da: このAIエージェントも別に、
- 15:30michiru_da: 最近できたよっていう感じじゃなくて、
- 15:32michiru_da: 昔もあったらしいんですけど、
- 15:35michiru_da: ちょっとその時にはめっちゃ高いのにめっちゃ遅いとか、
- 15:39michiru_da: あるいはいろいろやってみるけど途中で止まっちゃって、
- 15:44michiru_da: 期待する結果が得られないみたいなこととか、
- 15:48michiru_da: そしてそもそもLLMが受け取れる情報量が少なかったので使い物にならないよみたいな、
- 15:54michiru_da: 冬の時代があったんですけど、
- 15:57michiru_da: これ結局なんて読むんだ?マヌースなのか?
- 16:00うぱ / upamune: 確かに。
- 16:01michiru_da: ユルゲン語学ラジオの人って違う呼び方してたんだよな。
- 16:05michiru_da: M-A-N-U-S。マヌース。
- 16:09michiru_da: 中国で、中国発のAIエージェントアプリケーションなんですけど、
- 16:14うぱ / upamune: マナスって書いてある。
- 16:16michiru_da: マナスなのか。
- 16:19michiru_da: これがね、リリースされた時みんな7モニターぐらいで
- 16:24michiru_da: マナスを動かして並行でタスクできるぜみたいな。
- 16:28うぱ / upamune: 確かに。ありましたね、その時代も。
- 16:31michiru_da: 1年前ぐらいかね。半年前かな。
- 16:34michiru_da: マナスによってエージェント使い物になるっぽいな、すごいな、みたいな感じになって、
- 16:42michiru_da: そこから結構実用的なやつとかもいっぱい出てきてるって感じですね。
- 16:49michiru_da: ChatGBDとかもそっちの方向に行ってたりとか、
- 16:52michiru_da: コーディングのところはいろんな、デビンとかカーサーとかクロードコードとか、
- 16:59michiru_da: 自分で調べてクライーンとかあったなっていう感じになったんですけど、
- 17:03michiru_da: うぱさんがいっぱい使ってましたね。
- 17:06michiru_da: だからChatGPTもだし、
- 17:09michiru_da: ChatGPTで自分でルールを設定できるGPTsってあると思うんですけど、
- 17:14michiru_da: あれもエージェントですっていう風に整理をされてましたね。
- 17:20michiru_da: Defiとか、NANとか、ワークフロー系のエージェントも工芸のエージェントですっていうところを、
- 17:28michiru_da: この本では書いてありました。
- 17:31michiru_da: なんでこう、ちょっと繰り返しになっちゃうんですけど、
- 17:36michiru_da: 結局エアエージェントに共通する特徴は、
- 17:39michiru_da: 何かやりたいことはあるけど、それに必要なタスクが何かとか、
- 17:45michiru_da: その順番みたいなものは決まっていないので、
- 17:49michiru_da: ユーザーの依頼に応じて、エアエージェントがそのタスクを、
- 17:53michiru_da: そもそも何からやるかとか、どういう順番でやるかを考えている点が非常にポイントですという風に書いてあります。
- 18:01michiru_da: で、あるんですけど、ここでみちるだ疑問は、
- 18:07michiru_da: 言っていこうとわかるんだけど、そのタスクって、
- 18:11michiru_da: 例えばどういう流度ぐらいのものを指しているんだいっていう。
- 18:16michiru_da: なんかその業務のステップみたいなものなのかな。
- 18:23michiru_da: もっと細かいものじゃないと難しいのかみたいな。
- 18:27うぱ / upamune: これは完全にそのLLMの性能によりますね。
- 18:31うぱ / upamune: なんかカーソルとかも最近、あれですよね。
- 18:34うぱ / upamune: 何か依頼したら、そのまずトゥードゥリストみたいに作ってプランニングしてやる。
- 18:38michiru_da: プランモードができましたね。
- 18:40うぱ / upamune: 思いますけど、何かそこも流度様々だと思うんですよね。
- 18:43うぱ / upamune: 何か一番プリミティブなやつだと、書き込みツールを使ってファイルに書き込むとか書くと思うんですけど、
- 18:52うぱ / upamune: ユーザーに見えるところはそこまではやってないですよね。
- 18:57うぱ / upamune: どういうこと?
- 18:58うぱ / upamune: Aっていうファイルに書き込む。
- 19:01うぱ / upamune: Bっていうファイルから読み込むってなったら、タスクリストってその100個ぐらい登録されちゃうじゃないですか。
- 19:08うぱ / upamune: けどユーザーって別にそれ見ても。
- 19:11michiru_da: 確かに、書き込んでくれってなる。
- 19:14うぱ / upamune: もっと抽象度を上げた。
- 19:17michiru_da: このファイルを更新するみたいな。
- 19:19うぱ / upamune: そうそう、このファイルを更新するとか。
- 19:21うぱ / upamune: もっとそのファイルじゃなくても、
- 19:23うぱ / upamune: この命令は4つのステップに分けられて、
- 19:27うぱ / upamune: 一つ目はまずこのファイルとこのファイルをガッチャンコするみたいなやつとか、
- 19:32うぱ / upamune: そういうタスクがあるんですけど、
- 19:35うぱ / upamune: そのどうタスク分解するかは多分LLMの性能による。
- 19:40michiru_da: そうなんだ。
- 19:41うぱ / upamune: あとはそのプロンプトで制御したり。
- 19:44michiru_da: それその分解の流動を人がプロンプトで支持することも別にあるっていう感じなんですね。
- 19:53うぱ / upamune: そうですね。
- 19:55michiru_da: すごいこの本も自立性っていう言葉がいっぱい出てくるんですけど、
- 19:59michiru_da: どこまでをそのLLMの自立性に任せるのかとかも、
- 20:04michiru_da: かなり意思決定難しそうだなっていう感じで読んでました。
- 20:08うぱ / upamune: そう、だからあれですね、
- 20:11うぱ / upamune: 本当にプリミティブにめっちゃ細かくしてたスクボとかツールを用意するのは良くないんですよね。
- 20:21michiru_da: そうなんだ。
- 20:22うぱ / upamune: なんかよくアンソロピックのライティング4AIツールズみたいな100万回ぐらい読んでるやつがあるんですけど、
- 20:31うぱ / upamune: なんか今までの人間とか機械向けに提供するAPIってすごいシンプル。
- 20:38うぱ / upamune: 作成、読み取り、更新、削除みたいな。
- 20:42うぱ / upamune: だけど、それをAIにツールとしてそのまま渡すと混乱する。
- 20:51うぱ / upamune: そうなんだ。
- 20:53うぱ / upamune: 非決定的なんですよね。
- 20:56うぱ / upamune: 例えば4つのツールを使って1回作成して、それを読み取って、更新して削除みたいな4つのツールコールになるじゃないですか。
- 21:10うぱ / upamune: それを今の4つのツールコールは意味ないけど、意味ある一連の流れだとして4つのツールコールが必要ですと。
- 21:19うぱ / upamune: じゃなくてそれより1つのツールコールでそれらを全部中では勝手にやってくれるんだけど、
- 21:31うぱ / upamune: 分解しすぎないっていうのがちゃんとAIエージェントに決定的な仕事をさせるために重要なこと。
- 21:41michiru_da: そうなんだ。なんかちょっと非直感的ですね。
- 21:45うぱ / upamune: そこまで賢くないっていう感じですね。
- 21:48michiru_da: 細かいこと言われてもあんま分かんないよってことなの。
- 21:51うぱ / upamune: 例えば1,2,3,4の順番でこのツールを呼び出さないといけないってなったときに、たまに1,3,2,4みたいな感じで呼び出しちゃうときもあるよみたいな。
- 22:00うぱ / upamune: それだと困るんですよね、その業務だと。
- 22:02うぱ / upamune: だから1,2,3,4って絶対何回呼んでも呼べるツールを作ってあげて、それをAIから呼ぶだけで1,2,3,4で勝手に呼ばれるみたいな感じ。
- 22:13うぱ / upamune: Lighting Effective Tools for AI Agentsですね。
- 22:17michiru_da: そうなんだ。
- 22:18うぱ / upamune: 例えばここで。
- 22:20michiru_da: 今のミツルダ的な一般people向けに補足すると、
- 22:27michiru_da: ツールツールって言ってるのは、そのAIが呼ぶ外部のプログラムみたいなものをツールと言いますと、
- 22:34michiru_da: このAIアジェントの開発でかなり重要になるやつ。
- 22:40michiru_da: 間違いなく何かを処理したいとか、外部の情報、
- 22:44michiru_da: LLMが持っていない外部の情報を使いたいときとかに、絶対そのツールを呼ぶ、ツールコールするみたいなことを言いますと。
- 22:54うぱ / upamune: そうですね、道具を与えてあげないとLLMはチャットしかできないんですよね。
- 22:59うぱ / upamune: なので、100回出てくる今日の天気を知りたいっていうよくあるサンプルだと、
- 23:04うぱ / upamune: 今日の天気を知りたいと言われても、LLMって今日がいつかもわからないし、
- 23:09うぱ / upamune: そんな天気も知るわけないんで、
- 23:11うぱ / upamune: これを使ったら天気を知れるよっていうのを教えてあげて、
- 23:17うぱ / upamune: LLMがそれを知りたいですって言ったら、その結果を返してあげるみたいなのがシンプルなツールなんですよね。
- 23:26michiru_da: 今のChatGPTとかがエージェント的に発展しすぎてて、
- 23:32michiru_da: そのLLMって今日がわかんないんだとか、天気知らないんだっていうのが、
- 23:39michiru_da: それも知らないんだみたいな、結構びっくりしました私は。
- 23:45うぱ / upamune: 前のやつだったら、ナレッジカットオフっていう学習が終わった日とかを、
- 23:53michiru_da: 今日はその日ですみたいな感じで言うみたいな感じがよくありました。
- 23:58michiru_da: それでLLMが今日解釈しやすくなるんですね。
- 24:02michiru_da: そうです。
- 24:03michiru_da: さっきのツールコールするツール側で、この手順でやってくださいねっていうのをプログラムで決めてあげるみたいな、
- 24:14michiru_da: それは細かく指示することとは違うんですね。
- 24:18うぱ / upamune: それを細かい指示をしても、それってなんか非決定的じゃないですか。
- 24:24うぱ / upamune: 守るか守らないかわからない。
- 24:27うぱ / upamune: で、そういうなんかその非決定的な動作を決定的な動作に頑張って落とし込んでいくのが重要AIエージェント。
- 24:38michiru_da: なるほど。
- 24:39うぱ / upamune: なんで、例えばこのさっき紹介したツール、AIエージェント開発に携わる方は多分100回ぐらい読んでる。
- 24:47michiru_da: なんてやつだっけ。
- 24:48うぱ / upamune: Writing Effective Tools for AI Agents。
- 24:51うぱ / upamune: 今画面共有してるんですけど。
- 24:54michiru_da: 見えました。
- 24:57うぱ / upamune: 例えばめっちゃ簡単な例からいくと、このAIエージェントはアドレス帳、みんなの連絡先を調べられますっていうやつで、
- 25:06うぱ / upamune: 例えばアドレス帳を全部一気にバーンって返すツールがあるとするじゃないですか。
- 25:12うぱ / upamune: そこからみちるださん探してくださいって言っても別にできるんですよ。
- 25:17うぱ / upamune: なんですけど、そういうプリミティブなツールを提供してあげるよりは、連絡先から探すっていうツールを提供してあげましょうっていう話。
- 25:29うぱ / upamune: それはさっきのやつと違ってコンテキストが無駄に圧迫されちゃうよねっていう話でもあるんですけど。
- 25:37michiru_da: 全部の連絡先が返ってくることで。
- 25:39michiru_da: そうそう。
- 25:41michiru_da: 今の校舎のこっちの方がいいよねっていうやつもう一回言ってもらっていいですか。
- 25:47うぱ / upamune: 検索。
- 25:49うぱ / upamune: 全部連絡先これだよって返すんじゃなくて、連絡先を名前で検索するツールみたいなのを提供してあげて、
- 25:59うぱ / upamune: それをみちるだって言ったらみちるだだけ返ってくるみたいな。ない場合は何も返さないみたいな。
- 26:05うぱ / upamune: あとはさっき話してた流れで適切なやつで言うと、予定を調整したいっていう時に一番プリミティブなやつでいくと、
- 26:20うぱ / upamune: ユーザーを一覧する、予定を一覧する、でイベントを作成するっていう三つのツールをあげればいいじゃないっていう感じなんですけど、
- 26:33うぱ / upamune: ここではそうですね、それを3つを中でやるスケジュールイベントっていうツールにしましょうっていう風な感じで書いてます。
- 26:44michiru_da: これスケジュールイベントの中はどうなってる?
- 26:47うぱ / upamune: こいつらを呼んでるってことですね決定的に。
- 26:51うぱ / upamune: スケジュールイベントをみちるださん渡してなったらリストユーザーズみちるだ渡しして、2人のリストイベントを呼んで最後にそのクリエイトイベントを呼ぶみたいな。
- 27:00michiru_da: なるほど、じゃあLLMによって非決定的に行われるのは、スケジュールイベントを呼ぶかどうかだけぐらいにした方がいいよみたいな。
- 27:14うぱ / upamune: それぞれ適当だけど、2分の1の確率でしか呼ばれない3つのツールがあったら成功数の8分の1とかになるじゃないですか。
- 27:24michiru_da: 確かにそれよく言われますね。
- 27:26うぱ / upamune: それよりスケジュールイベント呼ぶか呼ばないかの2分の1になった方がいいよねっていう。
- 27:30michiru_da: なるほど、めちゃくちゃプリミティブにいろんなものを定義しようとしてた。
- 27:36うぱ / upamune: 危ない。
- 27:37michiru_da: 危ねー。
- 27:38うぱ / upamune: そうなんですよ、なんで下の話も同じですね。
- 27:41うぱ / upamune: お客さんの情報を知る方法が3つぐらいのツールを全部読んだらいい感じに集まりますよってやつもそういうんじゃなくて、
- 27:50うぱ / upamune: 1つのやつで一括で返せますよっていう風なやつでやってくださいっていう話ですね。
- 27:56うぱ / upamune: これもなんか3つ中1つしか叩かなかった時に、なんか知れる情報が少ないじゃないですか。
- 28:02michiru_da: そうですね、結局1個叩かないだけで失敗しちゃうみたいな感じですもんね。
- 28:07うぱ / upamune: です。
- 28:08うぱ / upamune: なんでここではね、結構そのAIエージェントならでもあの面白い今までと何が違うのかみたいな話を書いてますね。
- 28:17michiru_da: これ読もう。
- 28:18うぱ / upamune: 例えばめっちゃ簡単なのはその今までAPIってすごいなんかエラーの時はなんかステータス番号422でメッセージなんか不正な値ですみたいな感じなんですけど、
- 28:31うぱ / upamune: AIエージェント向けだとなんかエラーのサマリーはこんな感じでみたいな。
- 28:36うぱ / upamune: で、どういうのがその正しい入力なのかみたいなのを例をフューショット的に与えてあげたりして、
- 28:45うぱ / upamune: なんかこれをやりたいんだったらこのツール使うといいよーまで次の動作まで教えてあげるみたいな。
- 28:52michiru_da: そうなんだ。確かにそのツールを呼ぶにあたっても、とにかくその説明をちゃんと書けみたいなのはめっちゃ本に書いてありましたね。
- 29:03うぱ / upamune: なんでこのケースだと、例えばユーザーIDっていう多分なんか数字を入れなきゃいけないところにAIエージェントはメールアドレスを入れちゃいましたっていう話で、
- 29:11うぱ / upamune: 結果的にはないよ、そんなユーザー存在しないよっていうのが同じなんですけど、結果としてはユーザーIDっていうのはこういう数字のフォーマットなんだよみたいな。
- 29:23michiru_da: で、メールだけ知っててユーザーをIDを引きたいんだったらこのユーザーサーチを叩きなみたいな。
- 29:31うぱ / upamune: ユーザーIDを解決したいならユーザーサーチを使ってくださいみたいな。
- 29:35うぱ / upamune: で、AIエージェントも次に何すればいいか明確になるっていう感じ。
- 29:40michiru_da: AIエージェントはエラーになっても終わらないのがこれまでとの違いみたいな感じでもありますよね。
- 29:49うぱ / upamune: そうですね。目的が達成できないときに、それを基に反復してまた別のツールを選んで、また反復しての繰り返し。
- 29:59michiru_da: なんかね、自己反復みたいなやつもセクションで結構しっかりとって書いてされてたんですよね。
- 30:07うぱ / upamune: こっちを見るか。
- 30:09うぱ / upamune: ほぼそれが全てですよね。
- 30:11michiru_da: なんかね、その辺のその、今の、何て言ってたかな。
- 30:17michiru_da: 自己修正ってこの本では書いてありますね。
- 30:20michiru_da: セルフコレクションかな。
- 30:23michiru_da: 自律的に問題を解決するために自分が誤ったことに気づいて、
- 30:29michiru_da: まあそういうAIエージェントにしていきましょうみたいなことが書いてありました。
- 30:36michiru_da: で、なんかこの本でもその自己修正の方法が、なんか自分自身で内製したりとか、
- 30:45michiru_da: あとは、何だろう、自己一貫性って書いてあるんですけど、
- 30:49michiru_da: 同じモデルとか違うモデルで複数回答させて、
- 30:54michiru_da: なんか一貫した回答であったら評価するみたいな方法とか、
- 31:00michiru_da: なんかたくさんのモデルで討論させるみたいな、なんかいろんな方法と、
- 31:06michiru_da: あとなんかその外部、本当に外部から、
- 31:10michiru_da: 違うよみたいなフィードバックをもらって修正するみたいな、
- 31:14michiru_da: なんか2個のやり方があるみたいなのが書いてあったんですけど、
- 31:18michiru_da: なんか実際この本でも、
- 31:22michiru_da: 自己修正は頭打ちなのかって書いてあったんですけど、
- 31:26michiru_da: 結構その自分で内製して修正していくみたいなの、
- 31:30michiru_da: なんかそんなに改善しないんじゃねみたいな、
- 31:34michiru_da: なんか理論上わかるけど、
- 31:37michiru_da: 一旦同じ人が修練していきそうだなみたいな感じも感じたんですけど、
- 31:42michiru_da: それはそういう感覚でいいんでしょうか。
- 31:46うぱ / upamune: まあ業務のAIアジェントだと結構難しいですよね。
- 31:51うぱ / upamune: なんでなんだろうな。
- 31:53うぱ / upamune: 例えばコーディングエージェントとかだったら、
- 31:57うぱ / upamune: すぐ質問できるというかしてくるんですよね。
- 32:01うぱ / upamune: あれこれってここにないけどこれで合ってますみたいなのはいけるけど、
- 32:07うぱ / upamune: 業務のAIアジェントでそれやるのって結構難しいですよね。
- 32:14うぱ / upamune: 任せっきりにできないし、
- 32:16うぱ / upamune: ヒューマンインザループっていう人間に聞くプロセスみたいなのがめっちゃ挟まってきたら、
- 32:20うぱ / upamune: いやもう自分でやった方が早いわみたいな。
- 32:22michiru_da: そうなのよね。
- 32:23うぱ / upamune: 気持ちになってくるから、
- 32:25うぱ / upamune: そうですね。
- 32:27うぱ / upamune: こういうのが起きないように、
- 32:30うぱ / upamune: さっきの話もあるけど、なるべく決定的なプロセスにして、
- 32:36うぱ / upamune: こういうのがよくあるパターンがあるんだったら、
- 32:40うぱ / upamune: コプトで回収していくみたいな方がいいんじゃないかなっていうお気持ち。
- 32:46michiru_da: 決定論的?決定的?
- 32:49michiru_da: 決定論的。
- 32:52michiru_da: それはそれをすればこういう結果になるというのが分かってるってことですよね。
- 32:56うぱ / upamune: 1たす1は何回やっても2。
- 32:59うぱ / upamune: そのLLMに使わせるツールは結構大きい方がいいのかな。
- 33:06うぱ / upamune: 業務単位というか、やらせたいこと単位っていう感じですね。
- 33:13うぱ / upamune: 大きすぎると大きすぎたで、その係数しか対応できない。
- 33:20うぱ / upamune: LLMってツールの組み合わせもすることでいい感じになる。
- 33:28うぱ / upamune: 例えばカレンダーの予定を取得してくると休暇を取るみたいな2つがあれば、
- 33:33うぱ / upamune: カレンダーを見ながら、この日は大事なミーティング入ってるからこの日はお勧めできないけど、
- 33:39うぱ / upamune: この日は空いてるから休暇どうですかみたいなサジェストできるけど、
- 33:43うぱ / upamune: 2つをまとめちゃうと逆に他のツールでカレンダーの予定を取るみたいなのが使えなくなる。
- 33:52うぱ / upamune: このツールをどういう単位で設計するかっていうのは多分腕の見せ所なんだろうなっていうのは思ってます。
- 33:59michiru_da: そうですね。この本もね、ちょっとどういうことか忘れたけど、
- 34:06michiru_da: 特定のタスクを完了させるためのエージェントみたいな感じにするのか、
- 34:13michiru_da: 将来性を見越して、もうちょっと汎用的に作っていくのかみたいなところはちゃんと確認しましょうって書いてあるんですけど、
- 34:22michiru_da: 確認しましょうってできたらいいなってなって。
- 34:27うぱ / upamune: そうね。でもソフトウェア開発ってずっとそんな感じなんで。
- 34:36michiru_da: 拡張に耐えられる責任しようみたいな感じ?
- 34:39うぱ / upamune: そうそうそうそう。
- 34:41michiru_da: それって何がわかれば汎用的に作れるんですか?
- 34:48うぱ / upamune: ユースケースがめっちゃ詳しくわかったらできるみたいな感じ?
- 34:53うぱ / upamune: これ正直めっちゃむずいっていうか、答えはないんです。
- 34:57うぱ / upamune: なのでめっちゃ共通化も早すぎる共通化はあることされてるんですよね。
- 35:05うぱ / upamune: 一番わかりやすいのは3回コピペしたら共通化っていう。
- 35:09うぱ / upamune: めっちゃ最初に頑張って共通で使われるものの設計って難しいんですよね。
- 35:15うぱ / upamune: こういうケースも考えないし、こういうケースも考えないといけないし。
- 35:18うぱ / upamune: でもそのないものの使われ方を考えてめちゃくちゃ難しいし、塞いになる。
- 35:26michiru_da: 時間もかかっちゃうし。
- 35:27うぱ / upamune: そうそうそう。で3回コピペしたら共通化は、実際に使われている3箇所があるから共通化しやすい。
- 35:36michiru_da: なるほど。
- 35:37うぱ / upamune: ですよ。まあなんかそういう技とかもあるって感じですね。
- 35:42michiru_da: 難しいな。
- 35:44うぱ / upamune: いや難しいです。なんでただそのなんだろう、
- 35:47うぱ / upamune: エアーエージェント固有というよりはソフトウェアエンジニアリングの難しさが普通にここに出てきてるだけっていう感じな気がします。
- 35:56michiru_da: 面白かったとこで言うと、たぶんね一生は基本ほんと座学っていう感じ。
- 36:05michiru_da: そうだ一生で気になったところで言うと、
- 36:08michiru_da: これももしうぱさん知ってたらっていう感じなんですけど、
- 36:12michiru_da: なんかそのエアーエージェントの作り方はなんか2つのアプローチがありますみたいな感じがあったんですよ。
- 36:18michiru_da: でその学習させて作っていくか、なんか推論型で作るかみたいな話があったんですよね。
- 36:27michiru_da: で推論型はその汎用的にエアーエージェントに能力を与えていくみたいな形で、
- 36:34michiru_da: たぶんとりあえずやらせてみて、後からこれは正解だったよとかこれNGだったよみたいなのとかを、
- 36:41michiru_da: なんか自己学習みたいな形で能力を獲得していくみたいな感じの一方で、
- 36:48michiru_da: その学習スタイルの方はもうエアーエージェントの正解データのセットとかがあって、
- 36:55michiru_da: それをちゃんと学習させた上で作るみたいな。
- 37:01michiru_da: でなんかあんまり違いが分からなかったんですけど、これは何か分かりますか?何のことかみたいな。
- 37:08うぱ / upamune: どういうことだろう?
- 37:10うぱ / upamune: あんま分からなかったんだよな。
- 37:12うぱ / upamune: なんかモデル自体をチューニングするみたいなのはファインチューニングとかありますけどね、特定の業務に対して。
- 37:19michiru_da: エアーエージェントチューニングは何を指してるのか私はよく分かってないな。
- 37:24michiru_da: 学習型はエアーエージェントの能力をインプットされるけど、エアーエージェントは登場してないです。
- 37:30michiru_da: ちょっと分かんない。はい。
- 37:32michiru_da: ちょっとこれは前後半にするか。
- 37:35michiru_da: 面白くなってくるかもしれない2章を次に話します。
- 37:41michiru_da: でもあいだ勉強になったな。
- 37:43michiru_da: さっきのその汎用的な設計問題みたいな話と、
- 37:49michiru_da: そうだあとあんまプリミティブに指示しすぎない方が良い。
- 37:53うぱ / upamune: ツールね。
- 37:54michiru_da: はいツールは決定論的なツールが多い方が成功確率が高いよっていうのは、確かに。
- 38:02うぱ / upamune: マナスの記事で結構前ですけどそのツールいっぱい登録しておくけど、
- 38:10うぱ / upamune: ステップごとに見せないようにするみたいなのがあったりする。
- 38:15michiru_da: どういうこと?
- 38:16うぱ / upamune: まだこれは使うなみたいな。
- 38:18うぱ / upamune: 計画している段階で何かウェブサーチを使わせないとか。
- 38:23michiru_da: はいはい。確かにありそうですね。
- 38:26うぱ / upamune: ツール100個の中から選ぶのか10個の中から選ぶのかみたいな。
- 38:31michiru_da: 確かにそれも正解確率が変わってきますね。
- 38:35うぱ / upamune: 使ってほしくないツールは使わせないようにする。
- 38:38michiru_da: そうですね。どのサイズのツールにするかとかが腕の見せどころ。
- 38:45michiru_da: やはりそうなんだなというのが分かりました。
- 38:47うぱ / upamune: 難しいぞ。
- 38:48michiru_da: ちょっと何もね真似できる気がしないなっていうのが。
- 38:51うぱ / upamune: どういうこと?何を?
- 38:53michiru_da: 分からないことが分かったけど、
- 38:56michiru_da: じゃあどうやったら決められるのかっていうのが分かんない。
- 39:00michiru_da: 結構やってみるしかなくねって感じがした。
- 39:03うぱ / upamune: 私がツールのディスクリプションとかめっちゃ自分で書くのめんどくせえなっていうときは、
- 39:08うぱ / upamune: さっきのLighting Effective Tools for AI Agentsのやつをブログ記事をマークダウンにして、
- 39:17うぱ / upamune: クロードコードとかにこれを守ってツールのディスクリプションを書いてくださいとかそういうのをやって、
- 39:25michiru_da: 逆にこのツールを設計するにはどういう単位でやればいいですかねみたいなことを聞いたりしてます。
- 39:33michiru_da: なるほど。でもあれなんで判断できないんですよね。質問までできるけど。
- 39:39うぱ / upamune: それは問題ですね。
- 39:41michiru_da: はい。問題がありました。
- 39:45michiru_da: それで使ってみればいいんじゃないですか。評価さえできれば。
- 39:50michiru_da: そうですね。ちょっと動かしてみないと分かんないから、最初はAで作ってみるしかない。
- 39:57うぱ / upamune: 動かしたもん勝ちですよ。
- 39:59michiru_da: そうですね。早く使ってもらったもの勝ちかもしれない。
- 40:05michiru_da: というところで一旦1章と、2章もちょっと読んだんですけど、
- 40:09michiru_da: という感じなので、なんですがもう45分喋っていたので、一旦終わりにしてまた後編で第2章を話します。
- 40:21michiru_da: あれ来てくださいね。12月6日の。
- 40:27michiru_da: 急に思い出した。
- 40:29michiru_da: 12月6日の夕方に公開収録イベントを東中野でやるので、
- 40:35michiru_da: マジトモの皆さんは来てください。
- 40:38michiru_da: ちょっとこの回は宣伝用は違うかもしれない。
- 40:42うぱ / upamune: え?
- 40:43michiru_da: 普段のマジトモさんはここまでたどり着いていない可能性かなりある。
- 40:47michiru_da: そんな感じで。
- 40:49michiru_da: 感想・質問・フィードバックは、
- 40:51michiru_da: Xのハッシュタグ、マヂカル.fm全部小文字、または概要欄のお便りフォームまでお寄せください。
- 40:56michiru_da: Spotifyのベルマークを押すと更新通知が届きますのでそちらもお願いします。
- 41:00michiru_da: ありがとうございます。
- 41:01うぱ / upamune: ありがとうございました。