Latest / マヂカル.fm / 189: 会社にヘルプガイドをもとに質問に答えてくれるbotのRAGを導入した結果www
Transcript
- 0:07michiru_da: カジカルFMは関西人のプロダクタマネージャーの道理だと関西人のソフトウェアエンジニアのファミリーが春日で配信する雑談ポッドキャストです。お願いします。
- 0:17うぱ / upamune: お願いします。
- 0:18michiru_da: 今日のテーマは?
- 0:19うぱ / upamune: うん。会社にヘルプガイドをもとに質問に答えてくれるボットを導入した結果、わらわらわらわら。
- 0:31michiru_da: にちゃんのすれたい。
- 0:35michiru_da: 何?もう一回言って。
- 0:39うぱ / upamune: 会社がプロダクトを提供しているとするじゃないですか。何かしらの。
- 0:44michiru_da: お客さん向けね。
- 0:46うぱ / upamune: そうしたら、開発している方もそうですけど、それを売るセールスの人とか、あとサポートの人とかって、
- 0:55うぱ / upamune: いっぱいプロダクトがあったら、このプロダクトってこういう機能あるんだっけとか、あることはわかってても、
- 1:02うぱ / upamune: どっから設定するんだっけみたいな。普通はそれをヘルプガイド、お客様が見たりする。
- 1:09michiru_da: サポートサイトみたいなやつ。
- 1:10うぱ / upamune: サポートサイトを見たりして、ここにあるから、これはお客様に案内できるなとか。
- 1:18うぱ / upamune: まあそれでもわかんなかったら、人に聞いて解決すると思うんですけど。
- 1:26うぱ / upamune: それをね、今ちょっと2025年なんで、そのLLM、AIっていうやつを使って、
- 1:34michiru_da: ちょっといい感じにできないかなっていうやつで、やってみた実際の話をしようかなと思います。
- 1:45うぱ / upamune: 結果から言うと、それをSlackっていうメッセンジャーツール、社内のコミュニケーションツールがあるんですけど、
- 1:54うぱ / upamune: あそこでBotっていう機械というかマシンというか、あれに聞いたら、プロダクトの質問をしたら、
- 2:04うぱ / upamune: そいつが答えてくれるようにしたんですよ。
- 2:06うぱ / upamune: そしたらなんか割と使ってもらえてる。
- 2:09michiru_da: めちゃくちゃ見ますね。
- 2:10うぱ / upamune: そのいろんな人、セールスはもちろん、サポートの方もそうだし、
- 2:16うぱ / upamune: なんならそのエンジニアが、あれここの仕様ってこうだっけみたいなのを確認するときに聞いてくれたりするっていう。
- 2:23michiru_da: 私も使いました。
- 2:24michiru_da: 自分が担当してないプロダクトの仕様を確認したいときに、
- 2:30うぱ / upamune: そのガイドBotを呼び出して質問して、結構いい感じに答えてくれました。
- 2:38うぱ / upamune: そもそも大前提なんですけど、
- 2:40うぱ / upamune: みんなが使ってくれる条件として、まず、精度がまともっていうことがあると思うんですよ。
- 2:53うぱ / upamune: 3分の1でも使ってもらえないかもな。
- 2:58michiru_da: もう3回に1回は嘘を言ってくるみたいな感じだと。
- 3:02michiru_da: 嫌かも。
- 3:03うぱ / upamune: 嫌で、たぶんその、分かんないことはちゃんと分かんないって言ってほしい。
- 3:08うぱ / upamune: いわゆるハルシネーションって言われるような嘘つくことをなるべく減らす、みたいな感じとか。
- 3:16うぱ / upamune: あとは、そのプロダクト関係ない一般的なこととかで、その回答されたくない。
- 3:23michiru_da: そうね。
- 3:24うぱ / upamune: 本当にヘルプガイドの内容に基づいて答えてほしいですね。
- 3:31うぱ / upamune: っていうのがあるんで、基本的に今回作ったボットは、会社で作ったボットは、ヘルプガイドの内容をもとに回答するみたいな感じになってます。
- 3:44うぱ / upamune: なんで、基本的にヘルプガイドにないものはもう分からないっていう感じになってますと。
- 3:53うぱ / upamune: 逆に、そのヘルプガイドには載ってないんだけど、普通はこれこういうふうな案内をしますとか、
- 4:00うぱ / upamune: そのセールスの方からしたら、こういう場合、例えば売り方の話とか、これとこれって一緒に販売できますかとか、
- 4:08うぱ / upamune: そういう話って、別にヘルプガイドに載せないじゃないですか。
- 4:11michiru_da: そうね、別にプロダクトの機能の話じゃないからね。
- 4:14うぱ / upamune: そうそう、そういうやつは無理ですと、そもそも対応できないんですけど、ヘルプガイドからは。
- 4:24うぱ / upamune: ヘルプガイドじゃなくて、そういうこれできますかっていう質問。
- 4:29うぱ / upamune: 質問と回答を合わせ持ったNotionのデータベース。
- 4:35うぱ / upamune: Notionっていうのは、何なんだろうね、ナレッジ、知識を管理するチーム向けのドキュメンテーションのサービスなんですけど、
- 4:46うぱ / upamune: そこに本当にただのデータベースみたいな感じで、質問と回答がセットでなっているものを用意して、
- 4:56michiru_da: そこの質問と回答には回答できるようになっているという感じ。
- 5:02michiru_da: じゃあ参照するソースみたいなのは、ヘルプガイドとそのNotion上のこの質問ボット君用のデータベースが基本参照モードっていう感じ。
- 5:13michiru_da: そうです。
- 5:15michiru_da: 初心者質問なんですけど、例えば別にChatGPTとか、ノートブックLMもこのドキュメントを先に加わせておいて、
- 5:25michiru_da: そいつに基づいて回答してくれたりとかもできるじゃないですか。
- 5:28michiru_da: 今回うぱさんが作ったやつはそれとは違うものなんですか?
- 5:33うぱ / upamune: いい質問ですね。
- 5:35うぱ / upamune: そこら辺多分簡単で、ChatGPTも事前にドキュメントを与えて、GPTsだっけ?
- 5:44michiru_da: そう、GPTsですね。
- 5:45michiru_da: プロンプトも与えておくやつがある。
- 5:49うぱ / upamune: それでもできるんですけど、問題はですね、
- 5:52michiru_da: 一度入れた知識の更新がすこぶるめんどくさいっていうことなんですよね。
- 5:57うぱ / upamune: 例えばそのプロダクトがすごい月に何か3回も5回もアップデートしますよっていうときは、
- 6:03michiru_da: その変更したやつをどうやってGPTsに反映するんだっけっていう、
- 6:11うぱ / upamune: その場合何だろう?
- 6:14うぱ / upamune: 手動で毎回。
- 6:16michiru_da: そうね、サポートサイト全部抜いてきて、
- 6:19michiru_da: GPTsにアップデートしているドキュメントのファイルを全部入れ替えるみたいなのが必要になりそう。
- 6:28うぱ / upamune: ヘルプガイドのページの数も30個とかじゃなくて、
- 6:33うぱ / upamune: 数百ページとかあるんで、
- 6:35うぱ / upamune: それも大変なのと、さっきのNotionのデータベースの話ですけど、
- 6:42うぱ / upamune: 当たり前だけど答えられないことの方が最初多いんですよ。
- 6:48うぱ / upamune: AとBのプロダクトって一緒に販売できますかとか、
- 6:53うぱ / upamune: このオプションとこのオプションって販売できますかみたいなのは分かりません、なるんですけど、
- 6:58うぱ / upamune: そこから当たり前だけど人間に、そのデータベースにこれとこれは販売できます、できませんとかの組み合わせを登録してもらう必要があるんですね。
- 7:09うぱ / upamune: で、それをやんないじゃないですか、めんどくさい。
- 7:14うぱ / upamune: 人間が来て、すいませんこれ一緒に販売できないんですよみたいな、
- 7:18うぱ / upamune: そんなですねありがとうございますみたいな、で終わりじゃないですか。
- 7:23うぱ / upamune: 本当にやってほしいことは、それをデータベースに登録してもらうってことなんですよ。
- 7:28michiru_da: また次にヘルプデスク君が使えるような形で登録してほしい。
- 7:36michiru_da: そう、でもねその質問回答の抽出も結構人間がやるとめんどくさいんですよね。
- 7:44うぱ / upamune: 例えばその次来ても使えるような形式で登録したいんですよ。
- 7:51michiru_da: なんかその特定の事象によりすぎないというか、
- 7:55うぱ / upamune: でSlackのとかでやってたらこのスレッドっていう一連の会話の流れをうまく組んで、
- 8:02うぱ / upamune: そっから登録するってさらにめんどくさい。
- 8:05うぱ / upamune: で今回のBotは質問に回答してくれる以外に最後にわかんないとき、
- 8:12うぱ / upamune: 人間が回答しますとSlackのスレにこれは実はこうなんですみたいな回答したら、
- 8:18うぱ / upamune: 最後にこれをデータベースに登録してって言ったらそのスレを全部Bot以外の情報を全部読んで、
- 8:26うぱ / upamune: 人間の会話だけを読んで、そっから一般的な質問回答を抽出して、
- 8:32うぱ / upamune: そっから個別の企業の名前とか個人名とかをなくして、
- 8:38michiru_da: これで登録しますね、でっていうふうにやってるんですね。
- 8:43michiru_da: なんかそうなんですね、データベースに追加登録するやつも別に最後のコメントだけとかじゃなくて、
- 8:50michiru_da: なんかスレでやり取りした内容が全部反映されるというか。
- 8:54うぱ / upamune: そうです。厳密には。
- 8:55michiru_da: それってその方がいいのかな。
- 8:56michiru_da: なんか他の内容とかも。
- 8:59うぱ / upamune: 厳密には最後に、これデータベースに登録してって言ってる直前の回答をまず取ってきます。
- 9:12うぱ / upamune: これをFAQに追加してくださいっていう時は直前に回答があるはずなんで、一番近い回答を取りますと。
- 9:24michiru_da: その回答してくださいって言うのって、そもそもの確認なんですけど、
- 9:30michiru_da: Botを呼び出して質問する、でBotからアンサーが返ってくる。
- 9:35michiru_da: 違うなって思って、その人が自分で別のとこで調べたりして、人間が答えを知る。
- 9:43michiru_da: その人間がそのBotが回答したスレに本当はこうでしたよって投稿してあげる。
- 9:50michiru_da: さらにじゃあこれを追加してくださいみたいなのをまた追加で言うみたいな。
- 9:55うぱ / upamune: そうですね。最後の2つはどっちでもいいです。
- 9:59うぱ / upamune: 回答があって、その後にこれを質問登録してくださいでもいいですし、
- 10:03うぱ / upamune: 最後にこれが答えだからこれを回答として登録してくださいみたいな。
- 10:09うぱ / upamune: いいし、ちょっと細かいことを言うと、その回答がおかしかった時にヘルプを求めるボタンがあって、
- 10:17うぱ / upamune: そのヘルプを求めるボタンを押したら、その詳しい人にメンションが行くんですけど、
- 10:23michiru_da: 人にわからないので人に聞くみたいなのができるんですね。
- 10:26うぱ / upamune: そこがグループメンションになってるんですけど、
- 10:29うぱ / upamune: そのグループメンションはそのSlackのチャンネルによって飛ぶ先が違うっていう感じになってますね。
- 10:34michiru_da: このプロダクトに詳しいチームに質問メンションを追加で自動で飛ばすみたいな。
- 10:41うぱ / upamune: なので基本的にはそれを押されて、その詳しい人たちが回答をしてくれてFAQ追加みたいな感じで、
- 10:49michiru_da: 質問と回答がセットになったスレッドになってるんですよね。
- 10:53うぱ / upamune: なので同じスレッドで複数の質問が交わされる時もあるんで、
- 10:58うぱ / upamune: 一番新しい回答を取得して、それの元となるっぽい質問を取ってきて、
- 11:06うぱ / upamune: Slackのスレを読んでサマライズするみたいな感じになってますね。
- 11:11最新の答えに関連しそうな情報だけ追加で取りに行くっていう、すごい賢いですね。
- 11:19michiru_da: 今のところFAQ追加っていうかサマライズする制度は文句を言われたことない。
- 11:27michiru_da: そのサマライズする制度ってどこでわかるんですか?
- 11:30michiru_da: また最後にこれを追加するよみたいなのを確認してくれるってこと?
- 11:36うぱ / upamune: いや、実は私ほぼ全部読んでるんですよ。
- 11:40うぱ / upamune: Botのフロムで検索して、
- 11:44うぱ / upamune: なのでたまに追加したよって言ってくれるんで、
- 11:49うぱ / upamune: そもそも追加したよって言ってくれるんですよね。
- 11:57うぱ / upamune: Botがデータベースに登録したら、データベースに登録したよって言ってくれて、
- 12:01うぱ / upamune: そのページのURLもくれるんですよ。
- 12:04うぱ / upamune: それで違ったときに変えるのって、こう修正してって言うより、
- 12:09うぱ / upamune: もう修正したいことがわかってるんで。
- 12:12michiru_da: 自分で変えに行く。
- 12:13うぱ / upamune: そうそう。そうした方が楽なんですよね。
- 12:17michiru_da: なので今はそういうシンプルな手法を使ってるって感じですね。
- 12:23うぱ / upamune: これがFAQ登録みたいな感じなんで、
- 12:27うぱ / upamune: めっちゃ元の話に戻ると、
- 12:30うぱ / upamune: そんな感じで、ある一定のリソースを食べさせておくだけじゃなくて、
- 12:35うぱ / upamune: FAQ登録追加とか、あとはプロダクトのヘルプサポートガイド更新とかで、
- 12:42うぱ / upamune: すごい高頻度に更新されるものを自動的に反映したいんで、
- 12:48うぱ / upamune: 今GPTsとかGEMとかは使ってないっていう感じですね。
- 12:51michiru_da: なるほど。
- 12:54うぱ / upamune: あとSlackと連携とか。
- 12:55michiru_da: そうですね。それはめっちゃ便利だな。
- 12:58michiru_da: 意外となんか精度問題なのかなと思ったけど、
- 13:02michiru_da: あんまりそっちというかは運用のしやすさとか、
- 13:06michiru_da: ソースを自動で更新しやすいから別で作ってるって感じなんですね。
- 13:13うぱ / upamune: 手軽に扱いやすいとかだったら絶対GPTsとかGEMの方が非エンジニアでもできるし、いいなっていう感じですね。
- 13:22うぱ / upamune: もう一個いいのが、うちの会社だと元々そういうGEMじゃないけど、
- 13:29うぱ / upamune: あるウェブサイトに飛べば質問できるよ、プロダクトに質問できるよっていうページがあったんですよね。
- 13:38うぱ / upamune: そこで多分今までプロダクトの質問とかしてAIに回答してもらうみたいな仕組みは元々あったんですよね。
- 13:46うぱ / upamune: なんですけどそれSlackじゃなくてウェブサイトでやってるんで、
- 13:50うぱ / upamune: そのサイトの回答がおかしかったとしても、この回答おかしくねって突っ込みを入れてくれる人間が不在だったんですよ。
- 14:00うぱ / upamune: けどSlackでやることによって変な間違ってること言ってたら、
- 14:04うぱ / upamune: あれこれ回答おかしいですよみたいな人を一般の人間に見つけてもらえることができるんですよね。
- 14:11うぱ / upamune: そうすると精度改善とかもできるようになってきた。
- 14:17うぱ / upamune: なんでこの間もちょっとこれおかしいって言われて。
- 14:22うぱ / upamune: でも知らない人がこの回答おかしいなって判断するのってめちゃくちゃむずい。
- 14:27うぱ / upamune: てかわかんないですよ。言われたことを試してみるまで。
- 14:29michiru_da: 聞いてる人は見つけづらそうですよね。
- 14:32うぱ / upamune: そうそう。
- 14:33うぱ / upamune: なので、Slackのそういうみんなが見えるところで使ってもらうっていうのは一つおかしさに気づけるっていうやつだし、
- 14:45うぱ / upamune: 最近やったのは、この答えに対してどれぐらい自信があるかっていうのをやったんですけど、
- 14:55うぱ / upamune: 自信ありますって言われたとて、なんで自信あるかっていうのがわからないんで、
- 15:03うぱ / upamune: なんで自信があるのかっていう根拠も一緒に返すようにしてるっていう感じですね。
- 15:08うぱ / upamune: 例えば、ヘルプガイドに明確にこの記述があるとか、
- 15:12うぱ / upamune: Notionとヘルプ両方にこの記述があるとか、そういうのを書いてたらこうとかになるし、
- 15:19うぱ / upamune: 逆にそれっぽい似た記述はあるんだけど、
- 15:23うぱ / upamune: 明確にそれとは書いてないから自信度は中ですみたいな感じに示すことで、
- 15:28うぱ / upamune: こうって言われたらあれだけど、中だったらあれこれもしかしたらないのかもしれないなっていう一つの目安にはなるかなと思って、
- 15:36うぱ / upamune: 何も書いてなかったら、ああそうだねって盲目的に信じてしまうかもしれないんで、
- 15:43うぱ / upamune: なんでそういうことをやってるって感じですね。
- 15:47michiru_da: その間違ってるよって言ってくれる人ってどのぐらいいるもんなんですか?
- 15:52うぱ / upamune: ああ、
- 15:53michiru_da: その全体の回答の中で、結構急なんじゃないかなっていう気がしてて、
- 15:59michiru_da: そのフィードバックかけた方が質問ぼっとくの精度が上がるから、
- 16:04michiru_da: やったほうがいいなって思ってやってくれる人超限られそうだなと思いまして、
- 16:10michiru_da: 自分が何もそういうの知らなかったら、間違ってたら間違ってるなと思って、
- 16:16michiru_da: 多分そのままにして終了しちゃう気がするんですよね。
- 16:19うぱ / upamune: なんかそうですね、多分その人が大半だと思ってるんですけど、
- 16:25うぱ / upamune: そもそもの問題として、ある製品とかにフィードバックする人自体がめっちゃ少ないと思うんですよね。
- 16:32うぱ / upamune: よくプロダクトとかで何かをやって、この結果どうでしたか、いいねバッドで教えてくださいみたいな、
- 16:41うぱ / upamune: あれどんだけ押したことある人いるんだみたいな話とかなってくんで、
- 16:47うぱ / upamune: そもそもそんなに、実際多分全体論に対してそもそも少ないですね、間違ってる。
- 16:57うぱ / upamune: 今って解決しましたっていうやつと、解決しないから助けてくださいっていうボタンだけを置いてるんですけど、
- 17:05うぱ / upamune: 解決したっていうボタンは結構みんな押してくれるんですよ。
- 17:07うぱ / upamune: そうなんだ、なんで?
- 17:11うぱ / upamune: いや多分その、ボットのキャラクター作りの話かなと思ってるんですけど、解決したを押したら反応するようにしてるんですよねボットが。
- 17:24うぱ / upamune: ボットが反応して時間帯に応じてメッセージを変えてて、
- 17:30うぱ / upamune: 昼には押したらおいランチは食ったかみたいな頑張れよみたいな感じとか、
- 17:34うぱ / upamune: 夕方にやったらもうちょいだ頑張れみたいな感じでランダムで変えるようにしてて、
- 17:38うぱ / upamune: それをなんか1回押した人がこれ面白かったよみたいな感じで、
- 17:42michiru_da: えーそうなんだみたいな感じで面白さで押してくれるみたいな。
- 17:48michiru_da: そんなことをしてるんだ。
- 17:49うぱ / upamune: そうですね、それもなんか一つの工夫ですね。
- 17:52michiru_da: なるほど、フィードバックしたことへのフィードバックが返ってくるようにしてる。
- 17:56うぱ / upamune: そうですね、それは実はLLM使ってなくて。
- 18:02michiru_da: 固定なの?
- 18:03うぱ / upamune: 固定なんですけど、時間帯に5つぐらいメッセージを用意しておいて、
- 18:08うぱ / upamune: そのメッセージはLLMで生成したものなんですけど、こういうキャラクターで5つぐらい用意してもらって、
- 18:15うぱ / upamune: で、時間帯に応じて朝昼晩でメッセージを5つぐらいを普通にランダムで1つ返すみたいな感じしたら、
- 18:22うぱ / upamune: たぶん1日に同じものを見る人はほぼいないぐらいになる。
- 18:29うぱ / upamune: なんでそれでなんか面白がって使ってくれてますって。
- 18:34michiru_da: すごい。
- 18:34うぱ / upamune: そのキャラクター性みたいのはやっぱ重要だなと思って、
- 18:39うぱ / upamune: なんかアイコンないし、アイコンなくて、Slackのボットの名前も適当なやつだとみんなすごいただの機械だと思って接しちゃうから、
- 18:51michiru_da: さっきのFAQ追加みたいなのもあんまりやってくれないのかなと思うんですよね。
- 18:57うぱ / upamune: 今は間違ってたら、いやこれ違うんだよねってFAQ登録してくる人が結構いるんですね。
- 19:05michiru_da: そうなんだ。
- 19:06うぱ / upamune: で、あと自分はパトロールというか、啓蒙としてめっちゃ探してるんで、
- 19:14うぱ / upamune: 人が来て解決したみたいなのあるじゃないですか。
- 19:17うぱ / upamune: 誰々さんが質問して、誰々さんが来て回答してくれて解決したみたいな。
- 19:22うぱ / upamune: その時にその場で終わってるケースって正直結構あるんですよ。
- 19:26うぱ / upamune: なんでその種類に自分が行ってFAQ追加してって書いておいて、それでFAQ追加しましたって出てくるんですよね。
- 19:33うぱ / upamune: で、こんな感じでできるんでやってくださいねって言ったら、二人に啓蒙できるんですよね。
- 19:38michiru_da: 確かに質問した人と回答した人。
- 19:40michiru_da: そうそう。それでただ知らないだけとかのこともあるんで、それをやっていくと結構な人が当たり前のようにやってくれるんじゃないかなって妄想してる。
- 19:53michiru_da: そのパトロールはそのためにやってるんですか。
- 19:55うぱ / upamune: そのためと制度のためですね。さっきみたいなボタンを押してくれないだろうと思ってるんで。
- 20:01michiru_da: 自分でチェックして、自分で追加する。人間すごいな、それも。
- 20:05うぱ / upamune: やっぱその、ちゃんと使ってもらうにはそのサポート、人間のサポートが必要だ。
- 20:13michiru_da: すごい手厚いですね。
- 20:14うぱ / upamune: もちろん。で、そのみんなってその優しいんですよ。
- 20:20うぱ / upamune: どういうこと?
- 20:21うぱ / upamune: 例えばボットに質問して帰ってこないみたいなことがたまにあったっぽいんですね。
- 20:27michiru_da: けどその文句を言われないから気づいてなかったんですよ。
- 20:30うぱ / upamune: で、今日はなんかもう退勤してるのかなみたいな。
- 20:32うぱ / upamune: その優しい、ボットくん退勤してるのかなみたいな。
- 20:37うぱ / upamune: で、それを見て、あれと思って実際にログ見たら、質問が割と複雑で、動いてるのはエージェントなんで、
- 20:47うぱ / upamune: 何回もその質問を見て回答取ってきて、あれこれ違うな、取ってきて回答違うなって繰り返したらタイムアウト、時間切れになっちゃうケースが何回か存在してるなっていうのが分かって、
- 21:00うぱ / upamune: それでタイムアウト1分だったんですけど10分に伸ばして、で同じスレで私が全く同じ文句で質問して回答返ってくるようになったんで、
- 21:08うぱ / upamune: こんな感じで回答できるようになりましたみたいな、すいませんみたいな感じでやって、
- 21:12うぱ / upamune: それでその、勝手に失望されるじゃないですか、プロダクトって。
- 21:16うぱ / upamune: そうですね。
- 21:17うぱ / upamune: 精度低いなとか、使えないなとか。
- 21:19うぱ / upamune: 帰ってこないなみたいな。
- 21:21うぱ / upamune: なんでそれでチャーンを防いで。
- 21:23michiru_da: すごいね。
- 21:27うぱ / upamune: 地道な活動ですよね。
- 21:29michiru_da: そうですね、オンボーリングのウッパーですね。
- 21:31michiru_da: 技術力のウッパーだけじゃなかった。今褒めてますよ。
- 21:36うぱ / upamune: 多分技術的にはそんな、私自体はボットを作るだけのところなんで、難しいところはラグとかいう仕組みがあるんで、
- 21:47うぱ / upamune: それは私がそんなに手を付けてないんで。
- 21:54うぱ / upamune: やりきりの話ですね。
- 21:56michiru_da: そうですね、ちゃんと会社に運用が定着するとか、質問するだけじゃなくて、
- 22:04michiru_da: 改善フィードバックまで運用を組織に定着させるところのやりきりをやってたんですね。知らなかった。
- 22:12うぱ / upamune: 精度、ボタンを押してくれないとか、FQ追加してくれないっていうのは当たり前の話なんで、
- 22:21うぱ / upamune: この今の組織規模とかだったら、全権自分が見てもあるみたいなのが可能なんで、それをただやるっていうだけですね。
- 22:30michiru_da: 一応補足したことは、組織規模400人ぐらいはいるんで、そんなちっちゃくないんですけど。
- 22:36うぱ / upamune: まあまあ、数千人いなければ。
- 22:40うぱ / upamune: 私って自分のIDとか名前でずっとSlackを検索して、自分のNotionの記事とかを参照して、
- 22:48うぱ / upamune: 何かしてくれようとしてくれる人いたら、ニアリー文字みたいなつけて、自分の存在を見てますよっていうアピールをするっていうネットスト活動をしてるんですけど、その一環ですね。
- 23:02うぱ / upamune: ネットスト活動の一環です。
- 23:04michiru_da: なるほど。ちょっと怖かったけど。
- 23:09michiru_da: どうなんだ。実際精度今どんなもんとか、それは見てたりするんですか?
- 23:14うぱ / upamune: 精度ね、毎回撮ってるんですよ。これで採決したか。
- 23:19michiru_da: 人間のフィードバックに基づいた精度ってことです。
- 23:25うぱ / upamune: 撮ってるんですけど、今きれいに活かしてないんですよね。
- 23:29うぱ / upamune: なので、後からあの時撮ってたらってなったらめんどくさいんで、一応その特定の必要な情報は全部取るようにしてる。
- 23:40うぱ / upamune: そのBotの実行履歴のURLとかとSlackのスレのURLとかと質問回答と、この人は解決したか解決しなかったかみたいのは取るようにしてるんで、後で何かに使えるかなっていう感じなんですけど、
- 23:54うぱ / upamune: 解決したっていうこと自体が本当に解決したとは限らないんで、
- 23:58michiru_da: そうやね。
- 24:00うぱ / upamune: って感じなんですけど、解決しないみたいなところはBotの精度、解決した解決しないに関わらず、その一覧って精度の問題を置いておいて質問するってことは分かりづらいとか、
- 24:18うぱ / upamune: みんな疑問に思うところだから、逆にこれをプロダクトに生かしたりとかサポート、ヘルプガイドに生かすことはできそうだなっていう妄想はしてますね。
- 24:30michiru_da: ラグのやつで精度検証の仕組みみたいなのも世の中にあるじゃないですか。
- 24:38michiru_da: ラガスみたいな。
- 24:39michiru_da: そういうのとかは特にやらずにとりあえず社内でリリースしたみたいな。
- 24:44うぱ / upamune: あれね、大変なんですよね。
- 24:47michiru_da: 正解データ作るのがそもそも大変ですよね。どうやってるんだろうって思った。
- 24:53うぱ / upamune: これ悲しいとか当たり前の話なんですけど、AIとかLLMを使い始めたときはめっちゃ楽しいんですよね。
- 25:03うぱ / upamune: ちゃんとめっちゃいい感じにできてるみたいな。
- 25:07うぱ / upamune: けどその先に一歩踏み進める現実世界になると急に突然エンジニアリングの話になって、
- 25:18うぱ / upamune: 例えばAIだったらさっきも1分10分とか動かすって話しましたけど、
- 25:25うぱ / upamune: 普通の今までのソフトウェアだったらそんな長時間動くやつって基本存在しないんですよね。
- 25:31michiru_da: なるほどね。
- 25:32うぱ / upamune: だからあれそんなに長時間動かす仕組みってどうやってやるんだみたいな話とか。
- 25:40うぱ / upamune: 普通の長時間のやつってバッジとかでユーザーが全然待ち受けてない。
- 25:46うぱ / upamune: 勝手に夜中にやってきますよとかそういうのが多いんですけど、
- 25:49うぱ / upamune: これってめっちゃユーザーが待ち受けてるじゃないですか。
- 25:53うぱ / upamune: だからそういう長時間のプロセス作業を途中からでも実行できるようにする基盤だったりとか、
- 26:06うぱ / upamune: もう一つ制度みたいなところは普通に多分機械学習のエンジニアの方々がずっと今まで取り組んでた分野なんですよね。
- 26:14うぱ / upamune: その評価みたいな。
- 26:16うぱ / upamune: で、この間私が相談したんですよね。
- 26:20うぱ / upamune: また同じような話で、今までサポートの中で質問と回答のサンプルみたいなのはめっちゃあるわけじゃないですか。
- 26:32うぱ / upamune: こういうことできますかみたいな。
- 26:34うぱ / upamune: これですよみたいな。
- 26:36うぱ / upamune: それを個別の会社の名前とか個別の人の名前とか全部排除して、
- 26:42うぱ / upamune: すごい綺麗な一問一答にめっちゃまとめたんですよ。
- 26:46うぱ / upamune: そしたら150件、どれぐらいだろう。
- 26:49うぱ / upamune: 700件ぐらいだったら150件ぐらいに収束したのかな。
- 26:52うぱ / upamune: に一問一答ができたんですよね。
- 26:55うぱ / upamune: そしたら質問に対する回答が合ってるのかっていう同じ話ですよね。
- 27:00うぱ / upamune: 検証が必要じゃないですか。
- 27:02michiru_da: その150件にLLMがまとめたやつが本当に組み合わせとしてちゃんとね。
- 27:08うぱ / upamune: シンプルにこの質問に対してこの回答ってこの回答っていいんだっけっていうやつが必要じゃないですか。
- 27:15うぱ / upamune: 私が思ったのはその質問を同じく新しく作ったボットとかヘルプガイドのラグに対して投げて、
- 27:24うぱ / upamune: その回答をヘルプガイド元にしたやつを記載して、
- 27:29うぱ / upamune: それと元の回答とどれぐらい一致してるのかなっていう考えたんですけど、
- 27:36うぱ / upamune: そのラグから取ってきた回答もどのぐらいの精度があるかわかんないじゃないですか。
- 27:41うぱ / upamune: っていうやつでMLエンZINE会相談しに行ったんですけど、
- 27:44うぱ / upamune: それだったら何件ぐらいあるんですかって言われたんですよ。
- 27:47うぱ / upamune: 150って言ったら、150ぐらいだったら全部目で見ればいいじゃんって言って、
- 27:51うぱ / upamune: ちょっとMLって大変な世界なんだなっていう。
- 27:57うぱ / upamune: そんな感じなんですよ。
- 28:00うぱ / upamune: だから朝せいでチャプチャプ遊んで楽しいなと思ったらその先はとんでもない。
- 28:05うぱ / upamune: 今までみんなが頑張ってきた世界だったら、
- 28:11うぱ / upamune: ちょっと真面目に取り組まないとなって。
- 28:13michiru_da: そうですね。
- 28:14michiru_da: その正解データみたいなのが全くない状態から整備するとこだからより大変ですよ。
- 28:21michiru_da: 長期的にだったらサポートの人が回答してくれた時に、
- 28:26michiru_da: これをナレッジに入れますかみたいなので、
- 28:29michiru_da: その抽象化したものの組み合わせを一緒にチェックしてもらってちょっとずつ貯めるとか、
- 28:34michiru_da: 中長期では仕組みにできるかもしれないけど、最初はやっぱり気合と根性なんですね。
- 28:40うぱ / upamune: そうっすね。結局最初のね、そういう組み合わせが結構揃ってるとかないと、
- 28:48うぱ / upamune: なんだよこれもっと全然使えねえじゃんみたいな感じになっちゃうんで。
- 28:53うぱ / upamune: なんで、生成AIマジで朝せいでチャプチャプしてる分にはバリ楽しいんだけど、
- 28:59うぱ / upamune: 一歩進んだら普通に真面目にエンジニアリングに向き合わないといけなくて、大変な世界だな。
- 29:09michiru_da: 結局努力さえ検証しないといけない。
- 29:13うぱ / upamune: 早くエンジニアの仕事なくなってくれねえかなと思いました。
- 29:18うぱ / upamune: これじゃなくなんねえわって思いました。
- 29:20michiru_da: なくならなそうですね。なんなら増えそうな。
- 29:24うぱ / upamune: そうなんですよね。
- 29:26michiru_da: 朝せいでチャプチャプアウトプットがいっぱい出てくる。
- 29:31michiru_da: 作ったことは知っていたし、存在することとか、フィードバックの仕組みがあることはなんとなく知ってたんですけど、
- 29:39michiru_da: それを定着させるためのパトロールとコメントをやっているのとかはちょっと存じ上げなかったので、
- 29:46michiru_da: やりきり力を見せつけられました。
- 29:49michiru_da: 見せつけられました。見せつけてるつもりじゃないけど。
- 29:53うぱ / upamune: いつリリースしたんですか?今月?先月?
- 29:57うぱ / upamune: 途中でめっちゃ賢くなったんですよ。
- 30:00うぱ / upamune: 実は、実はですよ。多分皆さんもこれはできると思うんですけど、
- 30:05うぱ / upamune: 最初のプロトタイプ版はガイドを一切使ってなくて、
- 30:12うぱ / upamune: さっきの質問データベースを元に使ってて、
- 30:17うぱ / upamune: それも全くラグとか使わずに、
- 30:20うぱ / upamune: Notionのすべてのページをプロンプトの中に導的に突っ込むっていうやり方をしてたんですよね。
- 30:25michiru_da: すごいね。
- 30:26うぱ / upamune: それでめっちゃ精度出るんですよ。
- 30:28michiru_da: そうなんですね。めっちゃコンテキストでかくない?
- 30:32うぱ / upamune: でかいです。
- 30:33うぱ / upamune: だから最低限NotionからAPIから返ってきたJSONそのまま突っ込むととんでもない量になるので、
- 30:40うぱ / upamune: それはMarkdownに変換してめっちゃコンテキストを少なくするんだったら、
- 30:45michiru_da: 100ページぐらいだったら余裕ですね。
- 30:48うぱ / upamune: それで精度出てたんですけど、
- 30:50うぱ / upamune: ちょっとプロダクトの知識も欲しいなって言われて、そりゃそうだよなってなって、
- 30:55うぱ / upamune: ラグに作ってつなぎ始めたんですけど、
- 30:58うぱ / upamune: そのタイミングで、
- 31:01うぱ / upamune: イニシングトゥマークダウンっていうリポジトリが爆誕してですね、
- 31:05うぱ / upamune: Notionのデータベースをすべてマークダウンにするっていうやつで、
- 31:10うぱ / upamune: これが1時間に1回勝手に回ってるんですけど、
- 31:14うぱ / upamune: そいつを作って同期することで、
- 31:18うぱ / upamune: Notionの中身もラグ化したんで、
- 31:21うぱ / upamune: それが多分みんなに使ってもらえるタイミングかな。
- 31:27michiru_da: なんで9月の後半とかですかね。
- 31:31michiru_da: 正式版は2、3週間ぐらいですね。
- 31:34michiru_da: そうですね。
- 31:36michiru_da: でも確かになんか別に最初だけみんな使ってるっていうか、
- 31:39michiru_da: 本当にもう各所で。
- 31:41うぱ / upamune: 確かに。
- 31:43うぱ / upamune: 鳴り止まない熱狂。
- 31:47うぱ / upamune: 10月、もちろん4月と10月って入社の人数って結構多いですよね。
- 31:54うぱ / upamune: 弊社も例に漏れず多かったんですけど、
- 31:57うぱ / upamune: その入場員の方が結構当たり前かのように活用してくれてて。
- 32:01michiru_da: 確かに確かに。
- 32:03うぱ / upamune: なんでそれでも、
- 32:05うぱ / upamune: 多分オンボーディングとかで紹介してもらってると思うんですけど、
- 32:08うぱ / upamune: それで結構使ってもらってますね。
- 32:11うぱ / upamune: でこれ実は、
- 32:14うぱ / upamune: 普通こういうのってできたら、
- 32:16うぱ / upamune: 会社の定例とかで言うじゃないですか。
- 32:21うぱ / upamune: こういうのできましたって。
- 32:23うぱ / upamune: それ一回も言ってないですよ。
- 32:25michiru_da: いや思いました。
- 32:26michiru_da: なんか自分これリリースされた時、
- 32:28michiru_da: なんかそこかしこでみんながメンションしてるやついるけど、
- 32:32michiru_da: これ何者って思って、
- 32:33michiru_da: 普通にチームの定例で聞きました。
- 32:37うぱ / upamune: そうしたらチームの人も知らなかったでしょ。
- 32:39michiru_da: 知ってる人と知らない人がいて。
- 32:40michiru_da: あいつが作ったらしいよみたいな。
- 32:43michiru_da: なんかあいつが作ったプロダクトのことが入っているすごいBOTらしいみたいな。
- 32:49うぱ / upamune: 実はこいつ、
- 32:51うぱ / upamune: うちの会社のGoogleスライドに
- 32:53うぱ / upamune: セールスの方のノウハウとかが
- 32:55うぱ / upamune: すごい集まってるやつもあるんですけど、
- 32:57うぱ / upamune: それの内容もラグ化して知ってるんですね。
- 33:01うぱ / upamune: そのセールスの作った人と
- 33:04うぱ / upamune: たまにやり取りしてやってるんですけど、
- 33:07うぱ / upamune: 私聞いたんですよね。
- 33:08うぱ / upamune: あれこれそろそろ定例で言って
- 33:12うぱ / upamune: みんなに使ってもらうようにしますかねみたいなことを言ったら、
- 33:18うぱ / upamune: みんなに一気に周知するより
- 33:23うぱ / upamune: それを自然発生的に使わせて
- 33:27うぱ / upamune: 便利じゃんみたいな人が
- 33:29うぱ / upamune: 数人定着した状態で
- 33:33うぱ / upamune: アナウンスした方が広まる。
- 33:37michiru_da: 確かに使いたいってなった人をサポートする人ができた状態だから。
- 33:41うぱ / upamune: っていうセールスの考えが働いてしまいましたって言われて。
- 33:46michiru_da: 戦略的な。
- 33:48michiru_da: 確かにプロダクトの導入もそういう考えで
- 33:53michiru_da: 営業してる気がする。
- 33:56michiru_da: そんな戦略的な配慮があった。
- 34:01michiru_da: 素晴らしいな。
- 34:04michiru_da: でもこれからが楽しみですね。
- 34:06michiru_da: フィードバックどう生かすかみたいなのとか、
- 34:09うぱ / upamune: さっきの正解データとのチェックどうやっていくかとか。
- 34:14うぱ / upamune: 実際やると楽しい部分は
- 34:19うぱ / upamune: プロンプトいじるみたいなのほんの1ミリぐらい。
- 34:24うぱ / upamune: さっきの簡単に言ったけど、ラグウェイの動機の仕組みとか
- 34:28うぱ / upamune: ノージョンもあるし、Googleスライダーもあるし。
- 34:31うぱ / upamune: あとうちはヘルプガイドサポートサイト、Zendesk使ってるんで
- 34:35うぱ / upamune: Zendeskからの動機もあるし。
- 34:38michiru_da: Zendeskもめっちゃ記事あるんで、あれをフリで動機したら30分かかるんですよ。
- 34:42michiru_da: そうなんや。
- 34:43michiru_da: それをサブ運動機にして30秒にしたんですけど。
- 34:46うぱ / upamune: すごいね。
- 34:48うぱ / upamune: そういう話とかあって、めっちゃ泥臭いことが9割で、
- 34:541割が素敵なAIの話。
- 34:57michiru_da: いわゆるAIの。
- 34:59うぱ / upamune: っていう感じですね。
- 35:01うぱ / upamune: これをTwitterでも言ったら結構ね。
- 35:04michiru_da: めっちゃいいねついてましたよね。
- 35:06うぱ / upamune: びっくりしたのが、いいねブックマーク比で。
- 35:10うぱ / upamune: まずいいねが320ですと、
- 35:13うぱ / upamune: ブックマークが220なんついてるんですよ。
- 35:17うぱ / upamune: いいねとブックマークの差が100しかないって、
- 35:20うぱ / upamune: これすごくないですか。
- 35:22うぱ / upamune: めちゃめちゃブックマーされてる。
- 35:24うぱ / upamune: だからみんな興味あんのかなと思って、
- 35:27うぱ / upamune: ちょっとね、実は弊社で文学フリマみたいな、
- 35:34うぱ / upamune: 技術書の文学フリマみたいな同人誌即売会があって、
- 35:38うぱ / upamune: 技術書店っていうやつに出すんですけど。
- 35:41michiru_da: いつ?
- 35:42michiru_da: なんか去年は文学フリマと同じ日でしたよね、技術書店。
- 35:46michiru_da: なんかはしごしてきましたみたいな人いた気がする。
- 35:50うぱ / upamune: 技術書店って年に何回かやってるんですよね。
- 35:54うぱ / upamune: オフラインは11月16です。
- 35:56うぱ / upamune: 池袋サンシャインシティ。
- 35:59うぱ / upamune: なんでそこでの内容で書こうかなと思ってます。
- 36:02michiru_da: 今のところ。
- 36:04michiru_da: 今のところ。
- 36:06michiru_da: 泥草の部分がメインで。
- 36:10うぱ / upamune: 全然キラキラしてないぞっていう。
- 36:13michiru_da: してないぞって。
- 36:15michiru_da: いい話だった。
- 36:16うぱ / upamune: いい話だったのか。
- 36:18michiru_da: なんか同じような取り組みをしている方とかもね、
- 36:22michiru_da: エンジニアとかIT系の人だったらいそうだから。
- 36:25うぱ / upamune: 多分これ聞いたら、
- 36:26うぱ / upamune: なんかうちも欲しいっていう人が結構いると思いますよ。
- 36:29うぱ / upamune: 覚悟しろよっていう。
- 36:31michiru_da: 大変だぞって。
- 36:33michiru_da: ちょっとどんな大変さがあるかを詳しく知りたい人は、
- 36:37michiru_da: ぜひ技術書店に来ていただいて。
- 36:40michiru_da: 何て探したらいいの?
- 36:42michiru_da: このポッドキャスト、弊社の社名を言わない。
- 36:45michiru_da: 絶対に言わないことで有名だから。
- 36:48うぱ / upamune: リンクを貼っておきますよ。
- 36:51うぱ / upamune: 概要欄に。
- 36:53michiru_da: その会社名で探してください。
- 36:57うぱ / upamune: 話したらお金が発生するみたいな感じですね。
- 37:00うぱ / upamune: かたくなぎのiPhone17 Proと言わない、
- 37:03うぱ / upamune: ダイソーのiPhoneフィルムのように。
- 37:05michiru_da: そうなの?
- 37:07うぱ / upamune: 多分名前言ったらライセンス料が発生する。
- 37:09michiru_da: そういうこと?
- 37:11うぱ / upamune: ライセンス料が発生しないように。
- 37:13michiru_da: ライセンス料も発生しないし、
- 37:15michiru_da: もちろんアフィリエイトも発生しないので、
- 37:18michiru_da: ぜひ買いに来てください。
- 37:21michiru_da: うぱさんいるんですか当日。
- 37:22michiru_da: 本当に?
- 37:23michiru_da: じゃあうぱさんに会えるし、
- 37:25michiru_da: 詳細の話も直接聞けるし、
- 37:28michiru_da: 技術書店、15人ぐらい書くんでしたっけ?
- 37:31michiru_da: とんでもないですよ。
- 37:32うぱ / upamune: うちの代表の2人が書く。
- 37:34うぱ / upamune: 代表2人とも書くって。
- 37:35michiru_da: やばいよ。
- 37:36michiru_da: 他のエンジニアの人、
- 37:38michiru_da: 技術書店これまでも出したことあるけど、
- 37:40michiru_da: 代表2人の人との協調は今回しかないかもしれないから、
- 37:44michiru_da: やることにしましたって言ってた。
- 37:48うぱ / upamune: また締め切りが。
- 37:50うぱ / upamune: 待ってください。
- 37:51michiru_da: 確かに11月16日だったらいつ締め切り?
- 37:54michiru_da: 今月です。
- 37:55うぱ / upamune: 今月です。
- 37:56michiru_da: じゃあ何文字書きましたか?
- 38:01うぱ / upamune: 0文字。
- 38:03michiru_da: このお話しまして言われた時に、
- 38:05michiru_da: 今回のポッドキャストを書き起こして編集すれば、
- 38:08michiru_da: すぐ終わるんじゃねって思ったんですけど、
- 38:10michiru_da: 多分今日話してないところを書くから。
- 38:13michiru_da: 確かに。
- 38:15michiru_da: 残念ですね。
- 38:17うぱ / upamune: こういう話したいなっていう過剰書きのやつは、
- 38:20うぱ / upamune: 1500文字書いたんで。
- 38:22michiru_da: すごい。
- 38:23うぱ / upamune: あとはペンションにすれば。
- 38:24michiru_da: それもカーソルで行けますね。
- 38:27michiru_da: 全部手作りに。
- 38:28うぱ / upamune: もちろん。
- 38:29michiru_da: そうなんだ。
- 38:30michiru_da: 私の喋り方にしないといけないからね。
- 38:34うぱ / upamune: 早口。
- 38:36michiru_da: 早口自己紹介。
- 38:37うぱ / upamune: 早口自己紹介しないといけない。
- 38:39michiru_da: じゃあうぱさんの100%手作り文章も読めるそうなので、
- 38:44michiru_da: ぜひ11月16日の技術書店にも遊びに来てください。
- 38:49michiru_da: 私はいないので。
- 38:51うぱ / upamune: もちろん。
- 38:53michiru_da: みちるださんにも会いたい人は11月23日の。
- 38:57michiru_da: 近いな。
- 38:58うぱ / upamune: みちるださん作りすぎだな。
- 39:00michiru_da: 本当だよ。
- 39:02michiru_da: 私は別に1個しか書いてないから。
- 39:04michiru_da: あなたがたくさん作ってるから。
- 39:06michiru_da: 11月23日の文学フリマにも遊びに来てください。
- 39:11michiru_da: じゃあそんな感じで。
- 39:13michiru_da: 感想・質問・フィードバックは、
- 39:15michiru_da: Xのハッシュタグ、マヂカル.fm全部小文字、
- 39:18michiru_da: または概要欄のお便りフォームまでお寄せください。
- 39:21michiru_da: ぜひファインのベルマークを押すと更新通知が届きますので、
- 39:24michiru_da: そちらもお願いします。
- 39:25michiru_da: ありがとうございます。
- 39:26うぱ / upamune: ありがとうございました。