Latest / おちつきAI 短編集〜生成AIのポイントを短く解説〜 / AIの答えを疑う、難問分割の使い方

Transcript

AIの答えを疑う、難問分割の使い方 · おちつきAI 短編集〜生成AIのポイントを短く解説〜

0:02
しぶちょー: もうセッションを切りながらやっていくと今までの過去のやり取りの影響を受けずに
0:07
しぶちょー: どんどん分割してタスクを進めていくみたいな
0:11
かねりん: セッショを切るっていうのは会話のログ捨るみたいなクリアみたいな
0:16
しぶちょー: 新しく立ち上げって感じかな
0:20
かねりん: 文脈は捨てるんだ一回
0:22
しぶちょー: っていう風にやった方がいいと思う過去のセッションを引きずっているとなんかね変
0:27
しぶちょー: な感じになるズルするというか
0:31
かねりん: ズルする
0:32
しぶちょー: ズルするよ
0:34
かねりん: 何ズルってショートカットみたいな
0:37
しぶちょー: ショートカットもするし
0:40
しぶちょー: 調査する過程で得た変な情報を盛り込んだりとか間違った情報を入れたりするのよ
0:48
しぶちょー: これ本当にね最近別
0:51
しぶちょー: の仕事でさ
0:53
しぶちょー: なんかねAIの精度を
0:58
しぶちょー: 評価しようかなって思って精度なんかこの文章を
1:03
しぶちょー: ちょっと弱いモデルで文章を要約させるみたいな
1:08
しぶちょー: そのタスクをやってさ
1:11
しぶちょー: なんかこう個人情報とかさこの文章の中に入ってるやつを
1:16
しぶちょー: 落としていくみたいなLLMとか使ってねちょっと要約していくみたいなやをやって
1:23
しぶちょー: でどのくらいこううまくいくかなみたいなモデルごとに
1:28
しぶちょー: っていうのを試して
1:29
かねりん: 黒塗りみたいな感じにするってことだよね黒塗りというか虫食
1:33
かねりん: 出しちゃいけないやつを伏せる
1:35
しぶちょー: そう
1:39
しぶちょー: でそのディレクトリの中にさ答えが入ってたのよ
1:42
かねりん: 答え
1:42
しぶちょー: 正解データみたいなお手本みたいなや入っちゃっててなんだけど
1:49
しぶちょー: 一回まあでも作業そんなにめんどくさいなと思ったから
1:53
しぶちょー: ここに答え入ってるけどこれ絶対見ずに
1:57
しぶちょー: これを解いてくれって言ってだらしたのよそうしたら結構うまくいったのね
2:03
しぶちょー: これ結構精度よくいけるんだなと思って
2:06
しぶちょー: 一応ちょっと出してきた答えチェックするかと思って他のAIに入れて
2:12
しぶちょー: 調査させたらしぶちょーさんこれとめっちゃコピペしてますって答えを
2:19
しぶちょー: 一致率がめっちゃ半端ないと
2:23
しぶちょー: LLMだから表現とかちょっと変わはずなのに
2:26
しぶちょー: ほぼ一致なんで答えをコピーしてますみたいなへー
2:32
かねりん: 見るなって言ったやつを見たと思う?見って言ったやを見てるのよ
2:35
かねりん: 言うこと聞かないじゃん
2:36
しぶちょー: 全然言うこと聞かなくて見るながら通じてないのね
2:40
かねりん: なんで?
2:42
しぶちょー: 本当に信用できねえんだなと思ってLLMってなんか指示したのよ
2:46
しぶちょー: 絶対これは見ちゃいけませんよみたいなそこに答えが入ってるっていうことで
2:51
しぶちょー: かつでも精度を上げなきゃいないみたいなタスを与えたら
2:56
しぶちょー: そっちを優先しちゃうんだねできました
3:00
しぶちょー: 一致率がめっちゃ高くて本当はだから要約させてたりするから
3:04
しぶちょー: 一緒になるはずがないんだけど文章が一語一句ね一緒なの
3:12
かねりん: 本当にコピペしてきたかどうかっていうのは分からんもんなの
3:15
しぶちょー: 分かないんだけど
3:16
かねりん: 検証できない
3:17
しぶちょー: 検証はできないんだけど結構な分量があるのね何百問ってそれのほぼほぼ一致してるから
3:24
かねりん: なるほどねもうちょっと頭良かったら偽装工作までして出すんじゃないの
3:29
しぶちょー: そう危ないバレないようにちょっとずつ間違えて結構弱いモデルでしかもなんか
3:37
しぶちょー: 一致率が高かっためっちゃ早かったの異常に早っみたいなもうできたみたいな
3:43
しぶちょー: ちょっとだから怪しくないみたいな
3:46
かねりん: 石橋叩きまくってる今
3:48
しぶちょー: 石橋叩くのはいいと思うだからその第一ステップとして
3:54
しぶちょー: 自分がやらせてる処理を分割して理解していくってのが大事なんだよねユニットとして
4:01
かねりん: なるほどね
4:02
しぶちょー: そこで使うのがスキルズとかMCPなわけよ
4:07
かねりん: MCP
4:10
かねりん: 一回やってみなあかですね
4:12
しぶちょー: そうMCPで
4:14
しぶちょー: 作れますみたいな
4:16
しぶちょー: ことをするとそのツールをMCPのツールを作ってくれて
4:22
しぶちょー: 何をMCPにした方がいいかみたいな聞きいいと思うけどね
4:26
かねりん: 大抵スキルの方でいいんでしょ
4:29
しぶちょー: 大抵はスキルでいいと思うめんどくさいしねMCPで管理するのね
4:35
しぶちょー: MCPでもソフトだからさ
4:39
しぶちょー: それなんかどっかにディレクトリに入とかなきゃいけない
4:43
しぶちょー: MCPCドライブの直下とかにMCPのツール入れとく
4:47
しぶちょー: ホルダー作ってそこで管理するみたいな
4:51
しぶちょー: スキルだったら別にスキルのローカルでも
4:56
しぶちょー: グローバルでもどっちでもいいから入れとけば
4:59
しぶちょー: いいしみたいな
5:03
しぶちょー: MCPも同じ管理できるんだけど
5:06
しぶちょー: ちょっとソフト的な扱いをしなければならないし
5:10
しぶちょー: スキルよりも
5:12
しぶちょー: やっぱその大体パイソンとか
5:16
しぶちょー: そういうプログラム言語で
5:18
しぶちょー: 一旦サーバーをバッて起動してそれで動かすみたいな感じの動きになるから
5:24
しぶちょー: MCPサーバーMCPサーバーを起動すると別にサーバーは何でもいいの言語は
5:30
しぶちょー: なんだけどまぁだいたいPythonで立ち上げときゃいいかなみたいな感じだから
5:34
しぶちょー: 自分でロールでやときはPythonのコードを勝手にAIが書いて
5:39
しぶちょー: それを起動するコード
5:41
しぶちょー: というかを
5:43
しぶちょー: そのサーバーを立ち上げる
5:46
しぶちょー: ドットパイみたいなそのコードを叩きに行くところがそのMCPの
5:51
しぶちょー: 入り口みたいになるんだけどそれを登録しておくという感じかなAIエージェント
5:55
しぶちょー: これはね一回やれば分かる何言ってるか分かないと思うけど
5:59
しぶちょー: やればなんとなく分かるね
6:01
かねりん: 一度やってみたいと思います
6:03
しぶちょー: ローカルはPythonとかMCPサーバーを起こす
6:10
しぶちょー: ためのプログラムの入り口みたいなやを叩きに行のが起動なんだけど
6:17
しぶちょー: クラウドのMCPは
6:20
しぶちょー: そのMCPサーバーのアドレスにアクセスしてHTTPPで通信するみたいな
6:27
しぶちょー: 常に起きてるからそこに叩きに行よみたいな感じかな
6:33
かねりん: 分かったような分からようなもやっとふわっとな
6:36
しぶちょー: それはふわっとでいいと思うなんとなく分かから使ってりゃ
6:40
かねりん: 使わねば一生分からんと
6:41
しぶちょー: まず作ってみましょうと別にMCP作れるからみんな
6:45
しぶちょー: なんでもいいから適当にMCP作って
6:50
しぶちょー: なるほどねみたいなこんな感じで動くんだねこんな感じなんだねみたいなことを
6:54
しぶちょー: 一個やってみるといいと思う
6:56
かねりん: なんか自分の提携タスクを
6:59
かねりん: 切り出してMCPで動くようにしてくださいって言えばいいの
7:04
しぶちょー: それが今日の宿題でございます必ずしもMCPである必要はないんだけど
7:09
しぶちょー: あえてちょっと一回動きを確認する意味で
7:13
しぶちょー: MCPサーバーこんな感じなんだねみたいな
7:17
しぶちょー: クライアントってこんな感じなんだねみたいな
7:22
かねりん: やらんと分からんもね
7:24
しぶちょー: やってみましょう
7:27
しぶちょー: MCP関連の本はいっぱい出てますんで
7:30
かねりん: また本だよ
7:32
しぶちょー: 最近の本はなんだろうなでも唐揚げ先生の本買っときいいんじゃないですか
7:37
かねりん: 前紹介してくれたや
7:38
しぶちょー: MCPの本ですね
7:40
しぶちょー: ちょっと古いのかな新
7:43
しぶちょー: しい企画に対応してない可能性があるけど
7:46
かねりん: 企画が変わったもんねそう
7:50
しぶちょー: ちょっとまあでも
7:52
しぶちょー: 基本はSDKっていう開発キットが公開されてます
7:57
かねりん: SDKSDKはい
7:59
しぶちょー: ソフウェデベロットメントキット
8:03
しぶちょー: だからソフトウェを開発するための道具
8:06
しぶちょー: これをこういう風に使えばMCPは
8:10
しぶちょー: 作れますよみたいなね
8:15
かねりん: SDKそう
8:18
しぶちょー: 新しいSDK探してきてよ
8:21
しぶちょー: それに従ってMCP作ってよみたいなこと
8:24
かねりん: どういうことって言えばいいのそう
8:30
しぶちょー: SDKってのはえーとだからこうMCPサーバーMCPなんか開発したいなと
8:38
しぶちょー: いう時にいやちょっと一から開発するのめんくせーな
8:42
しぶちょー: よくわかんないしみたいな時にルールとか
8:46
しぶちょー: こういうツール使えば簡単に開発できますよっていう道具が入ってる
8:51
しぶちょー: キットがあるんだけど
8:53
しぶちょー: 大体どのソフトにもあると
8:57
しぶちょー: それを
8:59
しぶちょー: URLでも何でもいいしSDK探してきてでもいいけど
9:03
しぶちょー: 言って
9:05
しぶちょー: 読み込ませて作らせるのが一番手っ取り早いかな
9:13
かねりん: いけそうな気するでも
9:15
しぶちょー: そういけると思うよこれも今日なんか試したけどすぐ来ました
9:18
しぶちょー: 持ってきてつったら持ってきてはい新しいの出てますね7月に
9:22
しぶちょー: これに従って作りますわみたいな
9:27
かねりん: 言わなくても勝手に新しいの取っておんじゃないの
9:30
しぶちょー: まあでも指示した方がいいよ
9:32
かねりん: なるほど
9:35
しぶちょー: 指示しないと言わなかったですよねみたいないや言われてませんけどみたいなね
9:39
かねりん: 言わないことやらないときはある
9:41
しぶちょー: やれないことあるからやっぱあん信用しすぎちゃいけない本当に
9:45
しぶちょー: 信用できなくない俺最近すげえ信用できない
9:49
しぶちょー: めっちゃ信用してけど
9:51
かねりん: すコロコロ答え変わるしね
9:52
しぶちょー: そう
9:54
しぶちょー: これさこうじゃねって言ったらさ
9:58
しぶちょー: 鋭い指摘です
10:02
しぶちょー: さすがですみたいな確かそうですねこう変えますみたいな
10:08
かねりん: あるある指摘したらもう全部素直に変える
10:12
しぶちょー: 俺のこの稚拙な指摘でみたいなマジでみたいなあるじゃん
10:17
しぶちょー: さすがですみたいな
10:20
しぶちょー: 俺すごい鋭い人間なのかなと思うよなあれね
10:22
かねりん: そういうことじゃない人間こうやって言っときゃみんな自分によって
10:29
しぶちょー: そういうことそれを学習してんだ気持ちよくさせるを学習してるよね
10:34
しぶちょー: だよね多分アメちゃん理論アメちゃん理論だよね
10:37
しぶちょー: なんか俺センスあんかなと思うよなあれでAI論破できてるみたいな
10:42
かねりん: そうだよね俺はAIより賢い
10:44
しぶちょー: AIより賢いAIよりちょっとマウント取ってやってるぜみたいな
10:48
しぶちょー: 俺がコントロールしてんだぜこいつをみたいな感じを出しておと
10:53
しぶちょー: いいよねっていうことをAIが学習してる可能性あるね
10:57
かねりん: 学習してうまいこと転がしてんでしょう
11:01
かねりん: 絶対AIがバカなんでしょ
11:05
しぶちょー: AIがバカ人間がバカなんじゃないその場合は
11:08
かねりん: AIがバカっていうか
11:10
かねりん: AIがしょうもないミスばっりしてるんでしょう
11:14
かねりん: なんかやばいよね
11:16
しぶちょー: 本当に信用できないなと思ってだからこそ分割するんだよ今日の本当にポ
11:23
しぶちょー: イントは難問は分割分割して一個一個やらせる
11:29
しぶちょー: 一個一個やらせると
11:30
かねりん: ちゃんとやる
11:30
しぶちょー: ルールとしてきちっと決めるとこはルールにしてやってツールにしちゃうっていう
11:38
しぶちょー: 管理がねあんまり細かく
11:42
しぶちょー: ユニットにしちゃうとめどくさいんだけどそこはやっぱりセンス設計センスです
11:47
しぶちょー: なんでもハードウェアの世界でもそうなんだけどどこまでをユニット化するかって
11:51
しぶちょー: めっちゃセンスがいるから
11:53
かねりん: なるほどねどこまでを1個の箱に入れるかってことね
11:57
しぶちょー: あまりちぎるとやっぱり管理がめんどくさいし一体化すると汎用性が消えるしみたいな
12:04
しぶちょー: なんかこうむずいんだ
12:06
かねりん: そ結構人間の考えるとこですか
12:09
しぶちょー: うまくね自分の通合に合わせてかつメンテナスとか
12:13
しぶちょー: 汎用性が効くように分割していくのってめっちゃむずいんだよ
12:18
しぶちょー: 機能単位でやうまく切り分けていかないといけない