Latest / おちつきAI 短編集〜生成AIのポイントを短く解説〜 / AIの電力は小さいモデルで抑えられる？ローカルLLMと蒸留の考え方

Transcript

AIの電力は小さいモデルで抑えられる？ローカルLLMと蒸留の考え方 · おちつきAI 短編集〜生成AIのポイントを短く解説〜

• 0:00
  Speaker 2: 【ポイントを拾う】
• 0:02
  Speaker 2: KANERIN ああ、たかみさんね。はいはい。お会いしたよね。
• 0:06
  Speaker 2: たかみ え?いつ? KANERIN ポッドキャスト。ウィークエンドで。
• 0:10
  Speaker 2: たかみ あっ、来てくださった方ですか? KANERIN うん、たかみさん。ポッドキャストの人よ。
• 0:14
  Speaker 2: たかみ そうですか。いつも楽しく聞かせていただいてます。 KANERIN ありがとうございます。
• 0:20
  Speaker 1: たかみ ここ最近自分が気になっているのは、AIのエネルギー利用。 KANERIN おお。
• 0:24
  Speaker 1: たかみ ちょこちょこいろんなところで言われているように、やはりAIが使う電力や水などのリソースはかなりのものだと思います。
• 0:34
  Speaker 1: それでも他のデータセンターのエネルギー消費に比べれば、そこまで突出して高いものではないとも聞きます。
• 0:42
  Speaker 1: だからといって無視していいものではないと。
• 0:45
  Speaker 1: たかみ 以前有料版限定だったAIモデルが無料版でも使えるようになったり、有料版でも利用回数の制限が緩和されたりと、
• 0:55
  Speaker 1: そのたびによりエネルギー消費の少ないAIの運用技術ができたのかなと思ってたんですが、
• 1:02
  Speaker 1: 最近AIのエネルギー問題について調査している人の話を聞く限りそうでもないようで。
• 1:09
  Speaker 1: どんどんどんどん使う量が増えとるってことかな。
• 1:11
  そうなのかな。効率は良くなったのは確かだと思うけどね。
• 1:16
  Speaker 1: でもフェイブルみたいなのがさ、どんどん解禁されてきたらもう、それ電力ヤバいでしょ。
• 1:24
  ヤバいでしょうね。
• 1:25
  Speaker 1: おはようございますフェイブル、ブワーって関与放射器みたいな。
• 1:28
  Speaker 2: イメージしたそうだね。
• 1:31
  Speaker 1: よくショート動画で流れてくるやつ。
• 1:35
  Speaker 1: AIが電気を食うなら発電所を買えばいいじゃない。
• 1:39
  Speaker 1: AIが水を使うなら効率の良い冷却技術を探せばいいじゃない。
• 1:44
  Speaker 1: という取り組みもそこここで聞きますが、
• 1:47
  Speaker 2: AI時代のワリアントアネットの人みたいな。
• 1:50
  Speaker 1: ねえ、思ったよ。なんだっけ?
• 1:53
  Speaker 1: パンがないならクッキー食べればいいじゃないだっけ。
• 1:57
  Speaker 1: なんかそんなようなね。
• 1:58
  Speaker 2: パンがないなら、
• 1:59
  ケーキ食べなさいみたいな。
• 2:00
  Speaker 2: ケーキだね。たぶん。
• 2:03
  Speaker 1: 政治家ね、イギリスかどうか。
• 2:05
  Speaker 2: 言ってない説あるけどね。
• 2:06
  Speaker 1: 言ってない説あんだ。とんだ汚名を着させられてるな。
• 2:12
  Speaker 1: そうではなく、そもそもAI自体が
• 2:15
  Speaker 1: 使用するエネルギー消費を抑えようという方向の取り組みは全くないのかと
• 2:20
  Speaker 1: 疑問に思うところがありますと。
• 2:23
  Speaker 1: ローカルLLM規模の小規模な言語モデルでもできることが増えてきた。
• 2:29
  Speaker 1: 今、何でもかんでもパラメータ数の多いクラウドLLMで処理すれば
• 2:36
  Speaker 1: 何でも完璧としてしまっていいのかどうか。
• 2:40
  Speaker 1: もう少しタスクに合わせて小規模なモデルを使うことも考えていいのでは。
• 2:46
  Speaker 1: その辺は本当に進んでないのか。
• 2:48
  Speaker 1: と思うと落ち着いてAIの状況を見てていいのかと
• 2:52
  Speaker 1: ここ最近考えてます。
• 2:55
  Speaker 1: もちろん私が調べられてない範囲にもっともっといろんな工夫や実例があるかもしれませんが、
• 3:01
  Speaker 1: 一度このような内容についても触れられるといいなと思ったりしてますといただいております。
• 3:08
  Speaker 2: ありがとうございます。
• 3:10
  Speaker 2: AIかける消費電力みたいな話ね。
• 3:13
  Speaker 1: なんか似たような話せんかった?
• 3:16
  Speaker 2: 過去何回かちょくちょく触れてはいるとは思うけど、
• 3:23
  ローカルLLMみたいなものが大きいモデルでいろんなタスクを乗せるとやっぱりちょっと効率悪いよねって話で
• 3:32
  Speaker 2: どんどんファインチューニングしたりとか
• 3:34
  専門の使うやつを
• 3:39
  Speaker 2: チューニングして使った方が効率がいいよねって話は出てきているし
• 3:44
  Speaker 2: そういう方向にどんどん触れていくんじゃないのかな。
• 3:47
  Speaker 2: 特に日本の戦略とかそっちだよね。
• 3:50
  Speaker 2: 大きいモデルで戦うんじゃなくて
• 3:52
  Speaker 2: 専業とかの医療だったり医療分野特化したみたいなものをちょっと生み出して
• 3:58
  Speaker 2: それを使っていきましょうみたいな。
• 4:00
  Speaker 1: それそういう流れになってるのは何でなの?
• 4:03
  省エネだからなの?
• 4:05
  Speaker 1: もう勝てないから?
• 4:06
  Speaker 2: 勝てないからも一個あると思うし
• 4:09
  本当にタスク特化させるんだったらそっちの方が効率がいいからだと思う。
• 4:13
  Speaker 1: あ、そうっすか。
• 4:15
  Speaker 2: PCをやっぱりそもそも小さくできるし。
• 4:18
  Speaker 1: 電力効率みたいなこと?
• 4:20
  Speaker 2: 電力効率もそうだし
• 4:21
  コスト?
• 4:22
  Speaker 2: コスト、それこそね。
• 4:25
  Speaker 2: いちいち他のところにあるデータセンターとかパソコンの中にあるLLMをAPI経由で持ってくるより
• 4:34
  Speaker 2: ローカルで使えた方がいいよねってのは当然あるし
• 4:37
  Speaker 2: 自分たちが抱えてるところでね。
• 4:39
  Speaker 2: ってなるとやっぱりモデルが小さい方がハードウェアのお金も収まるから
• 4:46
  Speaker 2: なるべくそれしかやらないんだったら小さいモデルでやった方がいいという考え方もあるから
• 4:53
  Speaker 2: そういうところで専業とかのものを作ろうみたいな流れはだいぶ進んできているとは思う。
• 5:03
  Speaker 1: そんな小さいモデルでそれこそローカルで動くようなちっこいのでなんとかなるものなの?
• 5:08
  Speaker 1: そんなちっこくない?フェイブルファイブみたいなのが相当なのが。
• 5:15
  Speaker 2: それはどこまでそいつにやらせるタスクを小さくできるかっていう話だとは思う。
• 5:20
  Speaker 1: めっちゃ専門一点特化みたいな。
• 5:24
  Speaker 2: この医療のこの分野の回答してくれるようなLLMですよみたいなのとか。
• 5:31
  Speaker 1: ちっちゃいのをいっぱいガーって置いておくわけね。結局大きくなるのさ。
• 5:39
  Speaker 1: 結局同じことではないんだ。
• 5:42
  Speaker 2: 同じことではないね。やっぱそのなんか大きいモデルも結局中でどういうふうに動いているかわからないよねっていうのはあって。
• 5:52
  Speaker 1: わかんないんだ。
• 5:54
  Speaker 1: ブラックボックス。
• 5:55
  ブラックボックスなのよ。でそのLLMの中の挙動を研究する研究分野もあって。
• 6:05
  Speaker 2: それはなんか生物学に似てるって言ってるのね研究者は。
• 6:09
  Speaker 2: 生き物の動きを観察して調べるようなそういう取り組みになるわけ。
• 6:14
  Speaker 1: 観察してっていうそういうアプローチが生物学っぽいんだ。
• 6:19
  Speaker 2: 脳みその動きを見るみたいなのとほぼ一緒だからさ。
• 6:22
  こういう言葉が入っているときはどこが活性化してるかなみたいなやつを見ていくのね。
• 6:26
  Speaker 1: なんか自分らで作ったものなのにわからんってのは面白い。
• 6:29
  Speaker 2: わからないそうそう。何がどう動いているのかもうパラメーター数が多すぎてわからないから。
• 6:34
  Speaker 1: すでになんかもうじゃあわからない未知のものなんだね。
• 6:38
  Speaker 2: 未知のもの。
• 6:40
  Speaker 2: それだけやっぱ無駄はあるよね。最近だとMOEって言ってそのなんか
• 6:45
  あまりその全部を使わずに統括したやつがいて
• 6:51
  Speaker 2: エージェント的に振っていくみたいな動きをさせるんだけど
• 6:54
  Speaker 2: そうすると実質の実行のパラメーター数が減るから
• 6:58
  Speaker 2: 使う電力が減るよねっていう形で
• 7:02
  Speaker 2: 動かすんだけどLLMって。
• 7:04
  Speaker 1: オーケストレーションってやつっすか。
• 7:06
  Speaker 2: あ、そうそれに近い。オーケストレーションっていうといろんな
• 7:10
  Speaker 1: Aみたいな。前Kみたいな。
• 7:13
  Speaker 2: そうコントロールするか、そう指揮者みたいなやつがやる。
• 7:17
  Speaker 2: それを一個のLLMの脳の中でやってたりするのね。
• 7:23
  Speaker 2: そういう技術があるんだけど
• 7:28
  Speaker 2: そうすると実際の全部の総パラメーター数に関して対して
• 7:34
  Speaker 2: 一個のタスクで使うパラメーター数を減らせるから結構エコだよね
• 7:38
  Speaker 2: みたいなそういう技術があったりして
• 7:43
  Speaker 2: そういうのもあるし、そもそもモデル自体をちっちゃくする。
• 7:47
  Speaker 2: 知識上流って言ってね。エッセンスだけこうやって
• 7:51
  Speaker 2: モデルをちっちゃくするみたいな技術もあるから。
• 7:55
  Speaker 1: どんどんどんどんちっちゃくなっていく方向性。
• 7:58
  Speaker 2: そうだね。
• 7:58
  Speaker 1: でかいのはでかいので、クロードとかGPTがバンバンいくと。
• 8:03
  Speaker 2: うん。だからもうあんまり頭良くしすぎても
• 8:06
  Speaker 2: なんかもうよくわかんないっていう風になってきそうじゃない?
• 8:10
  Speaker 1: え、どういうこと?
• 8:10
  Speaker 2: 実際になってるじゃん。もうフェイブルファイブ、フェイブルシックス出てきました。
• 8:14
  Speaker 2: フェイブルファイブの2倍の性能ですって言われても
• 8:17
  多分よくわかんないね。我々には。
• 8:19
  Speaker 1: そうだね。何が起きてるのか?
• 8:23
  Speaker 2: わかんないし、本当に頭が良くなったのかも
• 8:25
  Speaker 2: なんかもうソムリエ的な感じで
• 8:27
  ベンチマークはめっちゃすごいけど
• 8:29
  Speaker 2: うーんっていう、なんかだんだん使いこなせるようになってきそうな感じするじゃん。
• 8:34
  だったら多分フェイブルファイブ相当の
• 8:37
  Speaker 2: なんかモデルが
• 8:38
  Speaker 2: なんと半分のパラメーターで実現できましたよみたいな
• 8:41
  Speaker 2: ちっちゃくなる方向に
• 8:42
  Speaker 2: いくんじゃねえかなと思うね。
• 8:45
  Speaker 1: それってなんかシックスとかってこう
• 8:48
  Speaker 1: レベルが上がってくと
• 8:49
  上がって初めてそれができるの?
• 8:53
  なんかちっちゃくできましたみたいな。
• 8:56
  Speaker 2: あーちょっとね、あんまりわかんないな正直。
• 8:59
  Speaker 1: 両方同時の系譜なのかな。
• 9:01
  Speaker 1: 先にやっぱ上に行くものがあって
• 9:04
  全然アプローチとしては別だと思うよ。
• 9:06
  Speaker 1: 別なんだ。
• 9:08
  Speaker 1: じゃあそういうアプローチじゃなくてこの縮小アプローチに
• 9:11
  Speaker 1: 行くんじゃないかってことね。
• 9:12
  Speaker 2: それこそディープシークが取った戦略と一緒やね。
• 9:16
  ディープシークって何?
• 9:18
  Speaker 1: どういう戦略?ディープシーク。
• 9:20
  Speaker 2: 知識上流とかね。
• 9:22
  Speaker 1: 知識上流。
• 9:23
  大きいモデルから勝手にってのもあるけど。
• 9:27
  Speaker 1: あ、そっかそっかそっか。
• 9:28
  Speaker 1: なんかJATGPTのやつを勝手に
• 9:31
  Speaker 1: 知識上流ってのして
• 9:34
  Speaker 1: めっちゃ
• 9:36
  Speaker 1: 低コストで動く
• 9:38
  Speaker 1: 同等のモデルできましたみたいな。
• 9:43
  Speaker 2: GPUを
• 9:44
  Speaker 2: いいの提供してもらえなかったから。
• 9:47
  Speaker 2: アメリカから。
• 9:49
  Speaker 2: だからしょぼいやつでしょぼくはないけど
• 9:51
  Speaker 2: そのちっちゃいやつでも
• 9:53
  Speaker 2: 同じ性能で動くように小さいモデルを開発しなきゃいけないと。
• 9:56
  Speaker 2: そういう環境にいたから
• 9:58
  知識上流して
• 10:00
  Speaker 2: このちっちゃいやつでも動く同じ性能の
• 10:02
  Speaker 2: ちっちゃいモデルを作ったみたいな。
• 10:03
  Speaker 1: そういう環境がなかったら
• 10:06
  Speaker 1: もう上競争だったかもしれないんだ。
• 10:09
  Speaker 2: でもちっちゃくするって方向の技術だってのは
• 10:12
  Speaker 2: 大きくするってアプローチが取れない人たちも取れたわけだから
• 10:16
  Speaker 2: 全くその技術としては
• 10:18
  Speaker 2: 分かれてるよねっていうのは
• 10:19
  Speaker 2: そこからは言えるんじゃねえかなとは思うね。
• 10:23
  Speaker 2: ただね正直、今最新の
• 10:26
  Speaker 2: そのトレンドを追えてるわけではないので
• 10:28
  Speaker 2: なんかAIと
• 10:30
  Speaker 2: なんだろうこの
• 10:31
  Speaker 2: 電力消費みたいな話は
• 10:33
  Speaker 2: ちょっと調べて
• 10:35
  Speaker 2: 他方理解に打ち込もうかなと思いました。
• 10:38
  Speaker 1: 深いテーマだね。
• 10:40
  Speaker 2: いやでもね、これは結構
• 10:42
  Speaker 2: ずっとつきまとうと思う。
• 10:45
  Speaker 2: イーランマスクとかがね
• 10:46
  Speaker 2: 宇宙になんか
• 10:48
  Speaker 2: ソーラーパネルとか打ち上げまくってくれない限りは。
• 10:53
  Speaker 1: ずっと増え続けてるでしょ今。
• 10:56
  いや増え続けてると思うよ。
• 10:56
  Speaker 1: エネルギーは無限じゃないから
• 10:59
  Speaker 1: どっかで
• 11:00
  Speaker 1: 頭打ちになるよね。
• 11:01
  Speaker 2: 頭打ちになると思うね。
• 11:03
  Speaker 1: どんどんどんどんAIが高くなっていくか。
• 11:06
  Speaker 2: そう高くなってはいくけど
• 11:08
  Speaker 2: 前もちょっとチラッと話したけど
• 11:09
  Speaker 2: それでも10%ちょいみたいなね
• 11:11
  データセンター全体でいうと。
• 11:14
  Speaker 1: AIも関係ない全体。
• 11:16
  Speaker 2: そうそう。
• 11:18
  Speaker 2: どんどん上がっていくけど
• 11:20
  Speaker 2: じゃあネットフリの方が
• 11:21
  使ってるよねみたいな話とかさ
• 11:23
  Speaker 2: なんか前チラッと言ったけど。
• 11:25
  Speaker 1: 言ってたね。意外と
• 11:27
  AIばっか言ってるけど。
• 11:29
  Speaker 1: そもそもネットフリが
• 11:31
  Speaker 2: ネットフリとかそういうのも結構
• 11:33
  Speaker 2: 使ってってみたいな。