skinny.

Latest / いっかくのAI仕事術チャネル

ローカルLLMが物足りない?原因はモデルより「ハーネス」かも

ローカルLLMを入れてみて「動いたけど物足りない」と感じるなら、原因はモデルや推論エンジンより、手足にあたる「ハーネス」かもしれません。私が実際にローカルで使っていることと速度、Open WebUIでもたつくところ、DeepSeekが8月に公開したDeepSeek Harnessを入れて別物になった話をしています。 🕐タイムスタンプ 00:00 オープニング:ジェンスン・ファンの「ローカルが当たり前に」 01:00 出先から収録しています 01:47 私がローカルで使っていること 02:52 悩みはストレージの容量 03:23 秒間85トークンまでチューンアップ 04:01 もうじきローカルの時代が来る 04:21 「動いたけど物足りない」の原因はハーネス 05:08 モデル・推論エンジン・ハーネス 05:46 モデルは頭、ハーネスは手足 06:06 Open WebUIでは手足がもたつく 07:09 DeepSeek Harnessとは 07:54 ハーネスを変えただけで別物に 08:41 推論エンジンを選ばない 09:02 まとめ:モデルを変える前にハーネスを見直す 09:38 安いマシンでも実用レベルの速度が出る 🔗 AIを仕事に取り入れていくSubstack(特典PDFあり): https://ikkaku.substack.com/ #ローカルLLM #AI活用…

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.