skinny.

Latest / いっかくのAI仕事術チャネル

ローカルLLMのコンテキスト長とは?PDFでエラーになる理由

ローカルLLMにPDFを貼ったら、いきなりエラー。その原因になっている「コンテキスト長」を、作業机の広さにたとえて解説します。コンテキスト長はAIが一度に見渡せる量のことで、指示も会話も資料も答えも、すべてその中に収める必要があります。広げるほどメモリを食って遅くなるため、Ollamaなどのソフトは最初から狭めに設定されていること、はみ出したときのエラーと「黙って読み飛ばす」パターンの違い、必要なところだけ渡す・会話を新しく始める・RAGを使うといった付き合い方、ChatGPTやClaudeでエラーになりにくい理由までお話ししています。冒頭では、MetaのMuseのApple Watch対応にも触れています。 🕐タイムスタンプ 00:00 オープニング:PDFを貼るとエラーになるのはなぜ? 00:50 雑談:MetaのMuseがApple Watchに 01:37 前回の続き:7B・26Bの次はコンテキスト長 02:37 結論は2つ 02:59 コンテキスト長はAIが一度に見渡せる量 03:24 作業机の広さにたとえると 03:41 机に載っているのは資料だけじゃない 04:15 長くやりとりすると最初のことを忘れる理由 04:39 はみ出したときの出方は2通り 05:25 机を広げるほどメモリを食って遅くなる 05:51 読んだ内容のメモ(KVキャッシュ) 06:34…

Log in to save or queue this episode.

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.