８ドルマイコンに載った2,890万パラメータの言語モデル AI

珈琲 , Jazz & 巡礼と… · Jul 25, 2026 · 16m

Running a 29M Parameter LLM on an 8 Dollar Microcontroller

この資料は、約8ドルの低価格マイコン「ESP32-S3」上で、2,890万パラメータの言語モデルを完全オフラインで動作させた画期的な実験に関する記録です。本来はメモリ不足で不可能な規模のモデルを、Googleの技術を応用してフラッシュメモリを効率的に活用することで実現しています。このシステムはクラウドを一切必要とせず、1秒間に約9トークンの速さで、子供向けの短い物語を自律的に生成することが可能です。実用的なAIアシスタントとしての能力は限定的ですが、超低コストかつプライバシーが守られたエッジAIの新たな可能性を示しています。チャットログでは、この技術の再現性や仕組み、そして数年前までは想像もできなかった技術革新のスピードに対する驚きが語られています。

わずか8ドルのチップがAIの常識を破壊する？GoogleとKarpathyの系譜を継ぐ「魔法のアーキテクチャ」

AIといえば、数千ドルの高価なGPU、あるいは巨大なデータセンターを背景にしたクラウド環境が必要だというのが、これまでの「常識」でした。しかし今、そのシリコンバレー的な「物量こそが正義」というコンセンサスに対し、鮮やかな「中指」を立てるようなプロジェクトが登場しました。…