
4GB 显卡跑 70B 大模型:AirLLM 把大模型拉进普通人电脑
开源工具 AirLLM 让 70B 大模型在单张 4GB 消费级显卡上运行,不靠量化、蒸馏,最新的 2.8T 参数量 Kimi K3 甚至只要 3.72GB 显存。我们读了它的 GitHub 一手文档,把「怎么做到的」和「你该不该用」讲清楚。
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.

开源工具 AirLLM 让 70B 大模型在单张 4GB 消费级显卡上运行,不靠量化、蒸馏,最新的 2.8T 参数量 Kimi K3 甚至只要 3.72GB 显存。我们读了它的 GitHub 一手文档,把「怎么做到的」和「你该不该用」讲清楚。
The skinny isn't ready yet — notes appear once the transcript is processed.