skinny.

Latest / 路径依赖

硅幕2 算力大厦的「乌云」:内存何以成为 AI 竞争胜负手?

存储芯片已不是第一次迎来“好日子”了:从 2020 年的芯片荒,到 2025 年开启的 AI 基建潮,存储芯片一直都是活在周期里的产品。但在中美 AI 竞争的大背景下,这个几乎完全由韩国主导的产业,正在从边缘配角走向核心战场。为什么内存在AI产业中这么重要?为什么AI内存需求会演变成波及手机、电脑等日常电子消费品的内存荒?拥有一个不由中美所主导的产业,对于韩国来说是天赐良机还是幸福的烦恼?

《硅幕》第二期,我们来聊聊芯片层竞争的另一部分,内存。

Part 1:算力是什么? 10:05

AI芯片究竟在算什么?在大部分大模型训练中,一个基本的计算形式是矩阵乘法。这种单次计算很简单,但重复次数极其庞大,因此擅长并行计算的GPU要远胜于CPU,也因此成为AI训练的核心硬件。然而,算力并不是模型训练的全部,围绕在GPU周围的其他要素,如内存,在发挥一种短板效应,制约着算力的理论实现。

图1:一个简单的矩阵乘法示意图,这样的矩阵乘法就是大模型训练的(绝大部分)底层计算形式

Part 2:为什么内存会成为算力的瓶颈?22:20

如果说GPU是一个并行计算能力极强的数学天才,那么内存就是站在这个天才旁边帮她传递试题、记录答案的辅助。在大模型场景中,如果“传递试题”的速度太慢,那么再高的算力都会被内存瓶颈所约束。…

Log in to save or queue this episode.

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.