「即使安装 100 万台 NVIDIA GPU，实际工作时间也只有 10%，」被称为 HBM 之父的韩国科学技术院 (KAIST) 教授金正浩在最近一次采访中说道。其余 90% 时间，GPU 都在等待记忆体中的数据到来，基本上是在闲置。

原因很简单。每次 AI 输出一个单词的答案时，都需要从 HBM 读取数据并重新写入，而这个读写时间几乎占用了全部时间。

即使优化算法，GPU 也很难超过 30% 的利用率。因此金教授强调 AI 能力最终由记忆体决定，AI 本质上就是记忆体。

局势变化的信号也很明显。随着从训练时代转向推理时代，记忆体需求爆炸式增长，从 HBM4 开始不再是标准产品，而是提前与客户约定数量的定制化生产。

这是一个买方不再主导、卖方决定价格的市场，甲乙关系完全颠倒。这也是三星电子与 SK 海力士合计营业利润预计达到 500 万亿~ 600 万亿韩元并非空穴来风的原因。

黄仁勋频繁出入韩国、坐立不安，正是因为他比任何人都清楚这一点。GPU 的增长已经停滞，AI 运算的下一步进化掌握在记忆体手中。HBM 只是起点，下一阶段还可能出现 HBF、HBS 和 3D 计算系统。

HBM 为何成为 AI 时代无法绕开的基础设施？

HBM 的本质是把多层 DRAM 垂直堆叠，并通过 TSV 硅通孔和超宽接口连接 AI 加速器。传统记忆体主要提高频率，HBM 则通过增加并行通道，把狭窄道路扩展成多车道高速公路。

传统记忆体（如 DDR、GDDR）就像是单条车道的高速路，虽然可以通过提高车速（频率）来增加运量，但车速总有物理极限。当 AI 大模型（LLM）爆发后，计算晶片（GPU/TPU）的算力呈指数级增长，每秒能处理的数据量极其恐怖。

这就导致了一个致命的瓶颈：内存墙 Memory Wall。大模型在推理或训练时，GPU 需要频繁、反复地读取数百亿参数的模型权重和海量的 KV Cache 键值缓存。如果记忆体传输速度跟不上，GPU 算力再强也只能拍着桌子干等数据。

传统的 DDR 记忆体插在主板上，距离 GPU 太远，信号传输有延迟且功耗极高；而 GDDR 虽然速度快，但受限于晶片周边面积，无法堆叠太多颗粒，容量和带宽很快就会触及天花板。

早期 HBM 接口宽度达到 1024 位，HBM4 扩展到 2048 个 I/O。SK 海力士披露其 HBM4 带宽达到上一代的 2.54 倍，功耗效率提高超过 40%。NVIDIA H200 则配备 141GB HBM3E，记忆体带宽达到 4.8TB/s。

GPU 性能提升已经越来越依赖记忆体容量和带宽同步升级。

在逐 token 推理阶段，系统需要反复读取模型权重，并更新和访问 KV Cache。模型越大、上下文越长、并发用户越多，需要搬运的数据就越多。

计算单元虽然能够快速完成矩阵运算，却可能长时间等待下一批数据到达。

AI 即记忆体不是说计算晶片失去价值，而是系统瓶颈已从单纯的浮点运算能力，转向计算、带宽、容量和互连之间的平衡。

只扩大 GPU 面积而不提高记忆体供给能力，新增算力很难被充分利用。所以 HBM 逐渐成为 AI 的核心战略资产。

记忆体厂商议价权正在上升

训练阶段需要极高算力，但任务通常集中在少数大型集群；推理阶段则要面对海量用户、长上下文、多模态输入和持续运行的 AI 智慧体。

随着 AI 从模型开发走向商业部署，推理对记忆体容量、带宽和能耗的要求可能更具持续性。

这一变化正在推动 HBM 从标准化产品转向定制化系统部件。HBM4 开始引入更复杂的逻辑基底晶片，记忆体控制、接口和部分计算功能可以根据 NVIDIA、Google、Microsoft、AMD 等客户的加速器架构共同设计。

记忆体厂商不再只是生产通用颗粒，而是在研发初期就参与系统定义。定制化意味着更长的认证周期、更高的切换成本和更早的产能锁定。

客户需要提前确定规格和交付时间，供应商则根据长期协议安排晶圆、封装和设备投资。标准化采购正在转向双方共同承担研发和产能风险。

但「甲乙方完全逆转」仍是过度概括。NVIDIA 和云厂商掌握系统架构、软件生态与最终订单，仍有强大议价能力。

三星、SK 海力士和美光则通过技术、良率和有限产能获得更高话语权。真正发生的变化，是记忆体从可替换零部件变成影响整个平台上市节奏的关键部件。

HBM 之后 HBF 与 HBS 将构建分层记忆体体系

HBM 解决了速度问题，却仍受容量、成本和封装面积限制。随着模型参数、KV Cache 和多模态数据继续增长，把全部数据长期放在昂贵的 DRAM 中并不经济，HBF 由此成为下一条技术路线。

HBF 可以理解为以高并行方式堆叠 NAND Flash，在接近 HBM 的物理形态下提供更大容量。

Sandisk 提出在相近成本下实现 HBM 约 8 至 16 倍的容量，并计划在 2026 年下半年提供首批样品、2027 年初推动搭载 HBF 的推理设备送样。

HBF 速度低于 HBM，但容量更大、单位成本更低，适合保存模型权重等读取型数据。

未来可能形成分层结构：HBM 承担「热数据」，HBF 存放「冷数据」，普通 SSD 和网络记忆体位于更下层。

数据根据访问频率在不同层级之间移动。HBF 不是替代 HBM，而是为推理时代增加新的容量层。

金正浩进一步提出 HBS 即 High Bandwidth SRAM。SRAM 延迟更低，但成本高、密度低，传统上只能作为片上缓存。

若未来能够实现晶圆级、多层堆叠，HBS 可能成为距离计算单元最近的超高速记忆体。不过，HBS 目前仍属于前沿概念，距离标准化和商业量产尚远，良率、功耗和散热都是现实障碍。

未来赢家不只是 GPU 公司

传统的 AI 服务器拆开看，主板就像是一个平面的「科技园区」：GPU 坐落在市中心，HBM 记忆体像几栋高楼围在旁边，而 NAND 闪存和 SRAM 则散落在更远的外围。数据在这之间穿梭，依然要走漫长、耗能的「地表公路」。

如果 HBM、HBF 和 HBS 逐步成熟，未来 AI 晶片可能不再是「GPU 旁边放几颗记忆体」而是逻辑晶片、DRAM、NAND 和 SRAM 共同组成的 3D 系统。

GPU 或 CPU 负责计算，HBM 提供高速带宽，HBF 提供大容量，HBS 承担超低延迟缓存，电力和冷却则贯穿整个封装。

这会重新分配半导体产业的价值。NVIDIA 的计算架构和 CUDA 生态仍然构成强大壁垒，GPU 性能也没有停止增长，但系统性能越来越取决于记忆体、先进封装、互连、供电和散热。AI 服务器的价值将从 GPU 裸片扩散至 HBM、逻辑基底、硅中介层、液冷和电源系统。

三星与 SK 海力士的优势在于同时拥有 DRAM、NAND、HBM 和先进封装能力，但这一组合并非韩国企业独有，美光同样覆盖 DRAM、NAND 和 HBM。

韩国真正领先的是 HBM 量产经验、客户认证和制造生态。与此同时，长鑫记忆体等中国企业也在推进高端 DRAM 和 HBM 研发，技术代差、良率和客户验证仍将决定追赶速度。

市场把三星与 SK 海力士未来合计营业利润外推至数百万亿韩元的说法，显然是超级周期过于激进情景，而不是公司指引或一致预期。

定制 HBM 确实提高了订单可见度和利润率，但扩产、客户集中、地缘政治与技术迭代仍可能改变结果。

传统的算力军备竞赛已经走入死胡同。下一轮 AI 架构的争夺表面上是看谁能做好供电与散热，但其底层逻辑依然是所有这一切，都是在为「让数据更快、更省电地抵达记忆体」而服务。

谁能率先打破「内存墙」谁才能真正释放大模型的全部潜力。目前来看 AI 计算的下一代架构终究还是要由记忆体 DRAM 来定义。