随着 AI 推理需求爆炸性增长，算力成本成为企业落地的最大痛点。近期，推理优化公司 Wafer 公布的一组数据引发了 AI 业界的高度关注：在 AMD(AMD-US) MI355X 晶片上运行最新开源模型 GLM 5.2，不仅实现了高效能表现，其成本更仅为辉达 (NVDA-US) 旗舰 GPU B200 的一半。

这项结果显示，AMD 正逐步缩小与辉达在 AI 推理市场的差距，也让外界重新审视 GPU 市场长期由 CUDA 生态建立的竞争优势。

测试显示，MI355X 在执行 GLM 5.2 时，单节点聚合吞吐量达每秒 2,626 个 token（tok/s），单流吞吐量则达每秒 213 个 token。在效能方面，约可达到同级辉达旗舰 B200 约八成水准，但部署成本却不到 B200 的一半。

消息公布后，立即引发开发者社群高度关注，相关讨论也迅速登上 Hacker News 热门排行榜。

Wafer 表示，这次部署并非依靠特殊硬体，而是透过一系列软体最佳化完成，包括模型量化、推理引擎选择，以及多项相容性修正与效能调校，让 AMD GPU 能充分发挥推理能力。

量化技术兼顾效能与精准度

在模型最佳化方面，Wafer 使用 AMD 官方 Quark 工具，将模型权重由 BF16 量化为 MXFP4，以降低运算资源需求。

根据测试结果，量化后模型在多项基准测试中的准确率仅有轻微变化，部分测试甚至较官方量化版本更佳，代表压缩模型后仍能维持相当程度的推理品质。

推理引擎方面，Wafer 比较了 vLLM、ATOM 与 sglang 三种方案后，最终选择 sglang。原因在于前两者无法同时兼顾量化效益与长文本输出品质，而 sglang 则能维持模型输出的稳定性，成为此次部署的主要推理平台。

修补细节 推理速度大幅提升

在完成模型量化后，Wafer 又针对推理流程持续优化。其中最大的挑战来自 ROCm 平台对投机解码（Speculative Decoding）的支援不足。

团队发现，共享专家层命名方式与 sglang 使用的命名规则不同，导致模型载入失败，透过修正命名后，单流吞吐量便大幅提升近三倍。

此外，另一项问题来自程式码直接引用 CUDA 标头档，导致 ROCm 编译失败，Wafer 仅透过加入编译保护即可解决。之后再调整平行运算方式，以及手动指定适合 GLM 5.2 专家层的 Kernel，最终将单节点聚合吞吐量提升至每秒 2,626 个 token。

测试采用接近实际生产环境的设定，包括 2 万 token 输入、1,000 token 输出及 60% 快取命中率，首个 token 延迟控制在 2.22 秒内，整体成功率达 100%。

新创公司也能挑战 GPU 巨头

值得注意的是，完成这项成果的 Wafer 并非大型科技公司，而是一家仅获得 400 万美元种子轮融资的新创企业，投资人包括 Fifty Years、Y Combinator、Liquid2，以及 Google 首席科学家 Jeff Dean、OpenAI 共同创办人 Wojciech Zaremba 与 Dropbox 共同创办人 Arash Ferdowsi 等知名人士。

Wafer 将自身定位为利用 AI 优化 AI 基础设施的公司，并表示此次 GLM 5.2 的部分 Kernel 调校、命名冲突排查与最佳化工作，都已大量导入 AI 辅助工程。

相较过去为了提升效能仍需自行开发客制化 Kernel，如今更多工作已转向修补官方工具链中的细节，代表 AMD 软体生态正逐渐成熟。

AMD 软体生态逐渐成熟

Wafer 指出，过去若每次模型发布都必须重新开发底层 Kernel，小型团队几乎无法跟上市场节奏；如今官方工具链已能完成大部分工作，剩余仅需修正相容性与最佳化细节，新创公司便有机会快速完成部署，这也是 Wafer 能在模型发布后短时间内完成适配的重要原因。

Wafer 认为，目前顶尖模型能否顺利部署到 AMD 平台，愈来愈取决于官方软体支援速度，而非硬体本身，CUDA 长期建立的软体优势正逐步受到挑战。

事实上，SemiAnalysis 今年稍早针对 GLM-5 的测试也得到类似结果。报告指出，在互动式推理场景下，AMD MI355X 每百万 token 推理成本约为 0.22 美元，低于辉达 B200 的 0.30 美元，主要原因除了硬体整体拥有成本较低，也反映 AMD 软体最佳化已有明显进展。

不过，目前 AMD 的优势仍主要集中於单节点部署。在多节点、大规模分散式丛集以及跨机专家并行等企业级应用方面，辉达仍保有明显领先优势。

若未来云端业者能持续将 Wafer 的最佳化方式复制到更多开源模型，AI 推理成本仍有望持续下降，也将进一步提升开源模型在市场上的竞争力。