辉达(NVDA-US) 执行长黄仁勋先前对Google(GOOGL-US)TPU提出的三项质疑，如今正遭最新测试数据逐一挑战。

SemiAnalysis公布Google第七代TPU Ironwood首份第三方推论效能测试，在相同模型与负载下，TPU每美元效能最高领先辉达B200达50%，相较B300更逼近96%。

更值得关注的是，Google透过TorchTPU让开发者只需一行程式码，就能将PyTorch程式移转至TPU，开始凿穿辉达长年建立的CUDA软体护城河。

TPU成本优势浮现

今年4月，黄仁勋在Dwarkesh Podcast节目中直言，TPU与亚马逊Trainium都不敢参加公开效能测试，并鼓励竞争对手使用InferenceMAX，证明其宣称的推论成本优势。

五个月后，TPU带着实测数据出场。此次测试采用相同开源模型，并以FP8对FP8比较，输入长度为8,000个Token、输出1,000个Token，B200、B300与TPU执行完全相同的负载。

按照外部总持有成本（TCO）计算，TPU每百万Token成本仅0.181美元，低于B200的0.222美元与B300的0.276美元。在每秒100个Token的单一用户吞吐基准下，TPU成本比B200低19%，比B300低34%。

若将回应时间中位数限制在20秒，TPU成本为0.098美元，B200为0.106美元，B300则升至0.132美元。B200并非在所有项目都落败，在30秒回应时间的狭窄区间内仍略占优势，但随着延迟条件放宽，TPU再度取得领先；B300则在整个测试过程中均处于成本劣势。

黄仁勋算错商业帐？

黄仁勋的第二项判断，是从第一性原理出发，认为TPU具备成本优势在逻辑上无法成立。实测结果并未完全推翻他对硬体底层的分析，因为在原始吞吐曲线的大部分区间，TPU的物理效能确实不如GPU，真正拉开差距的是租赁价格。

TPU约5%的实体吞吐优势，加上明显较低的单位时间租金，最终转化为最高50%的每美元效能优势。若以Google内部每颗晶片每小时1.03美元的成本计算，TPU的优势甚至可能扩大至77%到130%。

换言之，黄仁勋衡量的是单颗晶片能榨出多少绝对算力，商业客户在意的却是每一美元可以换回多少实际产出。这次公开数据显示，即使GPU仍在部分硬体效能指标占优，TPU仍可透过价格与系统效率扭转竞争结果。

Anthropic不再只是特例

黄仁勋的第三项断言，是Anthropic只是TPU生态中的特例，一旦失去这名大客户，TPU便缺乏持续成长的动力。这项说法目前仍有部分成立，Anthropic确实是Google TPU最重要的客户之一。

Anthropic使用的TPU已超过100万颗，其中约40万颗为直接买断，另有60万颗透过Google Cloud租用。依照目前规画，Anthropic到2029年将超越DeepMind，成为全球最大的TPU单一用户。

不过，Google的销售策略已经改变。自去年起，Google开放TPU直接销售，不再只透过云端租赁提供算力，DeepMind内部研究人员甚至也必须在拥挤的伫列中争取资源。

黄仁勋4月提出质疑时，TPU在外部市场尚未形成透明价格，如今第三方测试已替Google标出可供比较的成本。

软硬体整合压低成本

SemiAnalysis指出，Ironwood的优势并非单纯来自晶片峰值效能，而是Google将运算晶粒、晶片互连与底层编译器整合成封闭系统，在各环节压低成本。

Ironwood由两个独立运算晶粒组成，每颗配备2个TensorCore与4个SparseCore，HBM容量达上一代Trillium的6倍，可容纳更大的KV Cache并提高批次处理规模。Ironwood也是首款原生支援FP8运算的TPU，摆脱过去透过软体模拟的限制。

其矩阵单元采用256×256脉动阵列，每个周期可完成65,536次乘加运算，运算吞吐量达v5架构的4倍。

到了第八代TPU，Google更首度将训练与推论拆分为8t与8i两款晶片，其中8i的片上SRAM扩增至384MB，为上代3倍，用来将推论模型的KV Cache留在晶片上。

在网路互连方面，TPU直接透过Google自研ICI汇流排交换资料，绕过主机CPU、PCIe与通用网路卡。其3D Torus拓扑让每颗晶片连接6个相邻节点，64颗晶片组成机架级立方体，再利用光学电路交换器扩展至9,216颗晶片。若光纤链路故障，系统可在数秒内重新路由，不需人工介入。

到了TPU 8i，Google将改采Boardfly拓扑，在千颗晶片规模下，把最大资料传输跳数由16次降至7次，借此降低混合专家模型（MoE）路由与多轮AI代理运算累积的尾端延迟。

程式码重构再榨效能

为了让首个模型在TorchTPU上顺利运作，Google、Inferact与RadixArk投入数百个工程小时，从程式码层面完成多项关键最佳化。

首先，团队改造KV Cache配置，将Token移至TPU向量单元固定的128个Lane维度，可用KV页数从5,141页增至10,283页。在并发数128的情况下，吞吐量提升16.5%，首个Token的回应时间中位数大减95%，降低推论请求等待KV空间的时间。

其次，团队调整分页注意力机制，将读取区块维持在16,000个Token，计算区块则缩减至4,000个Token，为预取操作腾出记忆体空间，使解码吞吐量由每秒64,900个Token升至96,300个Token。

Google也将ReduceScatter与MoE的Token重排工作转交SparseCore处理，让TensorCore集中进行矩阵乘法。在输入8,000个Token、输出1,000个Token的负载下，吞吐量提高4.1%至14.2%；在输入1,000个Token、输出8,000个Token且并发数512时，增幅更达26.1%。

一行程式码凿穿CUDA护城河

此次更新最具颠覆性的改变，来自Google对软体生态的重构。过去开源推论工具大多建立在PyTorch与CUDA之上，TPU原生环境却是JAX。

vLLM若要在TPU运行，必须透过TorchAX逐一将算子转译成JAX，衍生分页注意力与底层最佳化的相容问题，Google与开源社群耗费超过一年才陆续修补。

如今，TorchTPU利用PyTorch的PrivateUse1后端介面，让TPU直接成为原生Torch运算装置。开发者只需加入一行程式码，便可把编译工作交给XLA，核心运算子则呼叫Pallas核心，DDP与FSDP2等分散式功能也能直接运作。

这意味着，Google挑战的不只是辉达晶片的推论成本，更是CUDA长年累积的开发者黏着度。当PyTorch模型移转至TPU的门槛被压缩至一行程式码，辉达过去依靠软体生态筑起的护城河，也开始出现一道明显缺口。