AI算力高速扩张，但限制大型AI系统效能的瓶颈，正从晶片算力转向「资料搬不动」。HBM大幅提升GPU周边记忆体频宽后，加速器、板卡与机架之间的资料传输成为下一道「频宽墙」。SK海力士(000660KS) (SKHY-US) 士因此将技术布局从HBM延伸至共同封装光学（CPO），试图把光搬进封装，突破AI系统互连瓶颈。

SK海力士与维吉尼亚大学、伊利诺大学厄巴纳—香槟分校、南洋理工大学、麻省理工学院及延世大学研究人员，8月19日在《Nature Electronics》发表题为《Co-packaged optics for high-performance computing and artificial intelligence》的综述论文。

这项研究并未公布单一CPO装置效能，而是从系统层级提出路线图，涵盖高速电互连限制、电光与光电介面、光传输路径，以及2D、2.5D与3D异质整合，同时点出热管理、可制造性及标准化等商业化难题。

HBM解决封装内频宽 下一道墙移向系统

HBM透过矽通孔堆叠多颗DRAM，并利用宽介面靠近GPU或AI加速器，大幅提高记忆体频宽，缓解AI训练与推理时的本地资料供给问题，SK海力士也是这波AI基础设施扩张的主要受益者之一。

然而，随着AI系统规模扩大，资料流动范围早已超出单一加速器封装。

大型模型训练需要同步大量参数、梯度及中间结果，推理丛集也必须在不同运算节点之间调度快取与请求。即使节点内部频宽快速提升，节点之间仍受到电连接损耗、SerDes功耗、连接埠密度与交换层级限制。

SK海力士指出，计算吞吐量约每两年增加3倍，但互连频宽同期仅提升约1.4倍。两者增长速度持续拉开，意味即使增加更多GPU，若集体通讯与远端资料存取速度无法同步提升，新增算力仍可能因等待资料而无法充分发挥。

因此，AI的「频宽墙」正在向外移动。第一阶段是处理器存取记忆体，由HBM改善封装内资料供给；第二阶段则转向加速器、板卡及机架之间的资料移动，未来甚至可能延伸至运算池与共享记忆体池之间。

HBM与CPO因此形成上下两层能力：HBM负责把资料高速送到运算核心附近，CPO则试图把高吞吐能力延伸至更大的系统范围。

把光搬进封装 缩短高速电路径

传统可插拔光模组通常位于交换器或伺服器面板，高速电讯号从交换晶片出发后，必须经过封装、印刷电路板走线与连接器，才能抵达光模组进行电光转换。

随着传输速率提高，电通道插入损耗、均衡复杂度及SerDes功耗都会上升，面板空间也会限制连接埠密度。

CPO的核心思路，是将光引擎放进交换晶片、GPU或其他XPU的同一封装内，或至少移到非常靠近晶片的位置，让电讯号只需承担毫米至公分级的短距离传输，之后便交由光纤负责更长距离的资料移动。

这种设计结合电连接在短距离上的成熟度，以及光连接在较长距离上的能效与讯号完整性优势。

但真正落地并非只要把光引擎搬近晶片即可，包括驱动器、调变器、光源、探测器、跨阻放大器及控制电路，都必须共同满足频宽、功耗与热稳定性要求。

SK海力士将下一代CPO目标归纳为三项，包括单节点频宽超过100 Tb/s、传输能源效率低于1 pJ/bit，以及晶片对晶片延迟低于10奈秒。

三项指标必须同步考量，因为单纯提高频宽可能增加功耗，降低单位元能耗可能牺牲传输距离，而降低实体链路延迟，也可能被协定与网路拥塞抵销。

从2D走向3D 先进封装成关键

CPO进一步发展，也意味光子晶片与运算晶片必须愈靠愈近。论文将整合方式分为2D、2.5D及3D三条路线。

2D整合将电子晶片与光子晶片并排放置，透过封装内走线连接，制程成熟度、测试及替换相对容易控制，适合早期导入；2.5D则利用中介层承载GPU、交换晶片、HBM与光子晶片，提供更细的互连间距与更高布线密度，让光学介面进一步靠近运算核心。

到了3D异质整合，电子积体电路、光子积体电路与运算晶片可透过堆叠进一步缩短连接距离，在频宽密度与潜在能效上最具吸引力，但也同时放大热耦合、材料差异、机械应力、测试覆盖与良率管理难度。

因此，2D、2.5D与3D并非彼此取代，而更像逐步提高整合深度的工程路线。2D与2.5D有望率先累积量产经验，3D则需要更成熟的制程、散热及良率控制。

CPO能否商业化，也不能只看光子晶片本身的实验数据，晶圆制造、先进封装、光纤耦合、测试、散热、良率损失及现场维护都必须纳入成本。

光互连再往前走 瞄准记忆体池

SK海力士对CPO的想像并未停留在交换晶片。其长期架构进一步指向「光学中心型」系统，让光互连深入AI基础设施内部，串连运算资源池与记忆体资源池，使运算节点能依不同任务取得所需容量及频宽。

背后原因在于，大模型训练与推理的不同阶段，对运算、容量与频宽需求并不同步。若GPU与记忆体固定绑定，可能出现部分GPU等待资料、另一部分记忆体容量却闲置的情况。池化则允许系统动态组合运算与记忆体资源，提高整体利用率。

不过，光连接只能解决实体传输的一部分。共享记忆体池仍涉及一致性协定、位址管理、存取权限、故障隔离、拥塞控制及服务品质，远端存取的总延迟也包含光电转换、交换、协定堆叠与排队时间。

因此，低于10奈秒的晶片间链路目标，并不代表应用程式存取远端记忆体也能达到相同延迟。

在这套架构中，CPO也不是取代HBM，而更可能形成互补。高频使用、延迟敏感的资料仍靠近GPU，由HBM提供极高本地频宽；容量较大或重复使用率较低的资料则可进入共享记忆体池。

SK海力士从记忆体走向系统介面

对SK海力士而言，投入CPO研究也代表其角色开始从记忆体元件向更大的系统架构延伸。公司已透过HBM深入GPU与AI加速器核心封装，当客户的最佳化目标从单颗晶片扩展至整个机架与丛集，记忆体供应商也必须理解资料离开HBM后，如何穿过交换网路并在不同运算节点之间流动。

CPO与HBM同样高度依赖高密度互连、异质整合及热管理，也共享部分良率与测试难题。SK海力士可将HBM累积的堆叠、封装及客户验证经验延伸至更大的光电系统，但光源、矽光子及高速类比电路仍需要合作伙伴。

更重要的是，当CPO、HBM及记忆体池进入联合设计，供应商与客户之间的关系也可能从传统规格、价格及供货，进一步延伸至架构、封装及长期技术路线协同。

不过，目前这条路线仍处于研究与技术定义阶段。现有资料并未揭露SK海力士CPO产品编号、量产节点、客户名单、资本支出或营收目标，因此现阶段更适合视为SK海力士扩大下一代AI系统技术布局，而非近期商业化讯号。

商业化仍卡在热、良率与成本

CPO要真正走向大规模部署，仍有多项工程问题待解。首先是功耗，调变器、探测器、驱动器、跨阻放大器、数位控制与光源都必须计入整体能耗，要达成低于1 pJ/bit的目标，需要各环节同步改善。

散热同样棘手。GPU与交换晶片本身就是高热流密度元件，而光子元件对温度变化又相对敏感。当光引擎愈靠近运算晶片，虽然能缩短电路径，却也会加剧热耦合，封装必须同时处理热点、雷射稳定性、材料膨胀差异与冷却设计。

制造与良率则是另一道关卡。CPO把不同制程制造的高价值晶片整合进同一封装，任何光纤耦合误差、微凸点缺陷或单一光通道失效，都可能拖累整体良率，因此晶圆级测试、已知良品晶片筛选、封装后校准及老化测试都必须建立完整流程。

此外，协定、标准、可靠度与成本也直接影响商业化速度。传统可插拔光模组故障后可以单独更换，CPO却将光学元件放进昂贵封装，使维修模式完全不同。只有当每比特总持有成本能稳定优于替代方案，客户才有扩大部署的诱因。

因此，SK海力士把光搬进封装，描绘的是HBM之后更大的AI系统竞争版图。当算力成长速度远超互连频宽，下一场竞争已不只是谁能提供更快的GPU或更高频宽的记忆体，而是如何让资料在晶片、封装、板卡、机架乃至整个丛集之间更有效率地流动。

CPO方向已逐渐清晰，但能否真正跨过AI系统的频宽墙，仍取决于散热、制造良率、标准与成本等问题能否同步突破。