辉达 (NVIDIA)(NVDA-US) 在本周登场的 Future of Memory and Storage（FMS）大会上，公布多项 AI 储存技术进展。核心概念是让 GPU 可以更直接地读取储存装置中的资料，减少资料必须经过 CPU 处理的流程，使储存设备的存取速度更接近记忆体。

AI 模型愈来愈大，不只需要更强的运算能力，也要读取更多资料。尤其 AI 代理、长情境推论等应用快速发展，所需资料量已经超过一般系统记忆体可以负荷的范围，让储存设备在 AI 基础建设中的重要性大幅提升。

NVIDIA 指出，AI 下一阶段的发展，不只取决于 GPU 算力，也要看储存系统能不能快速、稳定且安全地把资料送到 GPU。若资料供应速度跟不上，即使拥有大量 GPU，也可能因等待资料而无法充分发挥效能。

随着 AI 代理同时处理大量任务，GPU 可能一次发出数千笔储存请求，对储存系统形成庞大压力。储存设备除了要快速传输资料，还必须同步完成加密、压缩、验证及资料重建等工作，这些处理程序都可能成为 AI 系统的效能瓶颈。

为解决相关问题，NVIDIA 将加速运算技术导入储存系统。根据 NVIDIA 公布的测试结果，搭载于 NVIDIA Vera BlueField-4 STX 平台的 Vera CPU，在同时进行资料压缩与加密时，资料处理量最高可达传统 x86 CPU 的 3.21 倍。

这代表储存平台导入 Vera CPU 后，可以用更少的运算设备，处理更多 AI 资料，进而降低基础建设成本，并提升整体资料传输效率。

过去，储存装置主要负责长期保存资料，真正需要运算时，系统通常会先把资料搬到速度较快、但容量较小且成本较高的记忆体。

不过，随着 GPU、网路及储存技术进步，这种分工模式正在改变。NVIDIA 希望让储存设备不再只是被动保存资料，而是直接参与 AI 资料处理流程。

也就是说，未来 AI 应用不一定要事先把大量资料全部搬进记忆体，而是可以在需要时，直接从储存设备中高速读取指定资料。如此一来，便能兼顾储存容量、成本及存取速度。

NVIDIA 此次宣布，将开源 cuFile 应用程式介面（API），以及其底层的储存软体架构。cuFile 是 NVIDIA GPUDirect Storage 技术的软体套件，主要功能是让 GPU 可以直接读取储存设备中的资料，或直接将资料写入储存设备。

传统架构下，储存装置中的资料通常要先经过 CPU 及系统记忆体，才能交由 GPU 处理。导入 cuFile 后，可以减少资料绕行 CPU 的过程，缩短传输路径并降低 CPU 负担。

透过 GPU 大量平行运算执行绪、高频宽记忆体及相关软体技术，cuFile 可让系统在数微秒内存取储存设备中的资料。

NVIDIA 表示，cuFile 开源后，不同储存设备、软体及硬体平台可以更容易整合，也能让更多开发者参与改善相关技术，进一步建立统一且具互通性的 AI 储存架构。

除了提升速度，cuFile 也把资安纳入设计。快速存取资料对 AI 资安系统同样重要，例如 AI 需要即时分析大量安全纪录、威胁情报及系统资料，才能及早侦测攻击或异常状况。

cuFile 开放使用后，可望协助资安 AI 以更快速度取得所需资料，也能支援开放安全 AI 联盟（Open Secure AI Alliance）等相关计划。

未来相关 API 将透过新的开放平台提供，并接受社群共同开发，首批维护者包括 Google、Intel、NVIDIA 及 Meta。各家业者可针对不同软硬体平台进行最佳化，降低 AI 储存技术的导入门槛。

除了开源 cuFile，NVIDIA 也透过 Storage-Next 计划，与储存及记忆体产业业者共同开发下一代 AI 储存技术。

Storage-Next 集结储存设备制造商、控制器供应商、散热及冷却业者、资源调度管理业者，以及产业标准制定组织，希望共同定义由 GPU 驱动的储存系统应如何运作，并将相关技术转化为开放且可相互整合的产业标准。

目前已有超过 40 家储存及快闪记忆体业者加入，包括 DDN、铠侠（KIOXIA）及美光等，共同投入下一代 AI 储存技术开发。

这项计划的重点，是让 GPU 更快速地从大型资料集中找出并读取真正需要的资料，而不是把整份资料全部搬到 GPU 记忆体。

为达成上述目标，NVIDIA 推出 SCADA 框架，全名为「规模化加速资料存取」（scaled, accelerated data access）。

SCADA 可让拥有大规模平行处理能力的 GPU，直接从储存设备中读取应用程式需要的特定资料，再将资料放进 GPU 的高速记忆体。

举例来说，当 AI 模型只需要大型资料库中的一小部分内容时，传统系统可能必须读取或搬移大量资料，造成频宽及运算资源浪费。SCADA 则可以只抓取真正需要的部分，降低不必要的资料传输。

储存设备业者 DDN 已计划将 SCADA 整合至旗下 Infinia 平台。Infinia 是一套为 AI 工作负载打造的软体定义资料平台，主要目标是降低大规模 AI 运算中的储存瓶颈。

DDN 技术长 Sven Oehme 表示，企业 AI 能否成功，关键不只是拥有多少基础建设，而是能否有效运用现有资源。DDN 与 NVIDIA 的合作，希望让 GPU 与资料之间建立更直接且高效率的连结，减少 GPU 等待资料的时间，并提升企业 AI 投资效益。

打造 AI 原生资料平台

Storage-Next 与 SCADA 也将进一步结合 NVIDIA 既有的 AI 储存基础架构，包括 NVIDIA Vera BlueField-4 STX。

Vera BlueField-4 STX 是一套模组化机架级平台，整合 NVIDIA Vera Rubin 运算平台、Vera BlueField-4 储存处理器，以及 Spectrum-X 乙太网路技术。

NVIDIA 将 STX 定位为新一代 AI 原生资料平台，可透过统一的 NVIDIA DOCA 安全软体架构，在 AI 资料传输过程中持续执行存取权限及安全政策控管。

此外，NVIDIA 也以 STX 为基础打造 CMX 情境记忆储存平台，主要锁定长情境、多轮对话及代理型 AI 推论。

所谓情境记忆，是让 AI 能保存并快速取得过去的对话、工作纪录或相关资料，避免每次执行任务时都必须重新处理全部内容。随着 AI 代理执行的任务愈来愈复杂，这类储存平台的重要性也将持续提升。

NVIDIA 指出，让应用程式直接与储存设备沟通，虽然可以大幅提升速度，但也可能带来资安风险。若权限控管不当，某个应用程式可能读取不该存取的资料，甚至覆写其他程式使用中的记忆体，因此直接存取技术必须同时兼顾效能与安全性。

为此，SCADA 将系统分为两个部分。第一部分是负责高速资料存取的应用程式端，第二部分则是拥有较高权限、专门负责安全设定及存取控管的独立元件。

在系统启动及设定阶段，具权限的元件会先确认应用程式可以存取哪些储存资源，并建立受到保护的资料通道。之后，应用程式便能在授权范围内高速读取资料，同时避免影响其他程式或资料。

相关安全机制依循标准 Linux 协定，目的在于不牺牲资料传输速度的情况下，降低未经授权存取或资料遭到破坏的风险。

整体而言，NVIDIA 此次公布的技术，是希望把储存系统从 AI 基础建设中的后端设备，提升为直接参与运算的关键环节。

透过 GPU 直接存取储存设备、开源 cuFile、推出 SCADA 框架，以及与超过 40 家业者共同推动 Storage-Next，NVIDIA 希望降低 AI 系统的资料存取瓶颈，让 GPU 取得资料的速度更快，同时兼顾规模、效率与安全性。