开放标准为AI基础设施带来更多选择

本文翻译转载于：Cadence Blog

作者：MBhatnagar

AI 训练和推理对计算、存储、互连以及网络提出了不同的要求，因此，并不存在一种能够适用于所有工作负载的单一架构。

对于系统架构师而言，这带来了一个非常重要的问题： 如何从架构设计之初，就为整个系统预留足够的灵活性？

越来越明确的答案是：在存储、计算、互连以及先进封装等方面为设计人员提供更多选择，同时确保这些不同技术之间能够协同工作。

不同工作负载，不同需求

虽然 AI 训练和推理可能运行在大量相同的底层基础设施之上，但二者的行为和需求并不相同。

训练对内存以及加速器之间的通信能力要求很高；推理关注的重点则有所不同，需要综合考虑内存容量、延迟、吞吐量和能效。

这些差异会直接影响架构选择。适合一种工作负载的内存技术，未必适合另一种；互连和网络技术也是如此。

这正是为什么 AI 基础设施正在变得越来越异构化（Heterogeneous）。架构师会根据系统实际需要完成的任务，对不同技术进行组合，而不是试图强迫所有工作负载采用相同的设计架构。

图 1：异构应用需要不同的解决方案，才能实现更优的系统设计

开放标准带来更多选择

开放标准让设计人员在构建系统时拥有更多选择。

UCIe（Universal Chiplet Interconnect Express）就是其中一个典型例子, UCIe 标准为 Die-to-Die（D2D，裸片间）互连提供了一种通用方案，其目标之一是支持开放的 Chiplet 生态系统。它为业界提供了一种标准化方式，用于连接同一封装内部的多个 Die，从而避免整个系统架构被绑定到某一种特定实现方式。

与此同时，系统架构师还需要面对更加多样化的工艺技术、封装方式和功能组合。采用 Chiplet-based architecture 则提供了另一种功能划分方式。计算、I/O、存储接口以及其他功能可以通过不同方式进行划分，然后集成到同一个封装之中。

在这种环境下，UCIe 提供了标准化的 Die-to-Die 连接方式，使设计人员在评估不同功能应该如何划分和集成时，能够使用统一的接口。

对设计人员而言，它的价值就在于“选择自由度”。不同功能可以集成到同一封装中，并通过一个通用接口相互连接。

当架构师需要在性能、功耗、成本、封装和工艺技术之间权衡时，这种自由度尤其重要。

互操作性至关重要

开放标准提供了共同基础，使来自不同供应商、不同晶圆厂的技术能够集成到同一系统中。互操作性则有助于设计人员了解这些不同实现之间如何协同工作。

随着系统集成的功能、接口和技术越来越多，验证在其中发挥着尤为关键的作用。

同样的设计理念适用于整个 AI Factory

对于 AI 系统而言，对“选择”的需求并不会止步于芯片封装层面。

一个 AI 系统可能包含多种连接技术，各自承担不同角色。PCIe、CXL、UCIe、UALink 以及基于 Ethernet 的互连技术，它们分别解决系统架构中不同层级、不同范围的连接问题。与此同时，存储系统本身也带来了另一组架构选择。

图 2：连接技术不同、覆盖范围不同，但目标一致——以经济高效的方式快速传输数据

根据数据在系统中的流向不同，技术要求也会随之变化。HBM4E 和 LPDDR6 面向不同类型的存储需求；PCIe 用于 Host 与 Device 之间的高速连接；UALink 面向加速器之间（Accelerator-to-Accelerator）的通信；224G 高速 SerDes 提供底层的高速信号传输能力，以支持对连接性能要求较高的应用场景；UCIe 则用于连接同一封装内的不同 Die。

因此，设计人员需要综合考虑连接对象、数据传输量以及工作负载的具体要求。把这些决策放在一起审视，比孤立地看待每一种接口，更能形成完整的系统视图。

这种思路实际上改变了整个系统架构设计的讨论方式。与其分别对每一个局部模块进行独立优化，架构师可以从整个系统层面考虑存储、计算和互连应该如何相互配合。

在设计中预留持续演进的空间

随着工作负载、内存技术、加速器和互连不断发展，AI 基础设施还会持续变化。架构越灵活，设计人员在需求变化时就越有调整空间。

开放接口和互操作性正是这种灵活性的重要基础。它们让设计人员能够根据整个系统的实际需求选择合适的技术，而不是被限制在某一种单一技术路线或架构方案中。

想进一步了解塑造这些系统的内存、计算与互连技术，欢迎阅读我们的白皮书《利用 IP 解决方案构建 AI 工厂》。