在上周于圣何塞举行的Open Compute Project（开放计算项目）全球峰会上，d-Matrix运行了一个实时推理流水线，将注意力层路由到NVIDIA H100 GPU，并将专家前馈层路由到其自家的Corsair XPU。在GPT-OSS-20B混合专家模型上，每个输出令牌的处理时间从独立H100上的2.59毫秒降至1.28毫秒，减少了50.6%。这一结果是在商业发货的硅片而非模拟硬件上实现的，证实了Attention-FFN分离（Attention-FFN Disaggregation）已从学术研究空间走向生产架构——但这仅适用于特定类别的模型，且需要运营商在投入之前权衡专有软件栈的成本。

什么是Attention-FFN分离？

基于Transformer的语言模型在每一层中交织着两种结构不同的计算：注意力机制（attention），它读取并更新不断增长的键值缓存，随着上下文长度增加而受限于内存带宽；以及前馈网络（feed-forward networks），它将固定权重矩阵应用于每个令牌位置，主要受限于计算能力。在像GPT-3这样的密集模型中，这两项操作在同一硬件的同一次传递中运行。在混合专家（Mixture-of-Experts, MoE）模型中，前馈块被一组专家子网络取代——在GPT-OSS-20B的情况下，有32个专家，每个令牌仅激活其中4个——这将权重加载瓶颈集中在了专家层。

Attention-FFN分离将每项操作路由到适合其硬件上：GPU处理注意力传递，其高带宽内存（HBM）带宽能有效处理KV缓存加载；单独的加速器处理专家前馈网络（FFN）传递，其不同的内存架构消除了带宽墙。这一概念早在2025年就出现在研究文献中，当时StepFun的Step-3模型论文从理论上提出了它，而2026年佐治亚理工学院、英特尔、谷歌和Google DeepMind研究人员发表的一篇学术论文证实，它为MoE服务在“严格延迟”服务级别目标下提供了“交互性增益”。据该公司称，d-Matrix在OCP上的演示是AFD首次在可用硅片而非模拟基础设施上运行。

为何SRAM带宽在专家层胜过HBM3

使用单独加速器进行FFN计算的理由在于一个比大多数AI芯片报道所承认的更大的带宽差距。NVIDIA的H100使用HBM3内存，速度约为每秒3.35太字节（TB/s），这是商用GPU中可用最快的宽带DRAM。Corsair的片上SRAM宣称 delivers 150 TB/s，大约是该数字的45倍。

原因在于架构。HBM将DRAM裸片堆叠在与处理器相同的封装上，但DRAM单元仍需定期刷新，且无法以SRAM允许的速度读取。SRAM将每个位存储在六晶体管触发器电路中，无需刷新即可切换；它同时接受所有地址位。这使其速度更快，但密度低得多：H100在封装上携带80 GB的HBM3，而每张Corsair卡仅持有4 GB的SRAM。每比特带宽要高得多；总容量则低得多。

对于FFN专家传递，相关指标是带宽而非容量。以4位精度为单个推理步骤加载GPT-OSS-20B中四个活跃专家的权重张量，需要移动约36亿个参数——当内存总线运行在150 TB/s时，这项任务完成得更快。容量限制（每张卡4 GB）通过将专家权重分布在SquadRack中的多张Corsair卡上来解决。单个8服务器SquadRack承载64张Corsair卡，提供256 GB的SRAM性能内存——足以以降低的精度运行高达1000亿参数的模型。

H100服务器与Corsair卡之间的通信通过d-Matrix的JetStream网络接口卡以每集群400 Gbps的速度进行。JetStream使用设备发起的内存写入——Corsair卡直接将结果读入其自身内存，无需经过主机CPU——减少了每次注意力到FFN交接的往返延迟。对于24层模型，这意味着每次前向传递中有24次无需CPU参与的往返，全部直接在GPU和Corsair卡之间处理。

OCP演示结果：关键数据

现场演示使用了GPT-OSS-20B，这是一个公开发布的混合专家模型，总参数为209亿。其中，191.2亿位于32个专家块中；任何给定令牌上约有36亿处于活跃状态。该模型以4位精度运行，将活跃专家权重适配在Corsair的SRAM容量内。

每个输出令牌的时间——交互式应用的主要延迟指标——从1000令牌上下文下独立H100上的2.59毫秒降至AFD配置下的1.28毫秒，减少了50.6%。另一项吞吐量测量显示，在交互式服务质量阈值下，每用户每秒845个令牌；d-Matrix的材料还报告在64个并发用户下每秒20,415个令牌。请注意，845乘以64等于约54,000个令牌/秒，而非20,415，这表明这两个数字是在不同的并发和批处理配置下测量的，而非描述同一个单一测试——读者应将其视为不同场景下的性能范围，而非一致的基准测试。

d-Matrix还报告LM-head处理速度提高了10倍——即从模型隐藏状态到词汇表logits的最终投影——这是通过在卡片间并行分片LM-head权重实现的。

AFD是否仅对混合专家模型有用？

这是公告材料中轻描淡写的约束条件。验证AFD理论基础的那篇佐治亚理工学院/谷歌学术论文明确指出：该技术“在MoE服务的严格延迟服务级别目标下表现出色”，但“以吞吐量为中心的工作负载通常倾向于聚合的分块预填充方法”。更重要的是，AFD对密集Transformer架构没有任何好处。

原因在于MoE提供了自然的分区边界。每个专家FFN块都是独立且异步调用的；其输入来自注意力传递，输出在进入下一层的注意力之前返回残差流。这种结构直接映射到GPU到XPU的通信模型。在密集Transformer中——其中FFN是全连接的，并对每一层中的每个令牌进行操作——将激活值发送到单独加速器并等待结果的通信开销消除了带宽优势。

截至2026年年中，最强大的公共前沿模型——包括几个最大的开源权重系统——都使用MoE架构。但模型设计的轨迹并非固定不变。围绕GPU+Corsair AFD栈构建数据中心容量的运营商是在赌MoE架构仍将占据主导地位，且其模型组合不会转向密集设计。这个赌注可能是正确的，但它毕竟是一个赌注。

此外还有软件集成成本。d-Matrix的AFD流水线需要其Aviator编译器到运行时栈以及JetStream NIC；两者均不能与标准的CUDA/cuDNN工具链或商品化RoCE网络互换。运营商还继承了一个专有软硬件栈，如果模型架构发生变化或d-Matrix的路线图与其工作负载需求偏离，替换起来将更加困难。

Squadron的实际面貌

Squadron是d-Matrix基于其在2025年OCP峰会上首次宣布的SquadRack构建块打造的全集群产品。在最大配置下，Squadron聚合了16个SquadRack——每个是一个8服务器机架——总共包含1,024个Corsair XPU。该平台采用风冷；单台服务器功耗低于10千瓦，远低于需要液冷或浸没式基础设施的下一代GPU机架的120千瓦或更高数值。运营商可以将其部署到现有的数据中心设施中，无需改造冷却系统，尽管完整的16机架集群仍然需要兆瓦级的电力容量。

Squadron是与Arista（Leaf以太网交换，连接到JetStream NIC）、Broadcom（用于节点内扩展的PCIe交换机）和Supermicro（X14 AI服务器平台和系统集成）合作开发的。Supermicro总裁兼首席执行官梁见后强调制造维度：“大规模将下一代AI基础设施推向市场需要深厚的工程、系统集成和制造专业知识。我们与d-Matrix的合作展示了Supermicro通过我们经过验证的数据中心构建模块解决方案交付创新AI技术的能力。”Supermicro于2025年10月成立了Super Micro Federal LLC，以服务美国政府AI服务器部署——这一市场可能与d-Matrix的主权实体客户目标相一致。

Squadron现在正向优先客户发货，以便在其自己的数据中心内部署。d-Matrix已在其亚利桑那州的设施内部署了一个Squadron集群，用于内部研究。Corsair服务器和SquadRack已普遍可用。计划于2027年底推出的d-Matrix下一代Raptor XPU预计将进一步提升每张卡的性能。

Parasail与量产之路

Squadron商业轨迹最清晰的独立信号出现在2026年7月，当时AI部署公司Parasail宣布已在生产中运行Corsair加NVIDIA GPU的混合配置——NVIDIA GPU处理预填充，Corsair硬件处理解码。Parasail引用了“针对特定工作负载快达10倍的交互式推理”，并声称能源效率提高了三倍。这些数字由供应商声明，源自早期生产数据而非独立基准测试；大规模的生产结果仍有待观察。

尽管如此，Parasail的部署作为一种佐证机制仍然重要。AFD学术论文依赖的是模拟而非实时商业硅片；Parasail对相同架构模式（GPU用于预填充，XPU用于解码）的真实世界部署提供了一个平行的生产数据点，独立于d-Matrix自身的演示。d-Matrix计划在近期部署中将AFD配置扩展到更大的MoE模型，包括GLM 5.x和Kimi K3。

该公司于2025年11月完成了C轮融资，估值20亿美元，融资额2.75亿美元，使总融资额达到4.5亿美元。2026年初，d-Matrix收购了GigaIO的数据中心资产，以加速机架级部署能力。

常见问题解答

什么是Attention-FFN分离，它与标准GPU推理有何不同？

标准GPU推理在同一硬件内运行注意力和前馈网络计算。Attention-FFN分离将这些操作拆分：随着键值缓存增长而受内存带宽限制的注意力层保留在GPU上；加载大型权重矩阵的专家FFN层移动到具有更高内存带宽的单独加速器上。架构论点是，每项操作都在针对其实际瓶颈优化的硬件上运行，而不是通用妥协。d-Matrix的实现使用NVIDIA H100 GPU进行注意力处理，并使用其Corsair XPU（拥有150 TB/s的片上SRAM带宽，而H100为3.35 TB/s HBM3）进行专家FFN传递。该技术仅为混合专家模型提供延迟优势，其中FFN和注意力块在每个令牌上是结构独立的；它不适用于密集Transformer。

AFD是否要求运营商替换其现有的GPU基础设施？

不——这是核心商业主张。AFD将Corsair XPU定位为现有GPU部署的补充，而非替代。运营商保留其H100服务器用于注意力和预填充；Corsair机架处理专家FFN解码。d-Matrix还通过NVLink Fusion将Corsair集成到NVIDIA的MGX机架级架构中，以实现异构部署。然而，采用成本是真实存在的：它需要d-Matrix的专有Aviator软件栈、JetStream NIC硬件，以及运营不映射到标准CUDA工具链的异构集群管理环境的意愿。

每用户每秒845个令牌和总每秒20,415个令牌的数字之间有什么关系？

它们不能整齐地相乘，读者不应将其视为单一一致的基准测试。在64个并发用户下，每用户每秒845个令牌意味着总令牌数约为54,000/秒——而不是20,415。d-Matrix尚未公开澄清这一差异；这两个数字很可能是在OCP演示的不同阶段，在不同的并发级别、硬件比例或批处理配置下测量的。TPOT比较——独立H100上的2.59毫秒与AFD下的1.28毫秒——是从相同的1000令牌上下文测试中得出的更直接可比的数字。

Squadron目前支持哪些模型，未来计划是什么？

OCP演示使用了GPT-OSS-20B，这是一个开源权重的混合专家模型。d-Matrix已将GLM 5.x和Kimi K3列为近期的AFD扩展目标。单个SquadRack（64张Corsair卡，256 GB SRAM性能内存）可以以降低的精度运行高达约1000亿参数的模型；完整的16机架Squadron集群（1,024张卡）将容量扩展到数千亿参数。公司计划于2027年底推出的下一代Raptor XPU预计将为未来模型提高每张卡的性能。