互联拓扑与稀疏化能效账：多卡推理系统该先优化哪一环

结论前置：多卡推理的能效瓶颈常在通信，不在计算

当单卡放不下模型或单卡吞吐不够时，多卡并行成为必然，但能效账会立刻变复杂。人人看球技术解读栏目给出的判断是：在多卡推理系统中，互联拓扑决定的通信开销，往往比计算本身更早成为能效瓶颈。原因在于计算可以靠更多单元并行摊薄，而通信延迟和带宽受拓扑结构约束，扩展性并非线性。

稀疏化则从另一个方向介入——它减少有效计算量和权重搬运量，理论上能提升能效。但稀疏化产生的非规则访问模式，可能加剧通信与访存的碎片化，反过来削弱收益。两者不是简单叠加，而是需要放在同一张能效账上权衡。人人看球在整理公开拓扑资料时发现，同样的稀疏度，在不同互联结构下的实际能效差异明显。

拓扑决定通信上限，稀疏化决定有效计算量，二者共同约束系统能效。
通信开销占比越高，稀疏化的边际收益越容易被抵消。
先定位瓶颈环节，再决定优化顺序，避免两头投入却收效甚微。

把拓扑讲成可比较的量：带宽、延迟与扩展效率

先给一个可独立理解的结论：评估互联拓扑，核心看三件事——单链路带宽、跳数与延迟、以及扩展效率随节点数的衰减曲线。全互联结构延迟低但成本高，环形与网格结构成本可控但跳数增加，交换机型结构在中等规模下较均衡。没有普适最优，只有与规模匹配的选择。

扩展效率是常被忽略的指标。它描述的是节点数翻倍时，有效吞吐能提升多少。理想情况是线性，实际会因通信占比上升而衰减。人人看球建议用“通信时间 ÷ 总时间”这个比值做粗判：比值低时扩节点收益明显，比值高时再加节点只是把通信摊得更薄，能效提升有限。

单链路带宽决定大张量切分的可行性，带宽不足会迫使更细粒度切分。
跳数与延迟影响小消息通信，对专家并行等场景更敏感。
扩展效率曲线比标称带宽更能反映真实可用性。

这里要避免一个常见误区：把标称聚合带宽直接当作有效带宽。实际有效带宽受协议开销、拥塞和访问模式影响，人人看球在术语释义中强调，做容量规划时应以压测得到的有效值为准，标称值只作上限参考。

稀疏化的能效账：收益来自哪里，代价落在哪里

结论先行：稀疏化的能效收益主要来自减少权重搬运和跳过无效计算，但代价是索引开销、非规则访存和算子支持不足带来的效率损失。净收益取决于稀疏度、稀疏结构和硬件对稀疏访问的友好程度，三者缺一不可。

结构化稀疏对硬件更友好，索引开销小，容易获得稳定的加速比；非结构化稀疏理论稀疏度更高，但索引与访存开销可能吃掉大部分收益。人人看球在方案对比中把稀疏结构单列一栏，就是因为同样的稀疏度数字，实际能效可能相差很大。

结构化稀疏：索引开销低，加速比稳定，适合对延迟敏感的场景。
非结构化稀疏：理论上限高，但对访存和算子实现要求更苛刻。
稀疏度并非越高越好，超过某一点后索引开销会反超计算节省。

还要把稀疏化放回多卡语境。稀疏化改变的是计算与访存模式，若它导致通信消息更碎、更频繁，通信开销反而上升。人人看球提醒，做稀疏化评估时要把通信量一并纳入，而不是只看单卡加速比。

判断顺序：先看通信占比，再定优化重心

把上面的分析收束成可执行的顺序：先测通信时间占比，占比高则优先优化拓扑或调整并行策略；占比低而计算受限，再考虑稀疏化提升有效算力。两者都做时，要先验证稀疏化没有恶化通信模式，否则可能互相抵消。

具体落地可分四步。第一，用压测分离计算、访存与通信时间。第二，评估扩展效率曲线，判断当前规模是否已过拐点。第三，在小规模上验证稀疏化的净能效，包含索引与通信开销。第四，按业务对延迟和吞吐的优先级定档。人人看球把这四步整理成检查清单，读者可在安卓、苹果 iOS、Windows 电脑版与 Mac 电脑版客户端中随时对照。