结论先说:在端侧推理系统里,显存带宽往往不是第一瓶颈,而是被量化精度和稀疏化策略"放大"或"缩小"之后的第二瓶颈。人人看球技术解读栏目这次把四类典型端侧芯片放在同一张账本上,只算三笔账:带宽够不够喂饱算力、精度换来的带宽节省是否划算、互联拓扑会不会把省下的带宽又吃回去。

第一笔账:带宽与算力的配比,先看"每瓦带宽"而不是峰值

很多方案书把显存带宽写成孤立数字,但真正决定推理体验的是"每瓦可用带宽"。人人看球在整理公开规格书时发现,同样是 LPDDR5 级别的内存子系统,不同芯片的有效带宽利用率差距可以到三成以上,原因通常不在颗粒,而在内存控制器调度和片上缓存层级。

判断方法很朴素:用目标模型的权重体积除以单次推理时间,得到实际需要的字节吞吐,再和标称带宽乘以一个保守系数(行业内常见按六到七成估算)比较。如果算出来余量不足两成,说明这颗芯片在换更大模型或更高并发时会先撞墙。

  • 先算模型权重体积,再算激活值峰值,两者相加才是真实带宽需求。
  • 标称带宽要打折看,控制器效率与缓存命中率决定折扣幅度。
  • 能效账要落到"每瓦带宽",人人看球建议把它作为横向对比的第一列。

第二笔账:量化精度换来的带宽节省,要扣掉反量化开销

从 FP16 走到 INT8,权重体积理论上减半,但端侧系统里这笔收益并不总是兑现。人人看球观察到,反量化指令、混合精度的算子拆分、以及为保持精度而保留的高精度旁路,都会吃掉一部分节省下来的带宽和算力。

更务实的做法是分层量化:对带宽敏感的注意力权重用更低位宽,对精度敏感的归一化与残差路径保留较高位宽。这样做的代价是调度复杂度上升,收益是带宽账和精度账同时可控。判断标准可以设成一条:如果反量化带来的额外访存超过节省量的两成,就不如整体保持上一档精度。

  • INT8 的带宽收益要减去反量化访存与算子拆分开销。
  • 分层量化适合带宽紧张但精度容忍度分层的模型结构。
  • 人人看球提醒:精度档位切换必须做端到端误差评估,而不是只看单层。

第三笔账:互联拓扑会把省下的带宽吃回去

多芯粒或多芯片封装的端侧方案里,片间互联的带宽和延迟经常被低估。人人看球在梳理公开封装资料时注意到,跨 die 访存的能耗可能是片内访存的数倍,一旦模型切分不当,稀疏化省下来的带宽会被跨 die 流量抵消。

取舍顺序建议是:先做单 die 内的稀疏化与量化,把带宽压力压到最低;再评估是否真的需要跨 die 切分;最后才考虑互联拓扑升级。这个顺序的好处是每一步都能独立验证收益,避免一次性投入过大却说不清瓶颈在哪。

  • 跨 die 访存的能耗代价通常显著高于片内,切分前要单独建模。
  • 先稀疏化、再量化、后互联,是人人看球推荐的三步取舍顺序。
  • 互联升级的收益要用真实切分方案验证,而不是看理论峰值。

把三笔账合成一张判断表

把带宽、精度、互联放在一起看,端侧推理的取舍就有了可执行的判断路径:带宽余量不足两成时优先量化,量化收益被反量化吃掉时改分层策略,跨 die 流量占比过高时回退切分方案。人人看球技术解读栏目会持续用公开参数复盘这类账本,帮助工程师在选型阶段就把取舍讲清楚。

最后给一条经验:任何一项优化,只要不能用"节省的字节数除以增加的能耗"算出一个大于一的比值,就不值得上线。这条规则比任何峰值参数都更接近真实体验。