结论前置：多数推理场景先撞带宽墙，再撞算力墙

在人人看球技术解读栏目里，我们反复强调一个判断：对主流大模型推理而言，决定单次生成延迟的往往不是峰值算力，而是显存带宽与有效量化精度的组合。原因很简单——自回归解码每生成一个 token，都要把模型权重完整读一遍，计算量相对有限，数据搬运量却几乎固定。于是“每秒能搬多少字节”直接决定了 token 吞吐上限，而“每个参数占多少字节”决定了搬运总量。两者相除，就是理论上的带宽天花板。

把这条链路讲清楚，比堆砌 TOPS 数字更有用。人人看球在整理公开规格书时发现，同一档算力、不同带宽的芯片，实测解码吞吐可以差出一倍以上，差异几乎全部来自带宽与精度的匹配程度。

  • 带宽决定“搬得快不快”，精度决定“搬得少不少”，二者共同决定解码吞吐。
  • 算力在预填充阶段更关键，解码阶段常被带宽压制，两个阶段要分开评估。
  • 只看峰值算力选型，容易在实际业务中高估吞吐、低估延迟。

把参数讲成可计算的量：带宽、精度与吞吐的关系

先给一个可独立理解的结论：在带宽受限的解码阶段，理论 token 吞吐约等于“有效带宽 ÷ 每 token 需搬运的权重大小”。权重按 FP16 存储时每参数 2 字节，换成 INT8 约 1 字节，INT4 约 0.5 字节。也就是说，精度每降一档，理论上限就翻一倍，但代价是精度损失与额外的量化/反量化开销。

这里要区分两个容易混淆的概念。其一是权重精度，它直接决定搬运量；其二是激活精度，它影响数值稳定性和算子支持。人人看球在术语释义中把二者分开标注，因为很多“量化后变慢”的案例，问题出在激活精度不匹配导致的算子回退，而非权重本身。

  • FP16：兼容性最好，搬运量最大，适合对精度敏感或算子支持不全的场景。
  • INT8：吞吐与精度的常见平衡点，多数推理框架有成熟支持。
  • INT4：上限最高，但对校准数据、分组粒度和算子实现更挑剔。

需要提醒的是，上述是理论上限。实际吞吐还要乘以带宽利用率，而利用率受批大小、KV 缓存访问模式、内存控制器效率影响。人人看球建议在做容量规划时，把理论上限打个可解释的折扣，再用小规模压测校准，而不是直接拿标称带宽除以权重大小。

取舍框架：先看瓶颈位置，再决定加带宽还是降精度

结论先行：如果压测显示解码阶段带宽利用率已接近饱和，继续加算力收益有限，应优先考虑提升带宽或降低权重精度；如果带宽利用率不高而算力打满，则问题在预填充或算子效率，降精度未必有用。这个判断顺序能避免大量无效调优。

具体可以按三步走。第一步，分离预填充与解码，分别测吞吐和延迟，确认瓶颈阶段。第二步，在固定批大小下扫描精度档位，记录吞吐与精度指标的变化曲线，找到收益拐点。第三步，评估量化带来的工程成本，包括校准集构建、回归测试和线上监控。人人看球在方案对比模块中把这三步做成可复用的检查清单，方便团队对照执行。

  • 带宽饱和、算力闲置：优先提带宽或降权重精度。
  • 算力饱和、带宽闲置：优先优化算子与批调度，而非盲目量化。
  • 两者都接近饱和：考虑模型结构层面的稀疏化或分层部署。

还有一点常被忽略：KV 缓存也会占用带宽。长上下文场景下，KV 缓存的读写量可能逼近权重搬运量，此时降低权重精度的边际收益会下降。人人看球提醒，评估时要连同 KV 缓存精度一起纳入，否则容易得出偏乐观的结论。

延伸阅读与可判断的下一步

把上面的逻辑收束成一句话：带宽与精度不是二选一，而是同一枚硬币的两面，取舍依据是瓶颈位置而非参数好看程度。工程师可以用公开规格书算出理论上限，再用压测校准利用率，最后按业务对精度和延迟的容忍度定档。

人人看球技术解读栏目会持续围绕互联拓扑、稀疏化与能效做同类拆解，所有数据类表述均以公开资料为准，无法核验的部分会明确标注为示例数据。读者可在安卓、苹果 iOS、Windows 电脑版与 Mac 电脑版客户端中同步阅读，便于在评审会上直接引用。

  • 先算理论上限，再测实际利用率，最后定精度档位。
  • 把 KV 缓存纳入带宽预算，长上下文场景尤其重要。
  • 用可复现的压测脚本替代单点参数对比，减少误判。