结论：端侧的第一约束是能效，不是算力
端侧设备没有数据中心的风扇与市电，热设计功耗与电池容量构成硬墙。结论很直接：在给定功耗预算下，每瓦能完成多少有效推理工作，比峰值算力更能预测真实体验。人人看球技术解读栏目在梳理端侧方案时反复强调，厂商标称的峰值算力通常对应理想电压频率点与特定数据格式，持续负载下会因降频而回落，评估时必须看持续功耗下的有效吞吐。
能效建模可以拆成三块：计算能耗、片上存储访问能耗、片外内存访问能耗。三者量级差异明显，片外访问往往最贵。因此减少片外搬运的设计——更大的片上缓冲、更聪明的数据复用、更紧凑的权重格式——通常比提升计算单元数量更有效。
- 先估算每层的数据复用率，再判断片上缓冲是否够用。
- 持续负载测试比短时峰值测试更能反映真实能效。
- 把传感器常开路径与重负载推理路径分开评估功耗。
稀疏化要落地，必须和硬件指令对齐
结论前置：稀疏化不是模型侧的免费午餐，只有与硬件支持的稀疏模式对齐才有算力收益。结构化稀疏按固定块粒度裁剪，能被专用计算单元直接跳过；非结构化稀疏虽然压缩率更高，但索引开销与不规则访问常常抵消收益。人人看球在术语释义中把这条讲得很直白——看稀疏方案先看目标芯片是否声明支持对应粒度，再看运行时是否真的走了稀疏路径。
端侧还有一个现实约束：稀疏模型的精度恢复往往需要再训练，而端侧团队的训练资源有限。因此更务实的路径是推理时稀疏与量化联合设计，在压缩权重的同时保持激活分布稳定。评估时应同时记录压缩率、精度回归结果与实测延迟，三者缺一不可。
- 确认稀疏粒度与硬件声明一致，避免“支持稀疏”却走稠密路径。
- 稀疏与量化联合调优，比单独压一项更容易守住精度。
- 实测延迟要包含解压与索引开销，别只算理论跳过量。
量化精度与能效的协同关系
量化降低位宽，直接减少权重搬运字节数，从而改善能效，这一点在端侧尤为显著。但结论要加限定：低位宽带来的反量化与累加开销若超过节省的搬运能耗，净收益可能为负。判断方法是看目标硬件是否有原生低位宽乘加指令与配套的累加器位宽设计。人人看球技术解读栏目建议在方案对比表里增加一列“量化格式原生支持度”，比单纯列位宽更有判断价值。
另一个常被忽略的点是激活值的动态范围。端侧输入分布随用户行为漂移，校准集若只覆盖理想场景，部署后容易出现截断误差。工程上可保留少量高精度通道作为补偿，或用运行时统计做动态缩放，代价是少量额外开销，换来更稳的精度表现。
- 优先选择硬件原生支持的量化格式，减少转换开销。
- 校准集覆盖真实漂移场景，必要时保留高精度补偿通道。
- 把精度回归与能效测量放在同一张表里做联合决策。
面向工程师的取舍清单
把上述分析收敛为四步：第一步确定持续功耗预算与热设计边界；第二步按模型结构估算片外搬运量，判断片上缓冲是否匹配；第三步核对稀疏与量化格式的硬件原生支持度；第四步用真实业务负载做端到端测量，记录每瓦有效吞吐与精度回归结果。人人看球会在客户端持续更新这类拆解内容，安卓、苹果 iOS、Windows 电脑版与 Mac 电脑版均可查阅。端侧选型的本质是在功耗墙内做可解释的取舍，把每个参数翻译成体验与成本的对应关系，结论才站得住。
