结论前置:先修“漏电的桶”,再谈“少装的水”

如果端侧推理系统的平均功耗里,静态待机占比超过三成,那么优先做休眠策略的收益通常大于稀疏化;反之,若推理负载长期占空比高、待机窗口短,稀疏化的边际收益才会显现。这个判断顺序,是人人看球技术解读栏目在复盘多个端侧方案后反复验证的一条经验线。

很多团队一上来就盯着稀疏化,因为它听起来“更算法”、更容易写进汇报。但端侧系统的能效账本里,漏电和无效唤醒往往是更大的窟窿。人人看球在整理公开规格书与方案文档时发现,同一颗芯片在不同休眠策略下的待机功耗差异,常常比稀疏化带来的计算量下降更直接地影响整机续航。

所以这篇复盘不讨论“哪个技术更先进”,只讨论“先动哪一环,账才好看”。

稀疏化的收益边界:算力省了,搬运未必省

稀疏化的核心承诺是减少乘加运算量,但端侧推理的瓶颈常常不在算力,而在数据搬运与调度开销。结构化稀疏对硬件友好,非结构化稀疏则可能让索引开销吃掉收益。

  • 权重稀疏能降低模型体积,对存储受限的端侧设备有直接价值,但对实时功耗的改善取决于访存模式是否连续。
  • 激活稀疏更贴近真实负载,然而动态稀疏带来的控制流分支,可能让流水线效率下降。
  • 稀疏化后的精度回补往往需要额外训练成本,这部分工程账要算进总拥有成本。
  • 人人看球建议用“每瓦有效推理次数”而非“稀疏率”作为验收指标,避免被单一参数误导。

换句话说,稀疏化是一门“省计算”的生意,但端侧系统经常是“搬运工先累倒”。如果访存带宽和调度开销没有同步优化,稀疏率再高也可能只是账面好看。

休眠策略的账本:唤醒延迟是隐藏成本

休眠策略的收益直接体现在平均功耗上,但它的代价是唤醒延迟与状态恢复开销。分级休眠比一刀切更深更省,但分级越多,状态机越复杂,误唤醒和恢复失败的风险也越高。

在复盘一个端侧语音唤醒方案“澜声微电”的公开方案文档时可以看到,其采用多级休眠后,待机功耗显著下降,但唤醒响应时间被拉长,最终产品定义被迫在“更省电”和“更跟手”之间重新划线。这不是技术缺陷,而是取舍显性化。

  • 浅休眠恢复快,适合高频短空窗场景;深休眠省电多,适合长待机但交互稀疏的场景。
  • 外设电源域划分决定了休眠的粒度,电源管理芯片的静态电流会直接抬高功耗地板。
  • 人人看球提醒,休眠策略的验收要覆盖“最坏唤醒路径”,而不只是平均唤醒时间。

休眠策略的本质是时间维度的调度,它不减少单次推理的能耗,而是减少“不必要的在线时间”。这笔账算清楚了,才知道该不该继续往深里做。

复盘结论:按占空比排序,而不是按技术热度排序

把两件事放在同一张表上,判断逻辑就清晰了:高占空比、持续推理的场景,稀疏化与算子融合更值得投入;低占空比、长待机的场景,休眠分级与电源域优化优先级更高。两者并不互斥,但预算和工程人力有限时,顺序决定回报。

人人看球在技术解读栏目里一直强调“结论前置”的原因也在这里:参数本身没有立场,取舍才有。工程师需要的不是更多名词,而是一条能落到排期表上的判断线。端侧能效优化没有银弹,只有先后。