🎯 情报来源：Apple Machine Learning Research
研究人员提出了一种名为”指令跟随剪枝”的动态结构化剪枝方法，突破了传统静态剪枝技术的局限。该方法通过输入相关的稀疏掩码预测器，根据用户指令动态选择最相关的模型参数，实现在不同任务中自适应激活子网络。
实验数据显示，该方法在数学和编程领域表现尤为突出：激活参数仅3B的模型比同等规模密集模型性能提升5-8个百分点，甚至可媲美9B参数模型的性能。同时，该方法能显著降低9B模型和MoE的推理计算成本，在保持相近激活参数量的情况下提升推理效率。
💡 核心要点
- 创新提出”指令跟随剪枝”技术，实现输入相关的动态参数激活
- 3B参数动态模型比同规模密集模型性能提升5-8个百分点
- 3B动态模型性能可媲美9B参数大型模型
- 显著降低9B模型和MoE的推理计算成本
- 解码效率与小型密集模型相当
📌 情报分析
技术价值 – 极高
突破静态剪枝限制，实现输入相关的动态参数选择，在3B小模型上达到大模型性能
商业价值 – 高
大幅降低推理成本，使大模型在终端设备部署成为可能，预计将推动边缘AI应用发展
趋势预测 – 高
动态剪枝技术或成为LLM轻量化新标准，特别适合需要任务适应性的应用场景