🎯 情报来源：AI News | VentureBeat
韩国科学技术院(KAIST)与加拿大Mila研究院联合发布新型Transformer架构Mixture-of-Recursions (MoR)，在保持相同参数规模和计算预算前提下，实现大语言模型(LLM)内存占用减少25%、推理吞吐量提升2.06倍。实验数据显示，1.7B参数规模的MoR模型在few-shot准确率上超越普通Transformer基线0.8个百分点，同时训练时间缩短19%。
该技术突破性地结合参数共享与自适应计算，通过递归块设计实现”动态思考深度”调节。论文通讯作者Sangmin Bae透露，该方法可使企业在同等硬件条件下并行处理更多样本，并支持更长上下文窗口，为LLM的产业落地提供实用路径。
💡 核心要点
- 效率突破：135M-1.7B参数规模测试中，MoR模型相较基线参数量减少50%，推理速度提升2.06倍
- 性能提升：同等计算预算下，few-shot准确率达43.1%（vs 基线42.3%）
- 资源优化：训练时间减少19%，峰值内存占用降低25%
- 扩展优势：360M参数以上规模时，MoR全面超越标准Transformer表现
- 商业价值：支持现有开源模型增量升级（uptraining），降低企业部署成本
📌 情报分析
技术价值：极高
实验数据证实其递归KV缓存机制降低25%内存占用，2.06倍吞吐提升解决LLM核心瓶颈，技术路径具备创新性
商业价值：高
uptraining方案降低企业迁移成本，推理阶段资源节约可直接转化为运营利润，但需验证大规模部署稳定性
趋势预测：高
模态无关设计适配视频/音频处理，符合多模态LLM发展需求，论文显示参数规模越大优势越显著