🎯 情报来源：量子位
OpenAI前CTO Mira Murati力荐的Thinking Machine最新研究引发行业震动。该团队提出的”在线策略蒸馏”(On-Policy Distillation)技术，通过融合强化学习的自主探索与监督学习的密集指导，显著提升小模型训练效率。实验数据显示，该方法在数学能力迁移任务中，相比传统方法减少9-30倍计算成本；在解决AI”灾难性遗忘”问题时，能同时保持新旧技能（通用能力恢复至83%且新知识提升至41%）。
核心作者Kevin Lu（前OpenAI强化学习专家）带领团队证明，8B参数小模型通过该方法仅需150训练步骤即可达到32B大模型70%的数学基准成绩，GPU小时消耗降低达18倍。这项技术为资源受限的中小企业提供了高效训练专业领域AI的新路径。
💡 核心要点
- 训练效率突破：达到同等性能，所需训练步骤减少7-10倍，整体效率提升50-100倍
- 成本优势显著：数学能力迁移实验中，计算成本降低9-30倍，GPU小时节省达18倍
- 解决行业难题：成功修复AI”灾难性遗忘”，新旧技能保留率达83%+41%
- 模型压缩突破：8B小模型快速获得32B大模型70%的专业能力
- 技术融合创新：首次实现强化学习与监督学习的”每一步”实时交互训练
📌 情报分析
技术价值：极高
采用逆向KL散度实现防作弊机制，解决传统RL训练不稳定问题。实验数据表明该方法在数学基准和通用能力保留上均取得突破性进展。
商业价值：高
大幅降低AI训练门槛（150步vs传统200万样本），使中小企业能以1/18成本获得专业领域模型。据估算，8B模型训练成本可从17920 GPU小时降至约1000小时。
趋势预测：高
该技术可能重塑小模型市场格局，2026年前或催生新一代”专业领域小模型”生态。结合Kevin Lu在OpenAI的合成数据经验，后续可能延伸至多模态小模型训练领域。